MX2013007730A - Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video. - Google Patents

Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.

Info

Publication number
MX2013007730A
MX2013007730A MX2013007730A MX2013007730A MX2013007730A MX 2013007730 A MX2013007730 A MX 2013007730A MX 2013007730 A MX2013007730 A MX 2013007730A MX 2013007730 A MX2013007730 A MX 2013007730A MX 2013007730 A MX2013007730 A MX 2013007730A
Authority
MX
Mexico
Prior art keywords
image
video data
encoded
decoding
delay
Prior art date
Application number
MX2013007730A
Other languages
English (en)
Other versions
MX337473B (es
Inventor
Satoshi Shimada
Kimihiko Kazui
Junpei Koyama
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of MX2013007730A publication Critical patent/MX2013007730A/es
Publication of MX337473B publication Critical patent/MX337473B/es

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Un aparato de codificación de video adjunta información de corrección de retraso de decodificación y despliega información de corrección de retraso a datos de video codificados para asegurar que aún cuando una o más imágenes que están después en el orden de codificación en los datos de video que una primera imagen que puede ser unida potencialmente a un extremo trasero de otros datos de video codificados han sido eliminadas, la primera imagen y las imágenes subsecuentes en los datos de video codificados pueden ser decodificados continuamente y desplegados por un aparato de decodificación de video; el aparato de decodificación de video corrige el retraso de decodificación y despliega retraso de la primera imagen y sus imágenes subsecuentes usando la información de corrección de retraso de decodificación y despliega información de corrección de retraso.

Description

2012-148849 Página: 1/ APARATO DE CODIFICACIÓN DE VIDEO, APARATO DE DECODIFICACIÓN DE VIDEO, MÉTODO DE CODIFICACIÓN DE VIDEO, Y MÉTODO DE DECODIFICACIÓN DE VIDEO CAMPO DE LA INVENCIÓN
[0001] La presente invención se refiere a un aparato de codificación de video y método de codificación de video que puede editar datos de video codificados sin decodificar los datos de video, y también se relacionan con un aparato de decodificación de video y método de decodificación de video para decodificar datos de video codificados por tal aparato de codificación de video.
ANTECEDENTES DE LA INVENCIÓN
[0002] Generalmente, la cantidad de datos usados para representar datos de video es muy grande. En consecuencia, un aparato que manipula tales datos de video comprime los datos de video mediante codificación antes de transmitir los datos de video a otro aparato o antes de almacenar los datos de video en un dispositivo de almacenamiento. Estándares de codificación tales como MPEG-2 (Grupo de Expertos en Imágenes en Movimiento Fase 2), MPEG-4, y Codificación de Video Avanzada H.264 MPEG-4 (MPEG-4 AVC/H.264), diseñados por la Organización de Estandarización Internacional/Comisión Electrotécnica Internacional (ISO/IEC), son estándares Número de Certificado: 2013-3021393 2012-148849 Página: 21 de codificación de video típicos usados ampliamente actualmente.
[0003] Tales estándares de codificación emplean un método de inter-codificación que codifica un imagen usando no solamente información de sí misma sino también información de las imágenes anteriores y posteriores a ésta, y un método de intra-codificación que codifica una imagen usando solamente información contenida en la imagen a ser codificada. El método de inter-codificación usa tres tipos de imágenes, referidas como la imagen intra-codificada (imagen I), la imagen predicha hacia adelante (imagen P) la cual es predicha usualmente de una imagen del pasado, y la imagen predicha bidireccional (imagen B) la cual es predicha usualmente de ambas imágenes del pasado y del futuro.
[0004] Generalmente, la cantidad de código de una imagen o bloque codificado por inter-codificación es menor que la cantidad de código de una imagen o bloque codificado por intra-codificación. En esta manera, la cantidad de código varía de imagen a imagen dentro de la misma secuencia de video, dependiendo del modo de codificación seleccionado. Similarmente, la cantidad de código varía de bloque a bloque dentro de la misma imagen, dependiendo del modo de codificación seleccionado. Por lo tanto, para permitir que un flujo de datos que contienen video codificado sea transmitido a una velocidad de transmisión constante aún si la cantidad de código varía temporalmente, memoria intermedia de transmisión para almacenar en Número de Certificado: 2013-3021393 2012-148849 Página: 3/ memoria intermedia el flujo de datos es provista al final de la transmisión, y una memoria intermedia de recepción para almacenar en memoria intermedia el flujo de datos es provista al final de la recepción.
[0005] MPEG-2 y MEPEG-4 AVC/H.264 cada uno define el comportamiento de una memoria intermedia de recepción en un aparato de decodificación de video idealizado referido como el verificador de almacenamiento en memoria intermedia de video (VBV) o la memoria intermedia de imagen codificada (CPB), respectivamente. Por conveniencia, el aparato de video idealizado se referirá a partir de ahora simplemente como el decodificador idealizado. Se especifica que el decodificador idealizado realiza decodificación instantánea que toma tiempo cero para decodificar. Por ejemplo, el documento 1 de patente describe un método de control de codificador de video con respecto a VBV.
[0006] Para que la memoria intermedia de recepción en el decodificador idealizado no se desborde o desborde por debajo, el codificador de video controla la cantidad de código para garantizar que todos los datos que necesitan decodificar una imagen dada están disponibles en la memoria temporal de recepción cuando el decodificador idealizado decodifica esa imagen dada.
Cuando el codificador de video está transmitiendo una corriente de datos de video codificados a una velocidad de transmisión constante, la Número de Certificado: 2013-3021393 2012-148849 Página: 4/ memoria intermedia de recepción puede desbordarse por debajo si la transmisión de los datos necesarios para decodificar la imagen no ha sido completada al momento en el que la imagen está para ser decodificada y desplegada por el decodificador de video. En otras palabras, el desbordamiento por debajo de la memoria intermedia de recepción se refiere a una situación en la cual los datos necesarios para decodificar la imagen no están disponibles en la memoria intermedia de recepción del decodificador de video. Si esto pasa, el decodificador de video es incapaz de realizar decodificación, y ocurre salto de estructura.
[0007] En vista de esto, el decodificador de video despliega la imagen después de retardar el flujo por un tiempo prescrito desde su hora de recepción de tal manera que puede realizarse decodificación sin causar que la memoria temporal de recepción se desborde por debajo. Como se describió anteriormente, se especifica que el decodificador idealizado ejecute decodificación en el tiempo cero. Como un resultado, si la hora de entrada de la i-ésima imagen al codificador es t(i), y la hora de decodificación de i-ésima imagen en el decodificador idealizado es tr(i), entonces la hora más reciente en la cual la imagen está lista para despliegue es la misma que tr(i). Puesto que el período de despliegue de la imagen {t(i+1 ) - t(i)} es igual a {tr(i+1 ) - tr(i)} para cualquier imagen, la hora de decodificación tr(i) es dada como tr(i) = t(i) + dly, es decir, la hora retrasada por un tiempo fijo dly desde el la hora de entrada t(i). Esto significa que el codificador de video tiene que completar la Número de Certificado: 2013-3021393 2012-148849 Página: 5/ transmisión de todos los datos necesarios para decodificar la memoria intermedia de recepción por la hora tr(i).
[0008] Con referencia a la Figura 1 , se proporcionará una descripción de cómo funciona la memoria intermedia de recepción. En la Figura 1 , la abscisa representa el tiempo, y la ordenada representa la ocupación de memoria intermedia de la memoria intermedia de recepción. La gráfica de línea sólida 100 ilustra la ocupación de la memoria intermedia como una función del tiempo.
La ocupación de la memoria intermedia de la memoria intermedia de recepción es restaurada a una velocidad sincronizada con una velocidad de transmisión prescrita, y los datos usados para decodificar cada imagen son recuperados de la memoria intermedia a la hora de decodificación de la imagen. Los datos de la i-ésima imagen empiezan para ser la entrada a la memoria intermedia de recepción en el tiempo at(i), y los datos finales de la i-ésima imagen es la entrada en el tiempo ft(¡). El decodificador idealizado completa la decodificación de la i-ésima imagen en tiempo tr(i), y así la i-ésima imagen está lista para desplegar en el tiempo tr(i). Sin embargo, si el flujo de datos contiene una imagen B, el tiempo de despliegue actual de la i-ésima imagen puede ser mayor que tr(i) debido a la ocurrencia de reordenamíento de imagen (cambiando el orden de codificación).
[0009] El método de describir el tiempo de decodificación y el tiempo de Número de Certificado: 2013-3021393 2012-148849 Página: 6/ despliegue de cada imagen en MPEG-4 AVC/H.264 será descrito con detalle abajo.
[0010] En MPEG-4 AVC/H.264, información complementaria no relevante directamente con la decodificación de pixeles se describe en un mensaje de información de mejora complementaria (SEI). Se definen diez de los tipos de mensaje SEI, y cada tipo se identifica por un parámetro de Tipo-carga-útil. El SEI está anexado a cada imagen.
[0011] BPSEI (Período de Almacenamiento en memoria intermedia SEI) como un tipo de SEI es anexado a una imagen auto-contenida, es decir, una imagen (generalmente, una imagen I) que puede ser decodificada sin alguna de las imágenes pasadas. Un parámetro InitialCpbRemovalDelay es descrito en el BPSEI. El parámetro InitialCpbRemovalDelay indica la diferencia entre el tiempo de llegada en la memoria intermedia de recepción del primer bit de la imagen anexada-BPSEI y el tiempo de decodificación de la imagen anexada-BPSEI La resolución de la diferencia es 90 kHz. El tiempo de decodificación tr(0) de la primera imagen es el tiempo de llegada en el decodificador de video del primer bit de los datos de video codificados (el tiempo es designado como 0); es decir, el tiempo de decodificación es retrasado desde el tiempo (0) por una cantidad de tiempo igual a InitialCpbRemovalDelay ÷ 90,000 [seg].
Número de Certificado: 2013-3021393 2012-148849 Página: 71
[0012] Generalmente, PTSEI (Cronometraje de Imagen SEI) como un tipo de SEI es anexado a cada imagen. Los parámetros CpbRemovalDelay y DpbOutputDelay son descritos en el PTSEI. El parámetro CpbRemovalDelay indica la diferencia entre el tiempo de decodificación de BPSEI-anexado precedente inmediatamente y el tiempo de decodificación de la imagen anexada-PTSEI. El parámetro DpbOutputDelay indica la diferencia entre el tiempo de decodificación de la imagen anexada PTSEI y el tiempo de despliegue de la imagen. La resolución de estas diferencias es un intervalo de imagen de campo. En consecuencia, cuando la imagen es una estructura, el valor de cada uno de los parámetros CpbRemovalDelay y DpbOutputDelay es un múltiplo de 2.
[0013] El tiempo de decodificación tr(i) de cada una de las imágenes segunda y subsecuente es desplegado desde el tiempo tr(0) de decodificación de la primera imagen por una cantidad de tiempo igual a tc*CpbRemovalDelay(¡) [seg]. CpbRemovalDelay(i) es el CpbRemovalDelay anexado a la i-ésima imagen. Por otro lado, te es el intervalo de tiempo de inter-imagen [seg]; por ejemplo, en el caso de 29.97-Hz video progresivo, te es 1001/60000.
[0014] El tiempo de despliegue de cada una de las imágenes, incluyendo la imagen anexada-BPSEI, es retrasada de tr(i) por una cantidad Número de Certificado: 2013-3021393 2012-148849 Página: 8/ de tiempo igual a tc*DpbOutputDelay(i). DpbOutputDelay(i) es el DpbOutputDelay anexado a la i-ésima imagen. En otras palabras, después del tiempo tr(0), cada imagen se decodifica y despliega en el tiempo igual a un múltiplo integral de te.
[0015] Dependiendo del propósito de los datos de video, el video codificado puede editarse. La edición del video codificado involucra dividir los datos de video codificado en porciones menores y unir éstas para generar un nuevo flujo de datos de video codificado. Por ejemplo, la inserción de otro flujo de video (por ejemplo, un anuncio) en el flujo de video de transmisión actual (es, decir unión) es un ejemplo de edición.
[0016] Cuando se edita video codificado predictivo de inter-marco, particularmente en el caso de una imagen inter-codificada, la imagen codificada no puede ser decodificada correctamente por sí misma. En consecuencia, cuando se unen dos flujos de datos de video codificados en una posición de imagen deseada, una máquina de edición de datos de video codificados primero decodifica los dos flujos de datos de video codificados a ser unidos y después los une una base imagen-por-imagen decodificada, y después re-codifica los datos de video unidos.
[0017] Sin embargo, puesto que re-codificación puede ser muy laboriosa, en particular, en el caso de procesamiento en tiempo resal tal como Número de Certificado: 2013-3021393 2012-148849 Página: 9/ unión, es común restringir el punto de unión y editar los datos de video codificados eliminando directamente la necesidad para re-codificación. Cuando se unen dos flujos de datos de video codificado mediante edición sin la necesidad de re-codificación, la primera imagen del flujo de datos de video codificado a ser unida en el lado corriente abajo temporalmente tiene que ser una imagen I. Adicionalmente. la estructura GOP del flujo de datos de video codificados a ser unida en el lado corriente abajo temporalmente está limitado a la llamada estructura GOP cerrada en la cual todas las imágenes que siguen la imagen I inicial son decodificables sin referirse a cualesquier imágenes precediendo temporalmente la imagen I inicial. Con esta disposición, es posible decodificar correctamente todas las imágenes que siguen la imagen I inicial del flujo de datos de video codificado unido en el lado corriente abajo mediante edición en el punto de unión deseado.
[0018] Sin embargo, puesto que la eficiencia de codificación de la estructura GOP cerrada es menor que esa de la estructura GOP no cerrada, la estructura GOP no cerrada puede ser empleada. En ese caso, algunas de las imágenes siguiendo inmediatamente la imagen I inicial después del punto de unión no son decodificadas correctamente, pero puesto que estas imágenes preceden la imagen I inicial en orden de despliegue, no habrá problema si éstas no son desplegadas. Por lo tanto como una práctica general, después de desplegar la última imagen precedente del flujo de datos de video codificados temporalmente, el decodificador de video realiza Número de Certificado: 2013-3021393 2012-148849 Página: 10/ procesamiento tal como congelamiento de despliegue, enmascarando así el despliegue de las imágenes que son falladas para ser decodificadas correctamente.
[0019] En la técnica anterior, aún cuando los datos de video codificados predictivos intra-estructura son editados sin re-codificación, la información de cabecera también es editada de tal manera que no ocurre discrepancia entre los dos flujos de datos de video codificados unidos juntos. Por ejemplo, en MPEG-4 AVC/H.264, POC (Conteo de Orden de Imagen) y FrameNum son anexados a la cabecera de unión para mantener la relación temporal inter-imagen e identificar la imagen de referencia. POC indica el orden de despliegue relativo de la imagen. FrameNum es un valor que incrementa por 1 cada vez que la imagen de referencia aparece en el video codificado. Puesto que los valores POC y FrameNum necesitan ser continuos entre los dos flujos de datos de video codificados unidos, surge la necesidad de editar todos los valores POC y valores FrameNum en el flujo de datos de video codificados para ser unidos en el lado corriente abajo del flujo de datos de video codificados precedentes temporalmente.
[0020] Por otro lado, en el método descrito en el documento 1 no-patente, FrameNum es abolido debido a que un nuevo método para identificación de imágenes de referencia se ha introducido. Además, puesto que el valor POC de la primera imagen del flujo de datos de video codificado Número de Certificado: 2013-3021393 2012-148849 Página: 11/ unido en el lado corriente abajo no necesita tener continuidad con respecto al flujo de datos de video codificado unido en lado corriente arriba, no necesita editar el encabezamiento de unión. En el método descrito en el documento no-patente de arriba, una imagen CRA (Acceso Aleatorio Limpio), una imagen BLA (Acceso de Enlace Interrumpido), y una imagen TDF (Etiquetado para Eliminar) ha sido introducida como nuevos tipos de imagen además de la imagen IDR (Renovar la Decodificación Instantánea) definida en MPEG-4 AVC/H.264.
[0021] De estas imágenes, la imagen CRA y la imagen BLA son ambas imágenes auto-contenidas, es decir, imágenes que no se refieren a cualesquier otras imágenes, de tal manera que las imágenes que siguen la imagen CRA o la imagen BLA pueden ser decodificadas correctamente. Cuando el decodificador de video empieza el inicio de decodificación con una imagen CRS, por ejemplo, cualesquier imágenes subsecuentes además de la imagen TFD que sigue inmediatamente la imagen CRA pueden ser decodificadas correctamente.
[0022] La imagen TDF es una imagen que aparece inmediatamente siguiendo la imagen CRA o la imagen BLA, y que se refiere a una imagen que aparece más pronto que la imagen CRA o la imagen BLA en orden de tiempo y en orden de decodificación. En el caso de la estructura GOP no cerrada que conforma MPEG-2, la pluralidad de imágenes B siguiendo inmediatamente la Número de Certificado: 2013-3021393 2012-148849 Página: 12/ imagen I en el encabezado de GOP cada uno corresponde a la imagen TFD.
[0023] La imagen BLA ocurre como un resultado de edición de los datos de video codificados. En la unión de dos flujos datos de video codificados, el flujo de datos de video codificados en el lado corriente abajo generalmente empieza con una imagen CRA, pero si esta imagen CRA aparece parcialmente a través de los datos de video codificados unidos, este tipo de imagen es cambiada de la imagen CRA a la imagen BLA. En el método descrito en el documento no-patente anterior, cuando la imagen BLA aparece, los valores POC son permitidos ser discontinuos. Además, la imagen TFD que sigue inmediatamente esta imagen BLA es incapaz de ser decodificada correctamente desde cualquier punto en los datos de video codificados unidos porque la imagen a ser referida por ésta se pierde desde los datos de video codificados unidos. Por lo tanto, el codificador de video puede eliminar desde los datos de video codificados cualquier imagen TFD que sigue la imagen BLA en el encabezado del flujo de datos de video codificados a ser unidos en el lado corriente abajo.
[DOCUMENTOS DE LA TÉCNICA ANTECEDENTE] [Documento de patente]
[0024] [Documento 1 de patente] Publicación de patente japonesa abierta a consulta pública No. 2003-179938 [Documento sin carácter de patente] Número de Certificado: 2013-3021393 2012-148849 Página: 13/
[0025] [Documento 1 sin carácter de patente] JCTVC-11003, "High-Efficiency Video Coding (HEVC) text specification Working Draft 7," Equipo colaborador en codificación de video de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG1 1 , Mayo 2012 BREVE DESCRIPCIÓN DE LA INVENCIÓN [Problema a resolver por la invención]
[0026] En el método descrito en el documento no-patente arriba, como en MPEG-4 AVC/H.264, el tiempo de decodificación y el tiempo de despliegue de cada imagen codificada son determinados usando usando los parámetros InitialCpbRemovalDelay, CpbRemovalDelay, y DpbOutputDelay. Cuando se unen dos flujos de datos de video codificados, los parámetros CpbRemovalDelay y DpbOutputDelay de la imagen después del punto de unión necesitan ser corregidos a valores apropiados para asegurar decodificación de video continua y despliegue a través del punto de unión.
[0027] Más específicamente, el codificador de video o el decodificador de video necesita corregir el valor de CpbRemovalDelay de la imagen CRA en el encabezado del flujo de datos de video codificado unido en el lado corriente abajo, con base en el número de imágenes que siguen la última imagen anexada BPSEI en el flujo de datos de video codificados precedentes Número de Certificado: 20 3-3021393 2012-148849 Página: 14/ temporalmente. Además, el codificador de video o el decodificador de video incrementa el valor de CpbRemovalDelay para asegurar continuidad de memoria intermedia CPB. Además, cuando se elimina la imagen TFD en el flujo de datos de video codificados a ser unidos en el lado corriente abajo, el codificador de video o el decodificador de video necesita corregir el valor de CpbRemovalDelay de la imagen a ser decodificada después de que la imagen TFD eliminada así como el valor de DpbOutputDelay de la primera imagen CRA después del punto de unión.
Así, en el método descrito en el documento no-patente anterior, aún existe la necesidad de contenidos de PTSEI cuando se realizan operaciones de edición para unir dos flujos de datos de video codificados.
[0028] En consecuencia, es un objeto de la presente invención proporcionar un aparato de codificación de video en movimiento y aparato de decodificación de video en movimiento que pueda asegurar el proceso de decodificación de video continuo y proceso de despliegue sin editar los parámetros en el encabezado de los datos de video codificados originales cuando se unen dos flujos de datos de video codificados predictivos inter-marco.
[Medios para resolver el problema]
[0029] De conformidad con una modalidad, se provee un aparato de Número de Certificado: 2013-3021393 2012-148849 Página: 15/ codificación de video para codificar datos de video mediante codificación predictiva inter-marco. El aparato de codificación de video incluye: una unidad de control de codificación la cual obtiene información de corrección de retraso de decodificación e información de corrección de retraso de despliegue para asegurar que aún cuando una o más imágenes que están después en orden de codificación en los datos de video que una primera imagen que puede ser unida potencialmente a un extremo de unión de otros datos de video codificados ha sido eliminado, la primera imagen y las imágenes subsecuentes en los datos de video codificados pueden ser decodificadas continuamente y desplegadas por un aparato de decodificación de video; y una unidad de codificación de imagen la cual codifica cada imagen contenida en los datos de video y anexa la información de corrección de retraso de decodificación y la información de corrección de retraso de despliegue a los datos de video codificados.
[0030] De conformidad con otra modalidad, se provee un aparato de decodificación de video para decodificar datos de video codificados mediante codificación predictiva inter-marco. El aparato de decodificación de video incluye: una unidad de determinación de de decodificación de imagen/tiempo de despliegue, cuando los datos de video codificados contienen información indicando que los datos de video codificados han sido generados por datos de video codificados de segunda unión a un extremo trasero de los datos de video codificados primero, información indicando que una o más imágenes Número de Certificado: 2013-3021393 2012-148849 Página: 16/ codificadas que están después en orden de codificación que una imagen inicial codificada en los segundos datos de video codificados después de un punto de unión en el cual los primeros datos de video codificados y los segundos datos de video codificados que son unidos han sido desechados, información de corrección de retardo de decodificación para corregir un retraso de decodificación de una imagen que sigue la imagen codificada inicial, y despliega información de corrección de retraso para corregir un retraso de despliegue de la imagen codificada inicial, después corrige el retraso de despliegue de la imagen codificada inicial con base en la información de corrección de retraso de despliegue, mientras también corrige, con base en la información de corrección de retraso de decodificación, el retraso de decodificación de la imagen que sigue la imagen codificada inicial.
[0031] El objetivo y las ventajas de la invención se llevarán a cabo y conseguirán por medio de los elementos y de las combinaciones particularmente señaladas en las reivindicaciones.
Se debe entender que tanto la descripción general anterior y la siguiente descripción detallada son ejemplares y explicativas y no limitan la invención, como se reclama.
[Efecto de la invención]
[0032] El aparato de codificación de video y el aparato de Número de Certificado: 2013-3021393 2012-148849 Página: 17/ decodificación de video pueden asegurar el proceso continuo de decodificación de video y el proceso de despliegue sin editar los parámetros en el encabezado de los datos de video original codificado cuando se une en dos flujos de datos de video codificado predictivo de dos inter-marcos.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0033] La Figura 1 es un diagrama ilustrando la relación entre la ocupación de memoria intermedia de una memoria temporal de recepción y el tiempo de despliegue.
La Figura 2 es un diagrama de ilustrando la relación entre el orden de despliegue y el orden de decodificación de varias imágenes contenidas en los datos de video y el retraso de decodificación y valores de retraso de despliegue de las imágenes respectivas.
La Figura 3 es un diagrama para explicar el retraso de decodificación y los vales de retraso de despliegue de las imágenes después del punto de unión cuando se unen dos flujos de datos de video codificados.
La Figura 4 es un diagrama para explicar la estructura de datos de una imagen en video codificada de conformidad con una primera modalidad.
La Figura 5 es un diagrama de bloque simplificado de un aparato de codificación de video de conformidad con la primera modalidad.
La Figura 6 es un diagrama de flujo de operación de un proceso Número de Certificado: 2013-3021393 2012-148849 Página: 18/ de codificación de video de conformidad con la primera modalidad.
La Figura 7 es un diagrama de flujo de operación de un proceso de edición de video de conformidad con la primera modalidad.
La Figura 8 es un diagrama de bloque simplificado de un aparato de decodificación de video de conformidad con la primera modalidad.
La Figura 9 es un diagrama de flujo de operación de un proceso de decodificación de video de conformidad con la primera modalidad.
La Figura 10 es un diagrama para explicar la estructura de datos de una imagen en video codificada de conformidad con una segunda modalidad.
La Figura 1 1 es un diagrama para explicar el retraso de decodificación y valores de retraso de despliegue de la imagen después del punto de unión cuando dos flujos de datos de video codificados son unidos y cuando imágenes precediendo el punto de unión en orden de despliegue han sido eliminadas en el flujo de datos de video codificados unido corriente arriba del punto de unión.
La Figura 12 es un diagrama para explicar el retraso de decodificación y los valores de retraso de despliegue de las imágenes después del punto de unión cuando el número de imágenes a ser reordenadas en el flujo de datos de video codificados unido corriente abajo del punto de unión es menor que el número de imágenes a ser reordenadas en el flujo de datos de video codificados unidos corriente arriba del punto de unión.
La Figura 13 es un diagrama para explicar el retraso de Número de Certificado: 2013-3021393 2012-148849 Página: 19/ decodificación y los valores de retraso de despliegue de las imágenes después del punto de unión cuando el número de imágenes a ser reordenadas en el flujo de datos de video codificados unidos corriente arriba del punto de unión es menor que el número de imágenes a ser reordenadas en el flujo de datos codificados en video unido corriente abajo del punto de unión.
La Figura 14 es un diagrama para explicar la estructura de datos de una imagen codificada en video de conformidad con una quinta modalidad.
La Figura 15 es un diagrama para explicar la estructura de datos de una imagen codificada en video de conformidad con una sexta modalidad.
La Figura 16 es un diagrama para explicar la estructura de datos de una imagen codificada en video de conformidad con una séptima modalidad.
La Figura 17 es un diagrama ilustrando la configuración de una computadora que funciona como el aparato de codificación de video o aparato de decodificación de video ejecutando un programa de computadora para implementar las funciones de las varias unidades en el aparato de codificación de video o aparato de decodificación de video de conformidad con cualquiera de las modalidades o sus ejemplos modificados.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
[0034] Ahora se describirá a continuación el aparato de codificación de Número de Certificado: 2013-3021393 2012-148849 Página: 20/ video y el aparato de decodificación de video de conformidad con varias modalidades con referencia a los dibujos anexos. Cuando se unen dos flujos de datos de video codificados sin decodificarlos, el aparato de codificación de video calcula los valores a ser usados para corregir los parámetros indicando el tiempo de decodificación y el tiempo de despliegue de cada imagen que aparece después del punto de unión, e incorpora los valores en la información de encabezado de cada imagen que aparece después del punto de unión. En esta manera, el aparato de codificación de video elimina la necesidad de editar los parámetros en el encabezado de los datos de video codificados originales cuando se unen dos flujos de datos de video codificados.
[0035] En las presentes modalidades, la imagen es una estructura. Sin embargo, la imagen puede no estar limitada a una estructura, sino que puede ser un campo. Una estructura se refiere a una imagen inmóvil completa en los datos de video, mientras que un campo se refiere a una imagen inmóvil obtenida extrayendo datos únicamente en las líneas numeradas impares o las líneas numeradas pares de una estructura. Los datos de video codificados pueden ser datos de video a color o datos de video monocromáticos.
[0036] Primero, con referencia a la Figura 2, los valores de retraso de decodificación de imagen CpbRemovalDelay y retraso de imagen DpbOutputDelay de conformidad con una primera modalidad serán descritos tomado una imagen de acuerdo con la estructura como un ejemplo.
Número de Certificado: 2013-3021393 2012-148849 Página: 21/ En la Figura 2, la estructura de codificación de imagen 201 como un ejemplo de la estructura de codificación de imagen contiene una pluralidad de imágenes. Cada bloque en la estructura de codificación de imagen 201 representa una imagen. De los dos caracteres llevados a cabo en el bloque correspondiente a cada imagen, el carácter alfabético en la izquierda indica el modo de codificación aplicado a la imagen. Los caracteres I, P, y B significan la imagen I, imagen P, e imagen B, respectivamente. De los dos caracteres llevados a cabo en cada bloque, el número a la derecha indica el orden de entrada al aparato de codificación de video. El orden de entrada coincide con el orden en el cual la imagen sale del aparato de decodificación de video. Cada flecha ilustrada arriba de la estructura de codificación de imagen 201 indica la imagen de referencia a la cual una imagen a ser codificada por la por la predicción de estructura directa se refiere. Por ejemplo, una imagen P4 se refiere a una imagen I0 que parece anterior que la imagen P4. Por otro lado, cada flecha ilustrada abajo de la estructura de codificación de imagen 201 indica la imagen de referencia a la cual una imagen a ser codificada por predicción de estructura hacia atrás se refiere. Por ejemplo, una imagen B2 se refiere a la imagen P4 que aparece después de la imagen B2.
[0037] La secuencia de imagen presentada abajo de la estructura de codificación de imagen 201 es el orden de decodificación 202 de las imágenes contenidas en la estructura de codificación de imagen 201. Cada bloque en el orden de codificación 202 representa una imagen y, como en el caso de la Número de Certificado: 2013-3021393 2012-148849 Página: 22/ estructura de codificación de imagen 201 , los caracteres portados en el bloque indican el modo de codificación y el orden de entrada al aparato de codificación de video. El orden de decodificación 202 coincide con el orden de codificación realizado por el aparato de codificación de video.
En el orden de decodificación de video 202, BPSEI es anexado a cada imagen que porta la designación abajo "BPSEI". En el ejemplo ilustrado, BPSEI es anexado a cada imagen I. En otras palabras, para cada imagen I, el parámetro InitialCpbRemovalDelay que indica la diferencia entre el tiempo de llegada en la memoria intermedia de recepción del primer bit de la imagen I y el tiempo de decodificación de la imagen I es definido.
[0038] Un arreglo de bloque 203 presentado abajo del orden de decodificación 202 indica los valores de CpbRemovalDelay y DpbOutputDelay portados en PTSEI anexados a cada imagen. Cada bloque en la fila superior del arreglo de bloque 203 porta el valor de CpbRemovalDelay para la imagen correspondiente en el orden de decodificación 202 ubicado directamente arriba de ese bloque. De manera similar, cada bloque en la fila inferior del arreglo de bloque 202 porta el valor de DpbOutputDelay para la imagen correspondiente en el orden de decodificación 202 ubicado directamente arriba de ese bloque. CpbRemovalDelay corresponde al orden de codificación como es contado a partir de la imagen más reciente en el orden de codificación entre las imágenes a las cuales BPSEI es anexado. Por ejemplo, una imagen P8 es la quinta imagen en el orden de codificación como es Número de Certificado: 2013-3021393 2012-148849 Página: 23/ contado a partir de la imagen I0. En la presente modalidad, puesto que cada imagen es una estructura, y el intervalo de tiempo de inter-imagen te es un valor expresado en unidades de campos, el valor CpbRemovalDelay de la imagen P8 es dado como 10 (= 5*2).
[0039] Por otro lado, DpbOutputDelay especifica el retraso de despliegue que es necesario en el aparato de decodificación de video para dar salida secuencialmente a las imágenes en el orden correcto. Por ejemplo, el valor DpbOutputDelay de la imagen P4 es 10. Este es el retraso necesario para desplegar correctamente la imagen B1 cuya diferencia entre el orden de entrada y el orden de decodificación en el aparato de codificación de video es mayor. En otras palabras, puesto que la imagen B1 es decodificada con un retraso de dos imágenes después de que la imagen P4 es decodificada, el tiempo de despliegue de la imagen P4 tiene que ser retrasado adicionalmente por tres tiempos de imagen desde el tiempo anterior en el cual la imagen B1 está lista para despliegue, es decir, el tiempo en el cual la imagen B1 es decodificada. Puesto que la diferencia entre el tiempo de decodificación y el tiempo de despliegue de la imagen P4 es igual a cinco tiempos de imagen, y puesto que te es expresado en unidades de campos, el valor de DpbOutputDelay es dado como 10.
[0040] A continuación, con referencia a la Figura 3, se proporcionará una explicación de los valores que, cuando dos flujos de datos de video Número de Certificado: 2013-3021393 2012-148849 Página: 24/ codificados son unidos, el retraso de decodificación CpbRemovalDelay y el retraso de despliegue DpbOutputDelay de cada imagen en el flujo de datos de video codificados unidos corriente abajo del punto de unión puede tomar en orden para eliminar cualesquier inconsistencias en retraso de decodificación y retraso de despliegue antes y después del punto de unión de los dos flujos de datos de video codificados.
[0041] Cada bloque en el primer flujo de datos de video codificados 301 unidos corriente arriba del punto de unión representa una imagen, y los caracteres portados en el bloque indican el modo de codificación y el orden de entrada al aparato de codificación de video, como en el caso de la Figura 2. En el ejemplo ilustrado, la estructura de codificación del primer flujo de datos de video codificados 301 es idéntica a la estructura de codificación 201 ilustrada en la Figura 2.
[0042] En el ejemplo ilustrado, el segundo flujo de datos de video 302 es unido inmediatamente siguiendo la última imagen B15 del primer flujo de datos de video codificados. En el segundo flujo de datos de video 302, también cada bloque representa una imagen, y los caracteres portados en el bloque indican el modo de codificación y el orden de entrada al aparato de codificación de video. La estructura de codificación del segundo flujo de datos de video codificados 301 también es idéntico da la estructura de codificación 201 ilustrada en la Figura 2. En el ejemplo ilustrado, la imagen I72 y las Número de Certificado: 2013-3021393 2012-148849 Página: 25/ imágenes subsecuentes en el segundo flujo de datos de video codificados 302 son unidas para seguir la imagen B15 en el primer flujo de datos de video codificados.
[0043] Un arreglo de bloque 303 presentado debajo del segundo flujo de datos de video codificados 302 indica los valores del retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay portado en PTSEI anexado a cada imagen del segundo flujo de datos de video codificado 302. Cada bloque en la fila superior del arreglo de bloque 303 porta el valor de retraso de decodificación CpbRemovalDelay para la imagen correspondiente en el segundo flujo de datos de video codificado 302 ubicado directamente arriba de ese bloque. De manera similar, cada bloque en la fila inferior del arreglo de bloque 303 porta el valor de retraso de despliegue DpbOutputDelay para la imagen correspondiente en el segundo flujo de datos de video codificados 302 ubicado directamente debajo de ese bloque.
[0044] Datos de video codificados unidos 304 generados uniendo los primero y segundo flujos de datos de video codificados 301 y 301 es ilustrado abajo del arreglo de bloque 303. En el ejemplo ilustrado, la imagen B67 en el segundo flujo de datos de video codificados 302 y las imágenes precediendo la imagen B67 en el orden de codificación no están contenidas en los datos de video codificados divididos 304. Además, las imágenes B70, B69, y B71 cada una se refieren a la imagen codificada I68 que precede la imagen I72 en el Número de Certificado: 2013-3021393 2012-148849 Página: 26/ orden de codificación. Como un resultado, cuando los datos son unidos en la imagen I72, las imágenes B70, B69. y B71 podrían ser incapaces de ser reproducidas correctamente. Por lo tanto, las imágenes B70, B69, y B71 son eliminadas cuando se unen los datos. Sin embargo, las imágenes B70, B69, y B71 pueden no se eliminadas y pueden ser retenidas en los datos de video codificado unido.
[0045] Un arreglo de bloque 305 indica los valores de retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay que las imágenes I72, P76, B74, B73, y B75 en los datos de video codificado unidos 304 se supone tienen. Cada bloque en la fila superior del arreglo de bloque 305 porta el valor de retraso de decodificación CpbRemovalDelay para la imagen correspondiente en los datos de video codificados unidos 304 ubicados directamente arriba de ese bloque. De manera similar, cada bloque en la fila inferior del arreglo de bloque 304 porta el valor del retraso de despliegue DpbOutputDelay para la imagen correspondiente en los datos de video codificados unido 304 ubicados directamente arriba de ese bloque. El retraso de decodificación CpbRemovalDelay de la imagen I72, después de unión, necesita ser hecho corresponder con el intervalo de imagen codificada relativo a la imagen 112 el cual es la imagen que tiene el BPSEI precedente inmediatamente; en el ejemplo ¡lustrado, la imagen I72 es la octava imagen en el orden de codificación como se cuenta desde la imagen 112, y por lo tanto, el retraso de decodificación CpbRemovalDelay es dado como 16. El retraso de Número de Certificado: 2013-3021393 2012-148849 Página: 27/ despliegue DpbOutputDelay de la imagen I72 también necesita ser corregido de tal manera que la imagen B73 a ser decodificada después que la imagen I72 puede ser desplegada correctamente. El valor del retraso de despliegue DpbOutputDelay de la imagen I72 es diferente antes y después de la eliminación de las imágenes B70, B69, y B71. El valor del retraso de despliegue DpbOutputDelay después de desechar la eliminación de las imágenes B70, B69, y B71 corresponde al número de imágenes que entra al aparato de codificación de video después que la imagen B69 pero codificada antes que la imagen B69. En el ejemplo ilustrado, existen dos de tales imágenes, las imágenes I72 y B70 y por lo tanto, el valor del retraso de despliegue DpbOutputDelay de la imagen I72 es proporcionado como 4.
[0046] El valor del retraso de decodificación CpbRemovalDelay de cada una de las imágenes P76, B74, B73 y B75 también es diferente antes y después de desechar las imágenes B70, B69, y B71. El valor del retraso de decodificación CpbRemovalDelay de cada una de las imágenes P76, B74, B73 y B75 después de la eliminación de las imágenes B70, B69, y B71 es igual al valor obtenido restando el valor correspondiente al número de imágenes eliminadas desde el valor del retraso de decodificación CpbRemovalDelay antes de eliminar las imágenes. En el ejemplo ilustrado, los valores del retraso de decodificación CpbRemovalDelay de las imágenes P76, B74, B73, y B75 son proporcionadas como 2, 4, 6, y 8, respectivamente, restando 6 de los valores originales del retraso de decodificación Número de Certificado: 2013-3021393 2012-148849 Página: 28/ CpbRemovalDelay de las señales respectivas. El valor del retraso de despliegue DpbOutputDelay de cada una de las imágenes P76, B74, B73, y B75 permanece sin cambiar. Además, para cada imagen que fue ingresada después que la imagen que podría ser la primera imagen CRA en los datos video codificados unidos, ni el retraso de decodificación CpbRemovalDelay ni el retraso de despliegue DpbOutputDelay necesitan ser corregidos.
[0047] Como se describió anteriormente, cuando dos flujos de datos de video codificados son unidos juntos, ahí surge la necesidad en el tiempo de decodificación de corregir los valores del retraso de decodificación CpbRemovalDelay retraso de despliegue DpbOutputDelay para algunas de las imágenes contenidas en el flujo de datos de video codificados unidos corriente abajo del punto de unión. En la presente modalidad, en lugar de corregir los valores del retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay de las imágenes afectadas contenidas en los datos de video codificados originales antes de unión, el aparato de codificación de video incorpora el encabezado de los datos de video codificados los parámetros que pueden ser usados para cambiar los valores del retraso de decodificación CpbRemovalDelay y el retraso de despliegue DpbOutputDelay a valores apropiados cuando el aparato de decodificación de video decodifica los datos de video codificados unidos.
[0048] A continuación, con referencia a la Figura 4, la estructura de los Número de Certificado: 2013-3021393 2012-148849 Página: 29/ datos de video codificados de conformidad con la primera modalidad se describirá que contiene los parámetros que pueden usarse para cambiar los valores del retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay a valores apropiados.
Como se ilustró en la Figura 4, la estructura de datos 400 de una imagen contiene seis tipos de unidades de capa de abstracción de red (NAL) 410 a 415. Estas unidades NAL 410 a 415 cada una se conforma a la unidad NAL definida en MPEG-4 AVC/H.264 y el método descrito en el documento no-patente JCTVC-M003, "High-Efficiency Video Coding (HEVC) text specification Working Draft 7", Equipo Unificado Colaborativo en Codificación de Video de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11 , Mayo 2012. Un encabezado NUH 420 es anexado a cada unidad NAL. El encabezado NUH 420 contiene un campo NalUnitType que indica el tipo de la unidad NAL. Cuando NalUnitType es 4, la imagen a la cual este encabezado es anexada es una imagen CRA auto-contenida inmediatamente después de lo cual aparece una imagen TDF que se refiere a una imagen precediendo la imagen CRA en orden de tiempo así como en orden de decodificación. Cuando NalUnitType es 5, la imagen a la cual este encabezado es anexado es una imagen CRA inmediatamente después de lo cual una imagen TFD no aparece. Cuando NalUnitType es 6, la imagen a la cual este encabezado es anexado es una imagen BLA auto-contenida que sigue inmediatamente el punto de unión y que es seguida inmediatamente por una imagen TFD. Cuando NalUnitType es 7, la imagen a la cual este encabezado es anexada Número de Certificado: 2013-3021393 2012-148849 Página: 30/ es una imagen BLA inmediatamente después de lo cual una imagen TFD no aparece. El valor NalUnitType de cada imagen necesita no estar limitada al valor específico anterior, pero puede configurarse a algún otro valor apropiado.
[0049] Las unidades NAL ahora serán explicadas.
La unidad NAL 410 es una unidad NAL de delimitador (DELIM) e indica un límite de imagen.
La unidad NAL 41 1 es una unidad NAL de conjunto de parámetro de secuencia (SPS) la cual porta un conjunto de parámetros comunes a la secuencia completa del video codificado. La unidad NAL 41 1 es anexada a una imagen auto-contenida.
La unidad NAL 412 es una unidad NAL de conjunto de parámetros de imagen (PPS) la cual porta un conjunto de parámetros comunes a la pluralidad de imágenes codificadas. La unidad PPS NAL 412 se adjunta a una imagen auto-contenida, y puede adjuntarse algunas veces a otros tipos de imagen.
La unidad NAL 413 es una unidad BPSEI NAL la cual se adjunta solamente a una imagen auto-contenida. En la presente modalidad, los parámetros a ser usados por el aparato de decodificación de video para corregir el retraso de decodificación y retraso de despliegue de cada imagen que aparecen después del punto de unión se incorporan en esta unidad NAL Número de Certificado: 2013-3021393 2012-148849 Página: 31/ 413.
La unidad NAL 414 es una unidad PTSEI NAL la cual se anexa a cada imagen.
La unidad NAL 415 es una unidad NAL de recorte (SLICE) la cual es la sustancia de la imagen codificada.
[0050] La unidad BPSEI NAL 413 de conformidad con la presente modalidad contiene un número, (N+1), de pares de campo InitialCpbRemovalDelay/lnitialCpbRemovalDelayOffset (donde N es un entero no menor que 0) y un campo RapCpbParamsPresentFIag que sigue estos pares. Cuando RapCpbParamsPresentFIag es 1 , un campo AltCpbRemovalDelayOffset de información de corrección de retardo de codificación 431 a ser usado para corregir el retardo de decodificación y un campo AltDpbOutputDelay de información de corrección de retraso de despliegue 432 a ser usado para corregir el retraso de despliegue también están contenidos en la unidad BPSEI NAL 413. Por otro lado, cuando RapCpbParamsPresentFIag es 0, ni el campo AltCpbRemovalDelayOffset de información de corrección de retraso de decodificación 431 ni el campo AltDpbOutputDelay de información de corrección de retraso de despliegue 432 está contenido en la unidad BPSEI NAL 413. Una descripción de cómo el campo AltCpbRemovalDelayOffset la información de corrección de retraso de decodificación 431 y el campo AltDpbOutputDelay de información de corrección de retraso de despliegue 432 se determinan y usa será Número de Certificado: 2013-3021393 2012-148849 Página: 32/ proporcionado después.
[0051] La razón de que existe más de un par de campo InitialCpbRemovalDelay/lnitialCpbRemovalDelayOffset es describir los parámetros InitialCpbRemovalDelay e InitialCpbRemovalDelayOffset apropiados para el caso donde el flujo de bit codificado es transmitido a velocidades de bit diferentes (N+1). El parámetro InitialCpbRemovalDelayOffset define la diferencia entre el tiempo de terminación de codificación de la primera imagen en el aparato de codificación de video y el la hora de inicio de la transmisión de los datos de imagen codificados para el aparato de decodificación de video.
[0052] La unidad PTSEI NAL 414 contiene un campo CpbRemovalDelay de retraso de decodificación y un campo DpbOutputDelay. La definición de estos campos puede ser la misma que la proporcionada en el método descrito en el documento no-patente citado anteriormente o en MPEG-4 AVC/H.264.
[0053] La Figura 5 es un diagrama de bloque simplificado del aparato de codificación de video de conformidad con la primera modalidad. El aparato de codificación de video 1 incluye una unidad de control 1 1 , una unidad de control de codificación 12, una unidad de codificación de imagen 13, una unidad de procesamiento de información de identificación de punto de unión Número de Certificado: 20 3-302 393 2012-148849 Página: 33/ 14, y una unidad de unión de datos 15. Estas unidades que constituyen el aparato de codificación de video 1 son cada una implementadas como un circuito separado en el aparato de codificación de video 1. Alternativamente, estas unidades que constituyen el aparato de codificación de video 1 pueden implementarse en el aparato de codificación de video 1 en la forma de un circuito integrado único en el cual los circuitos implementando las funciones de las unidades respectivas son integrados. Además, estos circuitos que constituyen el aparto de codificación de video 1 pueden ser módulos funcionales implementados ejecutando un programa de computadora en un procesador incorporado en el aparato de codificación de video 1.
[0054] La unidad de control 11 controla la operación de cada unidad designada del aparato de codificación de video 1 cuando codifica los datos de video o cuando edita los datos de video codificados. Por ejemplo, con base en la calidad de imagen reproducida, proporción de compresión, etc., que se necesita de los datos de video codificados, la unidad de control 1 1 determina la estructura GOP, etc., que es aplicada a los datos de video a ser codificados. Entonces, la unidad de control 11 señala la estructura GOP, etc., a la unidad de control de codificación 12.
[0055] Primero, se describirá un proceso de codificación de video para codificar los datos de video. El proceso de codificación de video se lleva a cabo usando la unidad de control de codificación 12 y la unidad de Número de Certificado: 2013-3021393 2012-148849 Página: 34/ codificación de imagen 13.
La unidad de control de codificación 12 determina el orden de codificación, el modo de codificación (por ejemplo, intra-codificación, predicción directa, o predicción bidireccional), etc., para cada imagen de conformidad con la estructura GOP señalada desde la unidad de control 11. Entonces, con base en el modo de codificación, la posición dentro de la estructura GOP, etc., de cada imagen, la unidad de control de codificación 12 determina el intervalo de inserción de imagen CRA, el número de imágenes a ser reordenadas en el tiempo de codificación, y el retraso de despliegue máximo. En el ejemplo ilustrado en la Figura 2, el intervalo de inserción de imagen CRA es 12, el número de imágenes a ser reordenadas es 2, y el retardo de despliegue máximo es 5. La unidad de control de codificación 12 genera la información de encabezamiento de cada imagen con base en estos valores.
[0056] Por ejemplo, si el tipo de imagen es la imagen I (imagen CRA) la cual es codificada sin referirse a cualquier otra imagen, y si la imagen no es la imagen inicial de los datos de video codificados, entonces cuando el número de imágenes a ser reordenadas no es menor que 1 , la unidad de control de codificación 12 configura NalUnitType en el NUH 720 de cada corte de la imagen a 4 lo cual indica que la imagen es seguida inmediatamente por una imagen TFD. Por otro lado, cuando el número de imágenes a ser reordenadas es 0, la unidad de control de codificación 12 configura Número de Certificado: 2013-3021393 2012-148849 Página: 35/ NalUnitType en el NUH 720 de cada corte de la imagen a 5 lo cual indica que la imagen no es seguida inmediatamente por una imagen TFD. NalUnitType en el NUH 720 de cada corte de la imagen inicial de los datos de video codificados se fija a 8 (imagen IDR). Además, cuando el número de imágenes a ser reordenadas no es menor que 1 , la unidad de control de codificación 12 fija NalUnitType a 2 (imagen TFD) para la imagen no-referencia que sigue inmediatamente la imagen CRA y que se refiere a una imagen la cual está antes en ambos el orden de decodificación y el orden de despliegue que la imagen CRA. Para las otras imágenes, la unidad de control de codificación 12 fija NalUnitType a 1.
[0057] La unidad de control de codificación 12 notifica la unidad de codificación de imagen 13 del valor de NalUnitType que ha sido fijado en el enca5bezamiento NUH 720 de cada corte de la imagen a ser codificado. Además, la unidad de control de codificación 12 obtiene los valores del retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay en el PTSEI de cada imagen desde la estructura de predicción de imagen, como se muestra en la Figura 2, y notifica la unidad de codificación de imagen 13 como corresponde.
[0058] Cuando NalUnitType en el NUH 720 de cada corte de la imagen es 8, 4 o 5, la unidad de control de codificación 12 adjunta BPSEI a la imagen. Entonces, cuando NalUnitType es 8 o 5, la unidad de control de codificación Número de Certificado: 2013-3021393 2012-148849 Página: 36/ 12 fija RapCpbParamsPresentFIag a 0. Por otro lado, cuando NalUnitType es 4, la unidad de control de codificación 12 fija RapCpbParamsPresentFIag a 1.
[0059] Además, la unidad de control de codificación 12 fija el valor del parámetro AltDpbOutputDelay de información de corrección de retraso de despliegue, el cual se usa para corregir el retraso de despliegue, igual a dos veces el número de imágenes a ser reordenadas, es decir, dos veces el número de imágenes que siguen la imagen CRA en el orden de codificación y que ocurre entre el tiempo de despliegue de la imagen anterior en el orden de decodificación y el tiempo de despliegue de la imagen CRA. Entonces, la unidad de control de codificación 12 fija el valor del parámetro AltCpbRemovalDelayOffset de la información de corrección de retraso de decodificación, el cual se usa para corregir el retraso de decodificación, igual a dos veces el número de imágenes TFD que siguen inmediatamente la imagen CRA.
[0060] Para cada imagen, la unidad de control de codificación 12 señala el modo de codificación y la información del encabezado de la imagen para la unidad de decodificación de imagen 13, y emite una instrucción para codificar la imagen.
[0061] La unidad de codificación de imagen 13, en respuesta a la instrucción desde la unidad de control de codificación 12, codifica la imagen Número de Certificado: 2013-3021393 2012-148849 Página: 37/ con el modo de codificación especificado empleando uno de los métodos de codificación de video capaz de codificación predictiva inter-marco. El método de codificación de video que emplea la unidad de codificación de imagen 13 puede ser, por ejemplo, MPEG-4 AVC/H.264 o MPEG-2. La unidad de codificación de imagen 13 almacena los datos de video codificados, conteniendo cada imagen codificada, en una unidad de almacenamiento (no ilustrada).
[0062] A continuación se describirá un proceso de edición realizado cuando se unen dos flujos de datos de video codificados. El proceso de edición se lleva a cabo usando la unidad de procesamiento de información de identificación de punto de unión14 y la unidad de unión de datos 15.
[0063] La unidad de procesamiento de información de identificación de punto de unión 14 lee desde una unidad de almacenamiento (no ilustrada) los dos flujos de datos de video codificados seleccionados, por ejemplo, vía una unidad de interfaz de usuario no ilustrada. Entonces, de conformidad con una señal de control aplicada externamente no ilustrada, la unidad de procesamiento de información de identificación de punto de unión 14 identifica la imagen inicial del punto de unión en el segundo flujo de datos de video codificados a ser unidos temporalmente corriente abajo del otro de los flujos de datos de video codificado. La señal de control externa especifica, por ejemplo, el número de imágenes codificadas desde el inicio del segundo flujo Número de Certificado: 2013-3021393 2012-148849 Página: 38/ de datos de video codificados, y la unidad de procesamiento de información de identificación del punto de unión 14 toma, por ejemplo, la última imagen CRA dentro de este número de imágenes codificadas como la imagen del punto de unión.
[0064] Para la imagen CRA de punto de unión identificado, si NalUnitType del corte de esa imagen es 4, la unidad de procesamiento de información de identificación de punto de unión 14 cambia el valor de NalUnitType a 7 lo cual indica que la imagen es una imagen BLA que no sigue inmediatamente por una imagen TFD. Además, la unidad de procesamiento de información de identificación de punto de unión 14 suministra la imagen CRA del punto de unión y sus imágenes subsecuentes en el segundo flujo de datos de video codificados para la unidad de unión de datos 15, y al mismo tiempo, emite una instrucción para eliminar la imagen TFD inmediatamente después de la imagen CRA de punto de unión.
[0065] Por otro lado, para la imagen CRA de punto de unión identificada, si NalUnitType de la unión de la imagen es 5, la unidad de procesamiento de información de identificación de punto de unión 14 cambia el valor de NalUnitType a 7 lo cual indica que la imagen es una imagen BLA que no está inmediatamente seguida por una imagen TFD. Además, la unidad de procesamiento de información de identificación de punto de unión 14 suministra la imagen CRA del punto de unión y sus imágenes Número de Certificado: 2013-3021393 2012-148849 Página: 39/ subsecuentes en el segundo flujo de datos de video codificados a la unidad de unión de datos 15. Sin embargo, en este caso, la unidad de procesamiento de información de identificación de punto de unión 14 no emite una instrucción para eliminar la imagen TFD siguiendo inmediatamente la imagen CRA del punto de unión.
[0066] La unidad de unión de datos 15 recibe el segundo flujo de datos de video codificados desde la unidad de procesamiento de información de identificación del punto de unión 14, y une éste al extremo trasero del primer flujo de datos de video codificados que es unido corriente arriba temporalmente del punto de unión. Hasta ahora, la unidad de unión de datos 15 elimina desde el segundo flujo de datos de video codificados cualquier imagen TFD que sigue inmediatamente la imagen inicial de la misma y que es incapaz de ser reproducida correctamente. Después, la unidad de unión de datos 15 almacena en la unidad de almacenamiento (no ilustrada) los datos de video codificados unidos creados uniendo juntos los primero y segundo flujos de datos de video codificados
[0067] La Figura 6 es un diagrama de flujo de operación ilustrando el proceso de codificación de video realizado por el aparato de codificación de video de conformidad con la primera modalidad. El aparato de codificación de video 1 codifica la secuencia de video completa a ser codificada de conformidad con el diagrama de flujo de operación de la Figura 6.
Número de Certificado: 2013-3021393 2012-148849 Página: 40/ Antes de iniciar el proceso de codificación para la secuencia completa, la estructura de predicción de imagen tal como la estructura GOP se determina, por ejemplo, por la unidad de control 1 1 (paso S101 ). La estructura de predicción de imagen determinada es señalada a la unidad de control de codificación 12.
[0068] Entonces, con base en la estructura de predicción de imagen, la posición de la imagen objeto desde el inicio de los datos de video, etc., la unidad de control de codificación 12 determina el modo de codificación a ser aplicado para codificar la imagen objetivo, y genera la información de encabezado de la imagen objetivo a ser codificada (paso S102).
Después, la unidad de control de codificación 12 determina si NalUnitType en el corte NUH de la imagen objetivo es cualquiera 4 o 5 u 8, o ninguno de éstos. Cuando NalUnitType es 4, la imagen objeto es una imagen CRA la cual es seguida por una imagen TFD. Cuando el flujo de datos de video codificados que contienen esta imagen objetivo como la imagen inicial se une en el lado corriente abajo de otro flujo de datos de video codificados, ahí surge la necesidad de corregir el retraso de decodificación y valores de retraso de despliegue de esta imagen objetivo y sus imágenes subsecuentes durante el proceso de decodificación de video. Por lo tanto, la unidad de control de codificación 12 fija RapCpbParamsPresentFIag en el BPSEI adjuntado a esta imagen objetivo a 1 (paso S104). Entonces, la unidad de control de codificación 12 fija el valor de la información de corrección de Número de Certificado: 20 3-3021393 2012-148849 Página: 41/ retraso de despliegue AltDpbOutputDelay, la cual es usada para corregir el retraso de despliegue, igual a dos veces el número de imágenes a ser reordenadas. Además, la unidad de control de codificación 12 fija el valor de la información de corrección de retraso de decodificación AItCpbRemovalDelayOffset, el cual es usado para corregir el retraso de decodificación, igual a dos veces el número de imágenes TFD que siguen inmediatamente la imagen CRA (paso S105).
[0069] Por otro lado, cuando NalUnitType es 5 u 8, la imagen objetivo es una imagen adjuntada-BPSEI, pero eta imagen objetivo no es seguida por una imagen TFD. Por lo tanto, la unidad de control de codificación 12 fija RapCpbParamsPresentFIag en el BPSEI adjuntado a esta imagen objetivo a 0 (paso S106). Cuando NalUnitType no es ni 4 ni 5 ni 8, esta imagen objetivo no es una imagen adjuntada-BPSEI. En consecuencia, la unidad de control de codificación 2 no fija RapCpbParamsPresentFIag.
[0070] Después del paso S105 o S106, o si NalUnitType ni es 4 ni 5 en el paso $103, la unidad de control de codificación 12 suministra los datos de la imagen objetivo a la unidad de codificación de imagen 3 junto con el tipo del modo de codificación y la información de encabezado de esa imagen. Entonces, la unidad de codificación de imagen codifica la imagen objetivo de conformidad con el modo de codificación y la información de encabezado, y adjunta la información de encabezado a los datos de la imagen codificada Número de Certificado: 2013-3021393 2012-148849 Página: 42/ (paso S107).
[0071] Después de eso, la unidad de control 1 1 determina si existe alguna imagen permaneciendo para ser codificada en la secuencia de video (paso S108). Si existe alguna imagen que permanece para ser codificada (Si en el paso S108), la unidad de control 11 lleva a cabo el proceso desde el paso S102 hacia adelante para codificar la siguiente imagen objetivo. Por otro lado, si ya no existe alguna imagen que permanece para ser codificada (no en el paso S108), la unidad de control 1 1 termina el proceso de codificación.
[0072] La Figura 7 es un diagrama de flujo de operación que ilustra el proceso de edición de video realizado por el aparato de codificación de video de acuerdo con la primera modalidad.
La unidad de procesamiento de información de identificación de punto de unión 14 lee secuencialmente desde la unidad de almacenamiento (no se ilustra) las imágenes codificadas hasta el punto de unión fuera del primer flujo de datos de video codificados para ser unidos corriente arriba del punto de unión (paso S201 ). Además, la unidad de procesamiento de información de identificación del punto de unión 14 lee secuencialmente desde la unidad de almacenamiento (no ilustrado) las imágenes codificadas después del punto de unión fuera del segundo flujo de datos de video codificados para ser unidos corriente arriba del punto de unión (paso S202). Después, para la imagen CRA inicial leída del segundo flujo de datos de video codificados, la Número de Certificado: 2013-3021393 2012-148849 Página: 43/ unidad de procesamiento de información de identificación del punto de unión 14 cambia el valor de NalUnitType en cada unión NUH para el valor que indica una imagen BLA, y suministra la imagen CRA inicial a la unidad de unión de datos 15 (paso S203). Además, la unidad de procesamiento de información de identificación de punto de unión 14 determina si el valor original de NalUnitType es 4 o no, es decir, si existe alguna imagen TFD o no (paso S204). Si el valor original de NalUnitType es 4 (Si en el paso S204), existe una imagen TDF que sigue la imagen CRA inicial (la cual es una imagen BLA después de unión). Por lo tanto, la unidad de procesamiento de información de identificación de punto de unión 14 fija una bandera de eliminación TFD a 1 (paso S205). Por otro lado, si el valor original de NalUnitType no es 4 (NO en el paso S204), no existe imagen TFD que sigue la imagen CRA inicial. Por lo tanto la unidad de procesamiento de información de identificación de punto de unión 14 fija la bandera de eliminación TFD a 0 (paso S206).
Después del paso S205 o S206, la unidad de procesamiento de información de identificación de punto de unión 14 suministra la imagen CRA inicial y sus imágenes subsecuentes del segundo flujo de datos de video codificados a la unidad de unión de datos 15. Entonces, la unidad de unión de datos 15 une la imagen CRS inicial, es decir, la imagen BLA, en el lado corriente abajo del punto de unión del primer flujo de datos de video codificados (paso S207).
[0073] Después de eso, la unidad de unión de datos 15 procede a la Número de Certificado: 2013-3021393 2012-148849 Página: 44/ siguiente imagen objeto en el segundo flujo de datos de video codificados que sigue la imagen unida al primer flujo de datos de video codificados o que sigue la imagen eliminada. Después, la unidad de unión de datos 15 determina si NalUnitType en cada corte NUH de esta imagen objetivo es 2 o no (es decir, si la imagen es una imagen TFD o no) y si la bandera de eliminación TFD es 1 o no (paso S208).
[0074] Si NalUnitType es 2, y si la bandera de eliminación TFD es 1 (Si en el paso S208), la unidad de unión de datos 15 elimina esta imagen objetivo (paso S209). Por otro lado, si NalUnitType no es 2, o si la etiqueta de eliminación TFD es 0 (no en el paso S208), la unidad de unión de datos 15 incorpora esta imagen objetivo en el extremo trasero de los datos de video codificados unidos, y fija la bandera de eliminación TFD a 0 (paso S210).
Después del paso S209 o S210, la unidad de unión de datos 15 determina si existe alguna imagen adicional subsecuente a la imagen objetivo (paso S211). Si existe alguna imagen subsecuente adicional (Si en el paso S211), la unidad de unión de datos 15 regresa al paso S208 para repetir el proceso de arriba. Por otro lado, si no existe imagen subsecuente adicional (No en el paso S2^ i), la unidad de unión de datos 15 termina el proceso de edición de video.
[0075] A continuación, se proporcionará una descripción del aparato de decodificación de video para decodificar los datos de video codificados o Número de Certificado: 2013-3021393 2012-148849 Página: 45/ editados por el aparato de codificación de video 1 de conformidad con la primera modalidad.
[0076] La Figura 8 es un diagrama de bloque simplificado del aparato de decodificación de video de conformidad con la primera modalidad. El aparato de decodificación de video 2 incluye una unidad de control 21 , una unidad de análisis de información de encabezado 22, una unidad de determinación de tiempo de decodificación/despliegue de imagen 23, una unidad de decodificación de imagen 24, y una memoria de estructura 25. Estas unidades constituyendo el aparato de decodificación de video 2 son cada una implementadas como un circuito separado en el aparato de decodificación de video 2. Alternativamente, estas unidades que constituyen el aparato de decodificación de video 2 pueden implementarse en el aparato de decodificación de video 2 en la forma de un circuito integrado único en el cual los circuitos implementando las funciones de las unidades respectivas son integrados. Además, estas unidades que constituyen el aparato de decodificación de video 2 pueden ser módulos funcionales implementados ejecutando un programa de computadora en un procesador incorporado en el aparato de decodificación de video 2.
[0077] La unidad de control 21 controla la operación de cada unidad designada del aparato de decodificación de video 2 cuando decodifica los datos de video codificados.
Número de Certificado: 2013-3021393 2012-148849 Página: 46/
[0078] La unidad de análisis de información de encabezado 22 analiza la información del encabezado de los datos de video codificados, y pasa los parámetros necesarios para la determinación de los tiempos de despliegue y decodificación de imagen, por ejemplo, NalUnitType de cada imagen, AltDpbOutputDelay y AltCpbRemovalDelayOffset portado en BPSEI, y CpbRemovalDelay y DpbOutputDelay portado en PTSEI, a la unidad de determinación de tiempo de decodificación/despliegue de imagen 23.
[0079] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 que recibió los parámetros desde la unidad de análisis de información de encabezado 22 verifica al unión NUH de la imagen objetivo a ser decodificada. Cuando el valor de NalUnitType portado en el NUH es 6 o 7, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina que la imagen a ser decodificada es una imagen BLA
[0080] Cuando la imagen a ser decodificada es una imagen BLA, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como el retraso de decodificación CpbRemovalDelay de la imagen BLA, el valor calculado en la siguiente manera, no el valor de CpbRemovalDelay portado en PTSEI anexado a la imagen BLA.
Número de Certificado: 2013-3021393 2012-148849 Página: 47/
[0081] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 cuenta el número de imágenes A, desde la imagen que sigue inmediatamente la imagen adjuntada-BPSEI más reciente antes de la imagen BLA hasta la imagen que precede inmediatamente la imagen BLA. Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 verifica el valor B de CpbRemovalDelay portado en el PTSEI adjuntado a la imagen inmediatamente precediendo la imagen BLA. Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 calcula el valor del retraso de decodificación CpbRemovalDelay de la imagen BLA como A*(B/(A-1 )).
[0082] Cuando la imagen a ser decodificada es una imagen BLA cuyo NalUnitType es 7 el cual indica que la imagen BLA es seguida inmediatamente por una imagen TFD, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 además verifica la bandera RapCpbParamsPresentFIag en el BPSEI adjuntada a la imagen BLA. Cuando el valor de RapCpbParamsPresentFIag es 1 , la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina que la imagen TFD siguiendo inmediatamente la imagen BLA ha sido eliminada, y corrige el retraso de despliegue DpbOutputDelay de esa imagen BLA y el retraso de decodificación CpbRemovalDelay de cada imagen subsecuente de la imagen Número de Certificado: 2013-3021393 2012-148849 Página: 48/ (imagen no-TFD) siguiendo inmediatamente la imagen BLA a la siguiente imagen adjuntada-BPSEI en la manera siguiente:
[0083] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como el retraso de despliegue DpbOutputDelay de la imagen BLA, el AltDpbOutputDelay portado en el BPSEI adjuntado a la imagen BLA, no el DpbOutputDelay portado en el PTSEI adjuntado a la imagen BLA. Además, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 corrige el retraso de decodificación CpbRemovalDelay de cada imagen subsecuente desde la imagen siguiendo inmediatamente la imagen BLA a la siguiente imagen adjuntada-BPSEI restando el valor de AltCpbRemovalDelayOffset portado en el BPSEI adjuntado a la imagen BLA desde el valor de CpbRemovalDelay portado en el PTSEI adjuntado a la imagen subsecuente.
[0084] Para cualquier otra imagen que las imágenes de arriba, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina el retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay de la imagen tomando directamente los valores de CpbRemovalDelay y DpbOutputDelay portados en el PTSEI adjuntado a esa imagen.
[0085] La unidad de determinación de tiempo de Número de Certificado: 2013-3021393 2012-148849 Página: 49/ decodificación/despliegue de imagen 23 determina el tiempo de decodificación de cada imagen con base en el retraso de decodificación de arriba CpbRemovalDelay, y emite una instrucción de decodificación a la unidad de decodificación de imagen 24 en el tiempo de decodificación determinado. Además la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina el tiempo de despliegue de cada imagen con base en el retraso de despliegue de arriba DpbOutputDelay, y emite una instrucción de despliegue a la memoria de estructura 25 en el tiempo de despliegue determinado.
[0086] Bajo recepción de la instrucción de decodificación para la imagen objetivo, la unidad de decodificación de imagen 24 decodifica la imagen objetivo usando una imagen de referencia almacenada en la memoria de estructura 25. Después, la unidad de decodificación de imagen 24 almacena la imagen decodificada en la memoria de estructura 25. La unidad de decodificación de imagen 24 realiza la decodificación empleando el mismo método de codificación que el empleado por la unidad de codificación de imagen en el aparato de codificación de video 1.
[0087] La memoria de estructura 25 almacena la imagen decodificada. Además, la memoria de estructura 25 da salida a la imagen decodificada hacia la unidad de decodificación de imagen 24 para presentar una imagen de referencia para una imagen a ser decodificada subsecuentemente. La Número de Certificado: 2013-3021393 2012-148849 Página: 50/ memoria de estructura 25 también da salida a la imagen decodificada hacia una unidad de despliegue (no ilustrada) de conformidad con la instrucción de despliegue recibida desde la unidad de determinación de tiempo de decodificación/despliegue de imagen 23
[0088] La Figura 9 es un diagrama de flujo de operación ilustrando el proceso de decodificación de video realizado por el aparato de decodificación de video de conformidad con la primera modalidad. El aparato de decodificación de video 2 decodifica la secuencia de video completa a ser decodificada de conformidad con el diagrama de flujo de operación de la Figura 9.
[0089] Antes de empezar el proceso de decodificación para la secuencia completa, la unidad de control 21 inicializa las variables "cnt" y "flag" a 0 (paso S301 ). La variable "cnt" representa el número de imágenes desde la imagen adjuntada-BPSEI hacia la siguiente imagen adjuntada-BPSEI. La "bandera" variable es una variable que indica si la imagen es una imagen no-BLA cuyo CpbRemovalDelay necesita corregir.
[0090] Después, la unidad de análisis de información de encabezado 22 analiza la información de encabezado de la imagen objetivo a ser decodificada, y pasa los parámetros necesarios para determinar el tiempo de despliegue hacia la unidad de determinación de tiempo de Número de Certificado: 2013-3021393 2012-148849 Página: 51/ decodificación/despliegue de imagen 23 (paso S302). La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina si la "bandera" variable es 0 o no, o si el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada es cualquiera 6 o 7, es decir, si la imagen a ser decodificada es una imagen BLA o no (paso S303). Si la bandera variable es 1 , y si el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada ni es 6 ni 7 (No en paso S303), la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 corrige el retraso de decodificación CpbRemovalDelay de la imagen a ser decodificada, la cual es, en este caso, una imagen no-BLA, usando la información de corrección de retraso de decodificación AltCpbRemovalDelayOffset (paso S304).
[0091] Después del paso S304, o si es determinado en el paso S303 que la variable "bandera" es 0 o NalUnitType es cualquiera 6 o 7 (Si en el paso S303), la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina si la imagen a ser decodificada es una imagen adjuntada-BPSEI o no paso(S305).
[0092] Si la imagen a ser decodificada es una imagen adjuntada-BPSEI (Si en el paso S305), la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 copia el valor de la variable "cnt" a una variable "d", y restablece ambas variables "cnt" y "bandera" a 0 (paso Número de Certificado: 2013-3021393 2012-148849 Página: 52/ S306). Si la imagen a ser decodificada no es una imagen adjuntada-PBSEI (no en paso S3059, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 incrementa el valor de la variable "cnt" por (1) (paso S307).
[0093] Después del paso S306 o S307, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina si el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada es cualquiera 6 o 7 (paso S308). Si el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada es cualquiera 6 o 7 (Si en el paso S308), la imagen a ser decodificada es una imagen BLA. Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 corrige el retraso de decodificación CpbRemovalDelay de la imagen de conformidad con el valor de la variable "d" (paso S309).
[0094] Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina si el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada es 7 y si el valor de RapCpbParamsPresentFIag en el BPSEI-adjuntado a la imagen a ser decodificada es 1 (paso S310). Si el valor de NalUnitType en el encabezado NUH corte NUH de la imagen a ser decodificada es 7, y si el valor de RapCpbParamsPresentFIag en el BPSEI adjuntado a la imagen a ser decodificada es 1 (Si en el paso S310), la unidad de determinación de tiempo Número de Certificado: 2013-3021393 2012-148849 Página: 53/ de decodificación/despliegue de imagen 23 fija la "bandera" variable a 1 , mientras que corregir el retraso de despliegue DpbOutputDelay de la imagen BLA a la información de corrección de retraso de despliegue AltDpbOutputDelay (paso S31 1 ).
[0095] Después del paso S311 , o si éste es determinado en el paso S308 que el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada ni es 6 o 7 (No en paso S308), o si es determinado en el paso S310 que el valor de NalUnitType en el encabezado de corte NUH de la imagen a ser decodificada no es 7 y que el valor de RapCpbParamsPresentFIag en el BPSEI anexado a la imagen a ser decodificada es 0 (No en paso S310), la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 emite la instrucción de decodificación a la unidad de decodificación de imagen 24 en el tiempo de decodificación determinado. Además, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 emite la instrucción a la memoria de estructura 25 en el tiempo de despliegue determinado. Después, la unidad de decodificación de imagen 24 decodifica la imagen objetivo en el tiempo de decodificación. Por otro lado, la memoria de estructura 25 despliega la imagen decodificada en la unidad de despliegue (no ilustrado) (paso S312).
[0096], La unidad de control 21 determina si existe alguna imagen restante para ser decodificada en los datos de video codificados (paso S313).
Número de Certificado: 2013-3021393 2012-148849 Página: 54/ Si existe alguna imagen restante para ser decodificada (Si en el paso S313), la unidad de control 21 regresa el proceso al paso S302. Después, la imagen a ser decodificada después en el orden de decodificación es tomada como la imagen objetivo, y el proceso iniciando desde el paso S302 se repite. Por otro lado, si ya no existe alguna imagen restante para ser decodificada (No en paso S313), la unidad de control 21 termina el proceso de decodificación de video.
[0097] Como ha sido descrito arriba, aún cuando dos o más flujos de datos de video codificados son unidos juntos sin decodificarlos, el aparato de codificación de video de conformidad con la presente modalidad no necesita corregir el retraso de decodificación y parámetros de retraso de despliegue determinados al momento de codificación. Entonces, puesto que el retraso de decodificación y retraso de despliegue de cada imagen puede ser corregido usando parámetros de corrección de retraso de decodificación y corrección de retraso de despliegue incorporados en el momento de unir los flujos de datos de video codificados, el aparato de decodificación de video de conformidad con la presente modalidad puede decodificar y desplegar cada imagen en el tiempo correcto.
[0098] A continuación, se describirá una segunda modalidad. La segunda modalidad difiere de la primera modalidad en la estructura de los datos de video codificados.
Número de Certificado: 2013-3021393 2012-148849 Página: 55/
[0099] Con referencia a la Figura 10, se describirá la estructura de los datos de video codificados de conformidad con la segunda modalidad. En común con la estructura de imagen codificada de conformidad con la primera modalidad ilustrada en la Figura 4, la estructura de datos 1000 de una imagen contiene seis tipos de unidades NAL 1010 a 1015. De éstas, el BPSEI 1013 y PSEI 1014 son diferentes del BPSEI 413 y PTSEI 414 ilustrados en la Figura 4. Por otro lado, el DELIM 1010, SPS 101 1 , PPS 1012, SLICE 1015, y NUH 1020 son idénticos al DELIM 410, SPS 41 1 , PPS 412, SLICE 415, y NUH 420, respectivamente, ilustrado en la Figura 4.
[0100] El BPSEI 1013, similar al BPSEI 413, contiene un número, (N+1), de los campos InitialCpbRemovalDelay y InitialCpbRemovalDelayOffset, y el campo RapCpbParamsPresentFIag que sigue éstos. Sin embargo, el campo AItCpbRemovalDelay y el campo AltDpbOutputDelay no están contenidos en el BPSEI 1013.
Por otro lado, el PTSEI 1014, similar al PTSEI 414, contiene el campo CpbRemovalDelay y el campo DpbOutputDelay . Cuando el valor de RapCpbParamsPresentFIag en el BPSEI es 1 , el PTSEI 1014 además contiene el campo AItCpbRemovalDelay y el campo AltDpbOutputDelay.
Si CpbRemovalDelay o DpbOutputDelay en el PTSEI de una cierta imagen no cambia aún cuando las imágenes TDF son eliminadas, el valor de AItCpbRemovalDelay o AltDpbOutputDelay se fija para ser el mismo Número de Certificado: 2013-3021393 2012-148849 Página: 56/ que el valor de CpbRemovalDelay o DpbOutputDelay.
[0101] Como se describió anteriormente, la diferencia de la primera modalidad yace en el tipo de SEI que porta los campos AItCpbRemovalDelay y AltDpbOutputDelay Por lo tanto, el aparato de codificación de video de la segunda modalidad difiere del aparato de codificación de video de la primera modalidad en la operación de la unidad de control de codificación 12. Por lo tanto lo siguiente describe la operación de la unidad de control de codificación 12.
[0102] La unidad de control de codificación 12 almacena los campos AItCpbRemovalDelay y AltDpbOutputDelay en el PTSEI anexado a cada imagen, no en el BPSEI. En este caso, la unidad de control de codificación 12 realiza control de tal manera que los valores del retraso de decodificación y retraso de despliegue de cada imagen cuando los dos flujos de datos de video codificado son unidos se almacenan en los campos AItCpbRemovalDelay y AltDpbOutputDelay , respectivamente.
[0103] A continuación, se describirá la operación del aparato de decodificación de video de conformidad con la segunda modalidad. La configuración del aparato de decodificación de video de conformidad con la segunda modalidad es esencialmente la misma que del aparato de decodificación de video de conformidad con la primera modalidad. Sin Número de Certificado: 2013-3021393 2012-148849 Página: 57/ embargo, el aparato de decodificación de video de la segunda modalidad difiere de la primera modalidad en la operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen 23. Por lo tanto lo siguiente describe la operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen 23.
[0104] Cuando la imagen a ser decodificada es una imagen BLA cuyo NalUnitType es 7, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 además verifica RapCpbParamsPresentFIag en el BPSEI. Cuando el valor de RapCpbParamsPresentFIag es 1 , la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina que la imagen TFD inmediatamente siguiente de la imagen BLA ha sido eliminada. Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 corrige DpbOutputDelay de la imagen BLA y CpbRemovalDelay de cada imagen desde la imagen (imagen no-TFD) inmediatamente siguiente de la imagen a la imagen anexada BPSEI junto en la manera siguiente.
La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como DpbOutputDelay de la imagen BLA, AltDpbOutputDelay portado en el PTSEI adjuntado a la imagen BLA, no DpbOutputDelay portado en el PTSEI adjuntado a la imagen BLA.
Además, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como CpbRemovalDelay de Número de Certificado: 2013-3021393 2012-148849 Página: 58/ cada imagen de la imagen siguiente inmediatamente a la imagen BLA para la imagen anexada-BPSEI siguiente, el AltCpbRemovalDelayOffset contenido en el PTSEI anexado a esta imagen, no el CpbRemovalDelay portado en el PTSEI adjuntado a la imagen.
[0105] A continuación, se describirá una tercera modalidad. La tercera modalidad difiere de la primera modalidad en la manera en que la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 en el aparato de decodificación de video calcula el retraso de decodificación de la imagen BLA. Los siguiente por lo tanto describe la unidad de determinación de tiempo de decodificación/despliegue de imagen 23.
[0106] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 verifica el corte NUH cuando analiza la información de encabezado de la imagen objetivo que pasa desde la unidad de análisis de información de encabezado 22. Cuando el valor de NalUnitType portado en NUH es 6 o 7, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina que la imagen objetivo a ser decodificada es una imagen BLA.
[0107] Cuando la imagen a ser decodificada es una imagen BLA, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como CpbRemovalDelay de la imagen BLA, el valor calculado en la Número de Certificado: 2013-3021393 2012-148849 Página: 59/ siguiente manera, no el valor de CpbRemovalDelay portado en el PTSEI adjuntado a la imagen BLA.
[0108] Permita que A denote el número de imágenes contadas desde la imagen que sigue inmediatamente la imagen BPSEI-adjuntada más reciente (a partir de ahora referida como Piel ) antes de la imagen BLA (a partir de ahora referida como el Pic2) hasta la imagen que precede inmediatamente el Pic2. A partir del valor B de CpbRemovalDelay de Pic2, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 deriva un primer valor de corrección Mod1 como A*(B/(A-1)). B/(A-1) corresponde a la diferencia de tiempo entre imágenes sucesivas (la unidad es te). B/(A-1 ) a partir de ahora será designado como "s".
Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 calcula un segundo valor de corrección Mod2 para corregir la diferencia en la cantidad de datos mantenidos en el CPB en el punto de unión. Permitamos que Pos2 denote la cantidad de datos mantenidos en el CPB justo antes de decodificar el Pic2, más específicamente, la cantidad de datos mantenidos en el CPB cuando el tiempo [seg] calculado dividiendo el valor de InitialCpbRemovalDelay (denotado como Init2) portando el BPSEI adjuntado al Pic2 por 90000 (es decir, 90 kHz) ha transcurrido desde el tiempo 0 en el cual el primer bit del flujo de datos de video codificados con el Pic2 como la imagen inicial arribada en la memoria intermedia de recepción en el aparato de decodificación de Número de Certificado: 2013-3021393 2012-148849 Página: 60/ video; entonces, Pos2 es calculado como (R*lnit2/90000). R denota el índice de bit.
[0109] Por otro lado, permitamos que Initl denote el valor de InitialCpbRemovalDelay portado en el BPSEI anexado a Piel , y TotalB la cantidad total de código de todas las imágenes ubicadas entre Piel y Pic2, incluyendo Piel ; después, la cantidad de datos, Pos2, mantenidos en el CPB justo antes de decodificar el Pic2 cuando el aparato de decodificación de video decodifica los datos de video codificados del inicio del mismo es calculado como (R*(lnit1 +(A+1)*s)-TotalB).
[0110] Cuando Pos1 es menor que Pos2, todos los datos de Pic2 no han arribado al aparato de decodificación de video por el tiempo en el que el aparato de decodificación justo empieza a decodificar el Pic2 en el flujo de datos de video codificados y por lo tanto el Piel no puede ser capaz de ser decodificado. Esto puede evitarse retraso el tiempo de decodificación de Pic2 en unidades de (s*tc) tiempo [seg].
Cuando (Pos2-Pos1 ) < Th, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 fija el segundo valor de corrección Mod2 a 0. El umbral Th tiene un valor positivo. La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 de otra manera fija el segundo valor de corrección Mod2 a (Ceil((Pos2-Pos1 )/R/(s*tc))). Ceil() es la función de límite. Cuando la imagen a ser decodificada es una imagen BLA, Número de Certificado: 2013-3021393 2012-148849 Página: 61/ la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 reemplaza CpbRemovalDelay de la imagen BLA por (Mod1 + Mod2).
[0111] En esta manera, el aparato de decodificación de video de conformidad con la tercera modalidad determina el retraso de decodificación de la imagen BLA considerando la cantidad de datos mantenidos en el CPB justo antes de decodificar la imagen BLA. Como un resultado, el aparato de decodificación de video de conformidad con esta modalidad puede evitar que ocurra desbordamiento por abajo en el CPB.
[0112] A continuación, se describirá una cuarta modalidad. En la cuarta modalidad, el retraso de decodificación y el retraso de despliegue pueden ser determinados apropiadamente aún cuando el número de imágenes a ser reordenadas en el primer flujo de datos de video codificados unido corriente arriba del punto de unión es diferente del número de imágenes a ser reordenadas en el segundo flujo de datos de video codificados unido corriente abajo del punto de unión. Además, en la cuarta modalidad, el retraso de decodificación y el retraso de despliegue pueden ser determinados apropiadamente aún cunado cualquier imagen a ser desplegada antes del punto de unión en el primer flujo de datos de video codificado ha sido eliminado.
[0113] Con referencia a las Figuras 1 a 13, se proporcionará una Número de Certificado: 2013-3021393 2012-148849 Página: 62/ explicación de los valores del retraso de decodificación de imagen CpbRemovalDelay y retraso de despliegue DpbOutputDelay para diferentes estructuras de codificación de imagen y diferentes puntos de edición.
[0114] En la Figura 1 1 , el número de imágenes a ser reordenadas en el primer flujo de datos de video codificados y esa en el segundo flujo de datos de video codificados son ambos 2, como en el caso de la Figura 3. Además, los primero y segundo flujos de datos de video codificados 1 101 y 1 102 son los mismos que los primero y segundo flujos de datos de video codificados 301 y 302 ilustrados en la Figura 3. El arreglo de bloque 1 103 indicando los valores de retraso de decodificación y retraso de despliegue para el segundo flujo de datos de video codificado 1102 también es el mismo que el arreglo de bloque 303 ilustrado en la Figura 3. Sin embargo, a diferencia de la Figura 3, la imagen B13 en el primer flujo de datos de video codificados 1 101 es la imagen del punto de unión.
[0115] Como un resultado, a diferencia de los datos de video codificados unidos 304, la imagen B15 no está contenida en los datos de video codificados unidos 1 104.
[0116] El arreglo de bloque 1 104 indica los valores de retraso de decodificación CpbRemovalDelay y DpbOutputDelay de retraso de despliegue que las imágenes I72, P76, B74, B73, y B75 en se supone que tienen en los Número de Certificado: 2013-3021393 2012-148849 Página: 63/ datos de video codificados unidos. Cada bloque en la fila superior del arreglo de bloque 1105 porta el valor de retraso de decodificación CpbRemovalDelay para la imagen correspondiente en los datos de video codificados unidos 1 104 ubicados directamente arriba de ese bloque. De manera similar, cada bloque en la fila inferior del arreglo de bloque 1105 porta el valor del retraso de despliegue DpbOutputDelay para la imagen correspondiente en los datos de video codificados unidos 1 104 ubicados directamente arriba de ese bloque. Como puede observarse a partir del arreglo de bloque 1 105, aún cuando la imagen I72 es unida para seguir la imagen B13, los valores de retraso de decodificación y retraso de despliegue para las imágenes I72, P76, B74, B73, y B75 son los mismos que cuando la imagen I72 es unida para seguir la imagen B15.
[0117] En comparación con la Figura 3, el número de imágenes ubicadas entre la imagen I72 y la imagen BPSEI-adjuntada más reciente 112 antes de que ésta sea 6, lo cual es menor por 1 que el número de imágenes ubicadas entre las imágenes I72 e 112 en la Figura 3. Sin embargo, el valor de CpbRemovalDelay necesita ser fijado a 16, como en el caso de la Figura 3, para desplegar completamente las imágenes codificadas en los mismos intervalos y en el mismo orden que las imágenes fueron ingresadas.
La razón se describirá ahora con referencia a un arreglo de bloque 1106. El arreglo de bloque 1 106 indica que las imágenes en los datos de video codificados unidos en el orden tiempo de decodificación y en el orden Número de Certificado: 2013-3021393 2012-148849 Página: 64/ de tiempo de despliegue. Como se ilustró en el arreglo de bloque 1 106, los datos de video codificados unidos no contienen la imagen B15, pero la imagen P16 necesita desplegarse dos veces la imagen después de la imagen B14. Si la imagen I72 y las imágenes subsecuentes están para ser desplegadas sucesivamente después de desplegar la imagen P16, el tiempo de decodificación de la imagen I72 tiene que ser desplegado por un tiempo de imagen. En este caso, puesto que la imagen B14 es desplegada por una duración de dos tiempos de imagen, ocurre un congelamiento de imagen.
[0118] En el ejemplo ilustrado en la Figura 12, el número de imágenes a ser reordenado en el segundo flujo de datos de video codificados 1202 es menor que el número de imágenes a ser reordenado en el primer flujo de datos de video codificado 1201. En el ejemplo ilustrado, el número de imágenes a ser reordenadas en el primer flujo de datos de video codificado es 2, mientras que el número de imágenes a ser reordenadas en el segundo flujo de datos de video codificado es 1. Un arreglo de bloque 1203 indica el retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay para cada imagen en el segundo flujo de datos de video codificados antes de unión.
[0119] Suponga que la imagen I72 en el segundo flujo de datos de video codificados 1202 es unido de para seguir la imagen B15 en el primer flujo de datos de video codificados 1201 , como es ilustrado en los datos de Número de Certificado: 2013-3021393 2012-148849 Página: 65/ video codificados unidos 1204. En este caso, los valores de retraso de decodificación y valores de retraso de despliegue de la imagen I72 y sus imágenes subsecuentes después de unión son como se ilustra en un arreglo de bloque 1205. Un arreglo de bloque 1206 indica las imágenes en los datos de video codificados unidos en orden de tiempo de decodificación y en orden de tiempo de despliegue.
[0120] Para desplegar completamente las imágenes decodificadas en sucesión en los mismos intervalos y en el mismo orden que las imágenes fueron ingresadas, el retraso de decodificación de la imagen inicial en el segundo flujo de datos de video codificados 1202 necesita ser incrementado, como se ilustra en el arreglo de bloque 1206, en proporción con la diferencia entre el número de imágenes a ser reordenadas en el primer flujo de datos de video codificado 1201 y el número de imágenes a ser reordenadas en el segundo flujo de datos de video codificado 1202. En el ejemplo ilustrado, el retraso de decodificación se incrementa por 2 a 16.
[0121] Si la imagen elegida para ser la imagen de punto de unión en el primer flujo de datos de video codificados no es la imagen B15, sino la imagen B13, B14 o P16, el retraso de decodificación de la imagen inicial en el segundo flujo de datos de video codificados es el mismo que cuando el flujo de datos de video codificados es unido para seguir la imagen B15. En este caso, sin embargo, ocurre congelación de despliegue de imagen por una Número de Certificado: 2013-3021393 2012-148849 Página: 66/ duración igual al número de imágenes eliminadas entre las imágenes precediendo la imagen P16.
[0122] En el ejemplo ilustrado en la Figura 13, el número de imágenes a ser reordenadas en el primer flujo de datos de video codificado 1301 es menor que el número de imágenes a ser reordenadas en el segundo flujo de datos de video codificados 1302. En el ejemplo ilustrado, el número de imágenes a ser reordenadas en el primer flujo de datos de video codificados 1301 es 1 , mientas que el número de imágenes a ser reordenadas en el segundo flujo de datos de video codificados 1302 es 2. Un arreglo de bloque 1303 indica el retraso de decodificación CpbRemovalDelay y retraso de despliegue DpbOutputDelay para cada imagen en el segundo flujo de datos de video codificados antes de unión.
[0123] Suponga que la imagen I72 en el segundo flujo de datos de video codificados 1302 es unido de para seguir la imagen B15 en el primer flujo de datos de video codificados 1301 , como es ilustrado en los datos de video codificados unidos 1304. En este caso, los valores de retraso de decodificación y valores de retraso de despliegue de la imagen I72 y sus imágenes subsecuentes después de unión son como se ilustra en un arreglo de bloque 1305. Un arreglo de bloque 1306 indica las imágenes en los datos de video codificados unidos en orden de tiempo de decodificación y en orden de tiempo de despliegue.
Número de Certificado: 2013-3021393 2012-148849 Página: 67/
[0124] Para desplegar completamente las imágenes decodificadas en los mismos intervalos y en el mismo orden que las imágenes fueron ingresadas, la última imagen de despliegue en el primer flujo de datos de video codificados necesita repetirse.
[0125] Como se ilustra en las Figuras 12 y 13, dependiendo de la relación entre el número de imágenes a ser reordenadas en el primer flujo de datos de video codificado y el número de imágenes a ser reordenadas en el segundo flujo de datos de video codificado, puede surgir la necesidad de retrasar el tiempo de decodificación de la imagen inicial en el segundo flujo de datos de video codificados, o puede ocurrir un congelamiento de imagen de despliegue a través del punto de unión. Además, como se ilustra en la Figura 11 , dependiendo de la posición del punto de unión en el primer flujo de datos de video codificados, un congelamiento de imagen de despliegue puede ser inevitable.
[0126] A continuación, se describirá un aparato de decodificación de video de conformidad con una cuarta modalidad que trata el problema anterior. El aparato de decodificación de video de la cuarta modalidad difiere del aparato de decodificación de video de la primera modalidad en la operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen 23. Por lo tanto los siguiente describe la Número de Certificado: 2013-3021393 2012-148849 Página: 68/ unidad de determinación de tiempo de decodificación/despliegue de imagen 23.
[0127] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 verifica el corte NUH cuando analiza la información de encabezado de la imagen objetivo que pasa desde la unidad de análisis de información de encabezado 22. Cuando el valor de NalUnitType portado en el NUH es 6 o 7, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina que la imagen a ser decodificada es una imagen BLA.
[0128] Cuando la imagen a ser decodificada es una imagen BLA, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como CpbRemovalDelay de la imagen BLA, el valor calculado en la siguiente manera, no el valor de CpbRemovalDelay portado en el PTSEI adjuntado a la imagen BLA.
La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 cuenta el número de imágenes, A, desde la imagen que sigue inmediatamente la imagen BPSEI-adjuntada más reciente (a partir de ahora referida como Piel ) antes de la imagen BLA (a partir de ahora referido como Pic2) hasta la imagen que precede inmediatamente Pic2. La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 verifica el valor B de Número de Certificado: 2013-3021393 2012-148849 Página: 69/ CpbRemovalDelay portado en el PTSEI adjuntado a la imagen inmediatamente precedente a Pic2, y calcula un primer valor de corrección Mod1 de PTSEI como A*(B/(A-1)).
Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 compara el número de imágenes a ser reordenadas, R1 , lo cual es definido en el SPS que la imagen precediendo inmediatamente el Pic2 ser refiere, con el número de imágenes a ser reordenadas, R2, que una imagen no TFD siguiendo el Pic2 inmediatamente se refiere. El campo que indica el número de imágenes a ser reordenadas en el SPS es SpsNumReorderPics de conformidad con el método descrito en el documento no-patente JCTVC-11003, "High-Efficiency Video Coding (HEVC) text specification Working Draft 7", Equipo Unificado Colaborativo en Codificación de Video de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11 , Mayo 2012.
[0129] Cuando R1 es igual a R2, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa Mod1 directamente como el CpbRemovalDelay de Pic2. Cuando R2 es mayor que R1 , la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 calcula un segundo valor de corrección Mod2 de PTSEI como (R2-R1 )*B/(A-1).
Cuando R2 es menor que R1 , la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa Mod1 directamente como el CpbRemovalDelay de Pic2.
Número de Certificado: 2013-3021393 2012-148849 Página: 70/
[0130] Además, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina, con base en la relación entre R1 y R2, si la última imagen en el primer flujo de datos de video codificados está para ser desplegada-congelada o no, y señala el período de congelación determinado a la memoria de estructura 25.
La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina el período de congelamiento (en unidades te) en la siguiente manera.
Cuando R1 es igual a R2, o cuando R1 es mayor que R2, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 fija el período de congelamiento a 0.
Por otro lado, cuando R1 es menor que R2, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 fija el período de congelamiento a (R2-R1)*B/(A-1).
[0131] Como se describió anteriormente, de conformidad con la cuarta modalidad, aún cuando el primer flujo de datos de video codificados se une corriente arriba del punto de unión contiene cualquier imagen que es posterior que la imagen de punto de unión en el orden de codificación (decodificación) y que está para ser reproducida antes que la imagen del punto de unión, el aparato de decodificación de video puede determinar apropiadamente el retardo de decodificación y retardo de despliegue de cada imagen ubicada Número de Certificado: 2013-3021393 2012-148849 Página: 71/ después del punto de unión. Además, aún cuando el número de imágenes a ser reordenadas difiere antes y después del punto de unión, el aparato de decodificación de video puede determinar apropiadamente el retraso de decodificación y el retraso de despliegue de cada imagen ubicada después del punto de unión.
[0132] A continuación se describirá una quinta modalidad. En la quinta modalidad, el aparato de codificación de video incorpora un parámetro para identificar una imagen que no cause congelamiento de imagen de despliegue cuando dos flujos de datos de video codificados son unidos juntos.
[0133] Para evitar que ocurra congelamiento de imagen de despliegue a través del punto de unión, el número de imágenes a ser reordenadas en el primer flujo de datos de video codificados tiene que hecho igual o mayor que el número de imágenes a ser reordenadas en el segundo flujo de datos de video codificados, y el punto de unión del primer flujo de datos de video codificados tiene que ser ubicado inmediatamente antes de una imagen que se refiere solamente a una imagen precedente temporalmente. En el ejemplo de la Figura 1 1 , el punto de unión que satisface esta condición es la imagen B1 1 o B15.
[0134] La Figura 14 ilustra la estructura de datos de una imagen contenida en el video codificado de conformidad con la quinta modalidad. La Número de Certificado: 2013-3021393 2012-148849 Página: 72/ estructura de datos 1400 de una imagen contenida en video codificado ilustrada en la Figura 14 difiere de la estructura de datos 400 ilustrada en la Figura 4 por la inclusión de una unidad SEI (EPSEI) NAL de punto de edición. Las otras seis unidades NAL 1410 a 1415 son idénticas a las unidades NAL correspondientes 410 a 415 de la estructura de datos 400 ilustrada en la Figura 4.
[0135] La unidad EPSEI NAL 1416 son datos SEI que indican una imagen de punto de unión que o causa congelamiento de imagen de despliegue a través del punto de unión. En la presente modalidad, el EPSEI no incluye algún campo específico.
[0136] La operación del aparato de codificación de video de conformidad con la quinta modalidades describirá a continuación. El aparato de codificación de video de la quinta modalidad difiere del aparato de codificación de video de la primera modalidad en que la unidad de control de codificación 12 y la unidad de decodificación de imagen 13 adjunta al EPSEI para imágenes específicas en el tiempo de decodificación, y en que la unidad de unión de datos 15 determina el punto de unión mediante referencia al EPSEI en el tiempo de edición. Por lo tanto, lo siguiente describe la operación de la unidad de control de codificación 12 y la unidad de codificación de imagen 13 para adjuntar el EPSEI y la operación de la unidad de unión de datos 5 durante edición.
Número de Certificado: 2013-3021393 2012-148849 Página: 73/
[0137] En el tiempo de codificación, la unidad de control de codificación 12 instruye a la unidad de codificación de imagen 13 a adjuntar el EPSEI a la imagen a ser codificada, si la imagen es una imagen precediendo inmediatamente una imagen I o una imagen precediendo inmediatamente una imagen B o imagen P que se refiere solamente a una imagen anterior en el orden de tiempo de despliegue. Alternativamente, la unidad de control de codificación 12 puede instruir a la unidad de codificación de imagen 13 a adjuntar el EPSEI a la imagen a ser codificada, si la imagen es una imagen I o una imagen B o imagen P que se refiere solamente a una imagen anterior en orden de tiempo de despliegue.
Cuando una instrucción para anexar el EPSEI se recibe desde la unidad de control de codificación 12, la unidad de codificación de imagen 13 codifica la imagen y adjunta el EPSEI a ésta.
[0138] En el tiempo de edición, la unidad de unión de datos 15 identifica la imagen de punto de unión en el primer flujo de datos de video codificados de conformidad con una señal de control desde la unidad de control 1 1. La señal de control incluye, por ejemplo, el número de imágenes codificadas contadas desde el inicio del primer flujo de datos de video codificados. La unidad de unión de datos 15 determina la imagen del punto de unión en el primer flujo de datos de video codificado seleccionando la imagen EPSEI-adjunta anterior en orden de codificación entre la imagen aplicable y las Número de Certificado: 2013-3021393 2012-148849 Página: 74/ imágenes que siguen la imagen aplicable. Alternativamente, la unidad de unión de datos 15 determina la imagen de punto de unión en el primer flujo de datos de video codificados seleccionando la imagen inmediatamente precediendo la imagen EPSEI-adjunta más reciente en el orden de codificación entre la imagen aplicable y las imágenes siguiendo la imagen aplicable. Después, la unidad de unión de datos 15 lee desde la unidad de almacenamiento (no ilustrado) la imagen de punto de unión y todas sus imágenes precedentes en el primer flujo de datos de video codificado. Después, la unidad de unión de datos 15 lee desde la unidad de almacenamiento (no se ilustra) una porción del segundo flujo de datos de video codificado suministrado desde la unidad de procesamiento de información de identificación de punto de unión 14, la porción teniendo un punto de unión de imagen CRA como la imagen inicial. En este momento, si una instrucción para eliminar cualquier imagen TFD siguiendo inmediatamente la imagen CRA de punto de unión es emitida desde la unidad de procesamiento de información de identificación de punto de unión 14, la unidad de unión de datos 15 elimina cualquiera de tal imagen TFD. La unidad de unión de datos 15 entonces da salida al primer flujo de datos de video codificados de lectura, y después da salida al segundo flujo de datos de video codificados.
[0139] Como se describió arriba, de conformidad con el aparato de codificación de video de la quinta modalidad, información indicando la imagen Número de Certificado: 2013-3021393 2012-148849 Página: 75/ que no causa un congelamiento de despliegue cuando dos flujos de dato de video codificados son unidos se adjunta a los datos de video codificados. Como un resultado, el aparato de codificación de video puede unir juntos los dos videos codificados para no causar un congelamiento de imagen.
[0140] A continuación se describirá una sexta modalidad.
En el aparato de codificación de video de la sexta modalidad, el valor a ser usado para obtener el segundo valor de corrección Mod2 para corregir la diferencia en la cantidad de datos mantenidos en el CPB en el punto de unión, como se describió en la tercera modalidad, se adjunta de antemano al primer flujo de datos de video codificados.
[0141] La Figura 15 ilustra la estructura de datos de una imagen contenida en video codificado de conformidad con la sexta modalidad. La estructura de datos 1500 ilustrada en la Figura 15 difiere de la estructura de datos 1400 ilustrada en la Figura 14 en que la unidad EPSEI NAL 1516 incluye un campo BufferOccupancy. Las otras seis unidades NAL 1510 a 1515 son idénticas a las unidades NAL correspondientes 1410 a 1415 de la estructura de datos 400 ilustrada en la Figura 14. El campo BufferOccupancy indica la cantidad de datos mantenidos en el CPB justo antes del punto de unión.
[0142] La operación del aparato de codificación de video de Número de Certificado: 2013-3021393 2012-148849 Página: 76/ conformidad con la sexta modalidad será descrita. El aparato de codificación de video de la sexta modalidad difiere del aparato de codificación de video de la quinta modalidad en una porción de la operación de la unidad de control de codificación 12. Lo siguiente por lo tanto describe la porción de la operación de la unidad de control de codificación 12 que difiere.
[0143] La unidad de control de codificación 12 instruye a la unidad de codificación de imagen 13 a adjuntar el EPSEI a la imagen a ser codificada, si la imagen es cualquiera una imagen precediendo inmediatamente una imagen I o una imagen precediendo inmediatamente una imagen B o imagen P que se refiere solamente a una imagen anterior en orden de tiempo de despliegue. El valor (R*(lnit1 +(A+1 )*s)-TotalB) descrito en la tercera modalidad se almacena en el campo BufferOccupancy en el EPSEI. Alternativamente, el valor (R*(lnit1 +(A+1 )*s)-TotalB) dividido por el velocidad de bit R puede ser almacenado en el campo BufferOccupancy.
[0144] La operación del aparato de decodificación de video de conformidad con la sexta modalidad se describirá. El aparato de decodificación de video de la sexta modalidad difiere del aparato de decodificación de video de la tercera modalidad en una porción de operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen 23. Lo siguiente por lo tanto describe la porción de la operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen Número de Certificado: 2013-3021393 2012-148849 Página: 77/ 23 que difiere.
[0145] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 verifica el corte NUH cuando analiza la información de encabezado de la imagen objetivo que pasa desde la unidad de análisis de información de encabezado 22. Cuando el valor de NalUnitType portado en el NUH es 6 o 7, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina que la imagen a ser decodificada es una imagen BLA.
[0146] Cuando la imagen a ser decodificada es una imagen BLA, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa, como el retraso de decodificación CpbRemovalDelay de la imagen BLA, el valor calculado en la siguiente manera, no el valor de CpbRemovalDelay portado en PTSEI anexado a la imagen BLA.
[0147] Permita que A denote el número de imágenes contadas desde la imagen que sigue inmediatamente la imagen BPSEI-adjuntada más reciente (a partir de ahora referida como Piel) antes de la imagen BLA (a partir de ahora referida como el Pic2) hasta la imagen que precede inmediatamente el Pic2. A partir del valor B de CpbRemovalDelay de Pic2, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 deriva el primer valor de corrección Mod1 como A*(B/(A-1)). B/(A-1) corresponde a la Número de Certificado: 2013-3021393 2012-148849 Página: 78/ diferencia de tiempo entre imágenes sucesivas (la unidad es te). B/(A-1) a partir de ahora será designado como "s".
[0148] La unidad de determinación de tiempo de decodificación/despliegue de imagen 23 calcula el segundo valor de corrección MOd2 de conformidad con con el método de la tercera modalidad usando, como el valor (R*(lnit1 +(A+1)*s)-TotalB) descrito en la tercera modalidad, el valor almacenado en el campo BufferOccupancy en el EPSEI adjuntado a la imagen precediendo inmediatamente la imagen BLA (o el valor multiplicado por R si el valor dividido por el índice de bit R es almacenado).
[0149] Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 compara el número de imágenes a ser reordenadas, R1 , lo cual es definido en el SPS que la imagen precediendo inmediatamente el Pic2 ser refiere, con el número de imágenes a ser reordenadas, R2, que una imagen no TFD siguiendo el Pic2 inmediatamente se refiere. El campo que indica el número de imágenes a ser reordenadas en el SPS es SpsNumReorderPics de conformidad con el método descrito en el documento no-patente citado anteriormente.
[0150] Cuando R2 es mayor que R1 , la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 calcula un tercer valor de corrección Mod3 de PTSEI como (R2-R1 )*B/(A-1). De otra manera, la unidad Número de Certificado: 2013-3021393 2012-148849 Página: 79/ de determinación de tiempo de decodificación/despliegue de imagen 23 fija el tercer valor de corrección Mod3 de PTSEI a 0. Después, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 corrige el CpbRemovalDelay de Pic2 a (Mod1 + Mod2 + Mod3).
[0151] A continuación se describirá una séptica modalidad. En la séptima modalidad, el aparato de codificación de video corrige el CpbRemovalDelay de la imagen BLA cuando se unen dos flujos de datos de video codificados. En este momento, el aparato de codificación de video incorpora un parámetro que indica si los datos de video codificados unidos pueden ser decodificados continuamente y desplegados a través de la imagen BLA.
[0152] El método de corregir CpbRemovalDelay de la imagen BLA es esencialmente el mismo que el método que usa la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 en la sexta modalidad para corregir CpbRemovalDelay.
[0153] La Figura 16 ilustra la estructura de datos de una imagen contenida en video codificado de conformidad con la séptima modalidad. La estructura de datos 1600 de una imagen contenida en video codificado ilustrado en la Figura 16 difiere de la estructura de datos 1400 ilustrada en la Figura 14 en que la unidad BPSEI NAL 1613 incluye un campo Número de Certificado: 2013-3021393 2012-148849 Página: 80/ ContinuousHrdFlag. Las otras seis unidades NAL 1610 a 1612 y 1614 a 1617 son idénticas a las unidades correspondientes NAL 1410 a 1412 y 1414 a 1417 de la estructura de datos 1400 ilustrada en la Figura 14.
El campo ContinuousHrdFlag indica si el aparato de decodificación de video puede decodificar y desplegar continuamente los datos de video codificados a través de la imagen BLA a la cual el BPSEI se ha anexado.
El campo ContinuousHrdFlag puede estar contenido, no en el BPSEI, sino en el SPS 16 1 o alguna otra unidad NAL.
[0154] La operación del aparato de codificación de video de conformidad con la séptima modalidad se describirá. El aparato de codificación de video de la séptima modalidad difiere del aparato de codificación de video de la quinta modalidad en una porción de la operación de la unidad de unión de datos 15. Lo siguiente por tanto describe la porción de la operación de la unidad de unión de datos 15 que difiere.
[0155] La unidad de unión de datos 15 recibe el segundo flujo de datos de video codificados desde la unidad de procesamiento de información de identificación del punto de unión 14, y une éste al extremo trasero del primer flujo de datos de video codificados que es unido corriente arriba temporalmente del punto de unión. Hasta ahora, la unidad de unión de datos 5 compara por lo menos uno de los parámetros de imagen que indica las Número de Certificado: 2013-3021393 2012-148849 Página: 81/ características de las imágenes contenidas en los primero y segundo flujos de datos de video codificados. Por ejemplo, si, de los parámetros de imagen de los primero y segundo flujos de datos de video codificados, el tamaño de la imagen o la velocidad de imagen difiere entre los dos flujos de datos de video codificados, la unidad de unión de datos 15 fija el valor del parámetro ContFIag, el cual indica si los datos de video codificados unidos pueden ser decodificados continuamente y desplegados a través del punto de unión, a 0 lo cual indica que los datos de video son capaces de ser decodificados y desplegados continuamente. Por otro lado, si el tamaño de imagen y la velocidad de imagen son las mismas entre los primero y segundo flujos de datos de video codificados, la unidad de unión de datos 15 calcula CpbRemovalDelay de la imagen BLA en la misma manera que la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 en la sexta modalidad corrige CpbRemovalDelay. La unidad de unión de datos 15 calcula el valor correspondiente al campo BufferOccupancy en EPSEI, es decir, el valor usado para calcular el segundo valor de corrección Mod2, de conformidad con el método de cálculo que usa la unidad de control de codificación 12 en la sexta modalidad para calcular el valor del campo BufferOccupancy. Además, la unidad de unión de datos 15 fija el parámetro ContFIag a 1 lo cual indica que los datos de video codificados unidos pueden decodificarse y desplegarse continuamente.
[0156] Además del tamaño de imagen y velocidad de imagen, el Número de Certificado: 2013-3021393 2012-148849 Página: 82/ formato del componente de diferencia de color de la imagen o la resolución de pixel de la imagen puede incorporarse como un parámetro de imagen para determinar si los datos de video codificados unidos pueden decodificarse continuamente y desplegarse a través del punto de unión. En este caso, si todos estos parámetros son los mismos entre los primero y segundo flujos de datos de video codificados, se determina que los datos de video codificados unidos pueden ser decodificados y desplegados continuamente a través del punto de unión.
Cuando el valor del parámetro ContFIag es 0, la unidad de unión de datos 15 fija el valor del campo ContinuousHrdFlag en el BPSEI adjuntado a la imagen BLA a 0 lo cual indica que los datos de video codificados unidos son incapaces de ser decodificados y desplegados continuamente.
Por otro lado, cuando el valor del parámetro ContFIag es 1 , la unidad de unión de datos 15 fija el valor del campo ContinuousHrdFlag en el BPSEI adjuntado a la imagen BLA a 1 lo cual indica que los datos de video codificados unidos pueden ser decodificados y desplegados continuamente. Además, la unidad de unión de datos 15 corrige el valor del retraso de codificación CpbRemovalDelay de la imagen inicial, es decir, la imagen BLA, del segundo flujo de datos de video codificados para el valor calculado como se describe abajo.
[0157] La operación del aparato de decodificación de video de conformidad con la séptima modalidad se describirá. El aparato de Número de Certificado: 2013-3021393 2012-148849 Página: 83/ decodificación de video de la séptima modalidad difiere del aparato de decodificación de video de la primera modalidad en una porción de la operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen 23. Lo siguiente por lo tanto describe la porción de la operación de la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 que difiere.
[0158] Cuando la imagen a ser decodificada es una imagen BLA, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 refiere al valor del campo ContinuousHrdFlag en el BPSEI anexado a la imagen BLA.
Cuando el valor del campo ContinuousHrdFlag es 1 , es decir, cuando los datos de video codificados unidos pueden ser decodificados continuamente y desplegados a través del punto de unión, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 usa el CpbRemovalDelay del PTSEI adjuntado a la imagen BLA, directamente como el retraso de decodificación CpbRemovalDelay de la imagen BLA.
Por otro lado, cuando el valor del campo ContinuousHrdFlag es 0, es decir, cuando los datos de video codificados unidos son capaces de ser decodificados continuamente y desplegados a través del punto de unión, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 determina el tiempo de decodificación de la imagen BLA, no desde CpbRemovalDelay, sino usando el valor de la información de retraso de Número de Certificado: 2013-3021393 2012-148849 Página: 84/ decodificación inicial InitialCpbRemovalDelay incluido en el BPSEI. En este caso, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 calcula el tiempo de decodificación de la imagen BLA a partir de InitialCpbRemovalDelay por referencia al tiempo 0 el cual es establecido después del tiempo de decodificación de la imagen precediendo inmediatamente la imagen BLA. Alternativamente, la unidad de determinación de tiempo de decodificación/despliegue de imagen 23 puede fijar el tiempo 0 después del tiempo en el cual el despliegue de todas las imágenes codificadas precediendo la imagen BLA es completado.
[0159] La Figura 17 es un diagrama ilustrando la configuración de una computadora que funciona como el aparato de codificación de video o el aparato de decodificación de video ejecutando un programa de computadora para ¡mplementar las funciones de las varias unidades en el aparato de codificación de video o el aparato de decodificación de video de acuerdo con una de las modalidades anteriores o sus ejemplos modificados.
[0160] La computadora 100 incluye una unidad de interfaz de usuario 101 , una unidad de interfaz de comunicación 102, una unidad de almacenamiento 103, un dispositivo de acceso de medio de almacenamiento 104, y un procesador 105. El procesador 105 es conectado a la unidad de interfaz de usuario 101 , unidad de interfaz de comunicación 102, unidad de almacenamiento 103, y dispositivo de acceso de medio de almacenamiento Número de Certificado: 2013-3021393 2012-148849 Página: 85/ 104, por ejemplo, vía un bus.
[0161] La unidad de interfaz de usuario 101 incluye, por ejemplo, una dispositivo de entrada tal como un teclado y un ratón, y una dispositivo de despliegue tal como un despliegue de cristal líquido. Alternativamente, la unidad de interfaz de usuario 101 puede incluir un dispositivo, tal como una pantalla sensible al tacto, en el cual un dispositivo de entrada y un dispositivo de despliegue están integrados. La interfaz de usuario 101 genera, por ejemplo, en respuesta a una operación de usuario, una señal de operación para seleccionar datos de video a ser codificados, datos de video codificados a ser editados, o datos de video codificados a ser decodificados, y suministra la señal de operación al procesador 105. La unidad de interfaz 101 también puede desplegar los datos de video decodificados recibidos desde el procesador 105.
[0162] La unidad de interfaz de comunicación 102 puede incluir una interfaz de comunicación para conectar la computadora 100 a un aparato de generación de datos de video, por ejemplo, una cámara de video, y un circuito de control para la interfaz de comunicación. Tal interfaz de comunicación puede ser, por ejemplo, una interfaz de Bus Serial Universal (USB).
[0163] Además, la unidad de interfaz de comunicación 102 puede incluir una interfaz de comunicación para conectarse a una red de comunicación Número de Certificado: 2013-3021393 2012-148849 Página: 86/ conforme a un estándar de comunicación tal como el Ethernet (marca comercial registrada), y un circuito de control para la interfaz de comunicación.
[0164] En el último caso, la interfaz de comunicación 102 recibe datos de video a ser codificados, datos de video codificados a ser editados, o datos de video codificados a ser decodificados, desde otro aparato conectado a la red de comunicación, y pasa los datos recibidos al procesador 105. Además, la interfaz de comunicación 102 puede recibir datos de video codificados, datos de video codificados unidos, o datos de video codificados desde el procesador 105 y puede transmitir los datos a otro aparato sobre la red de comunicación.
[0165] La unidad de almacenamiento 103 incluye, por ejemplo, una memoria semiconductora legible/grabable y una memoria semiconductora de solo lectura. La unidad de almacenamiento 103 almacena un programa de computadora para codificación de video, edición de video, o decodificación de video a ser ejecutado en el procesador 105, y también almacena los datos generados como un resultado de o durante la ejecución del programa.
[0166] El dispositivo de acceso de medio de almacenamiento 104 es un dispositivo que accede al medio de almacenamiento 106 tal como un disco magnético, una tarjeta de memoria semiconductora, o un medio de almacenamiento óptico. Este dispositivo de acceso a medio de Número de Certificado: 2013-3021393 2012-148849 Página: 87/ almacenamiento 104 accede al medio de almacenamiento 106 para leer, por ejemplo, el programa de computadora para codificación de video, edición de video, o decodificación de video a ser ejecutado en el procesador 104, y pasa el programa de computadora de lectura al procesador 105.
[0167] El procesador 105 genera datos de video codificados ejecutando el programa de computadora de codificación de video de acuerdo con cualquiera de las modalidades anteriores o sus ejemplos modificados. El procesador 105 entonces almacena los datos de video codificados generados en la unidad de almacenamiento 103, o transmite los datos generados a otro aparato vía la unidad de ¡nterfaz de comunicación 102. Además, el procesador 105 genera los datos de video codificados unidos uniendo juntos dos flujos de datos de video codificados ejecutando el programa de computadora de edición de video de acuerdo con cualquiera de las modalidades anteriores o sus ejemplos modificados. El procesador 105 entonces almacena los datos de video codificados unidos generados en la unidad de almacenamiento 103, o transmite los datos generados a otro aparato vía la unidad de interfaz de comunicación 102. Además, el procesador 105 decodífica los datos de video codificados ejecutando el programa de computadora de decodificación de video de acuerdo con cualquiera de las modalidades anteriores o sus ejemplos modificados. El procesador 105 entonces almacena los datos de video decodificados en la unidad de almacenamiento 103, presenta los datos a la unidad de interfaz de Número de Certificado: 2013-3021393 2012-148849 Página: 88/ usuario 101 para despliegue, o transmite los datos a otro aparato vía la unidad de interfaz de comunicación 102.
[0168] Un programa de computadora el cual se ejecuta en una computadora para implementar las funciones de las varias unidades que constituyen el aparato de codificación de video o aparato de decodificación de video de conformidad con cada una de las modalidades anteriores o sus ejemplos modificados puede distribu9irse en la forma almacenada en una memoria semiconductora o en la forma grabada en un medio de grabación tal como un medio de grabación óptico. El término "medio de grabación" usado aquí no es una onda portadora.
[0169] De las varias unidades que constituyen el aparato de codificación de video de acuerdo con cada una de las modalidades anteriores o sus ejemplos modificados, el aparato que incorpora la unidad de procesamiento de información de identificación de punto de unión 14 y la unidad de unión de datos 15 que son relevantes a la edición de video puede proveerse separadamente del aparato que incorpora la unidad de control de codificación 12 y la unidad de codificación de imagen 13 que son relevantes para la codificación de video.
[0170] El aparato de codificación de video y el aparato de decodificación de video de conformidad con las modalidades anteriores o sus Número de Certificado: 2013-3021393 2012-148849 Página: 89/ ejemplos modificados son usados en varias aplicaciones. Por ejemplo, el aparato de codificación de video y el aparato de decodificación de video se incorporan en una cámara de video, un aparato de transmisión de video, un aparato de recepción de video, una sistema de videoteléfono, una computadora, o un teléfono móvil.
[0171] Todos los ejemplos y el vocabulario condicional utilizado en la presente están previstos para propósitos pedagógicos para ayudar al lector a comprender la invención y los conceptos contribuidos por el inventor para promover la técnica, y son para que se construyan sin limitación a tales ejemplos y condiciones específicamente mencionadas, y la organización de tales ejemplos en la especificación no se relaciona con una muestra de superioridad e inferioridad de la invención. Aunque las modalidades de la presente invención se han descrito detalladamente, debe comprenderse que varios cambios, sustituciones y alteraciones que se pueden realizar podrían hacerse a la presente sin alejarse de la esencia y alcance de la invención. [DESCRIPCIÓN DE LOS NÚMEROS DE REFERENCIA]
[0172] I . APARATO DE CODIFICACIÓN DE VIDEO I I . UNIDAD DE CONTROL 12. UNIDAD DE CONTROL DE CODIFICACIÓN 13. UNIDAD DE CODIFICACIÓN DE IMAGEN 14. UNIDAD DE PROCESAMIENTO DE INFORMACIÓN DE Número de Certificado: 2013-3021393 2012-148849 Página IDENTIFICACIÓN DE PUNTO DE UNIÓN 15. UNIDAD DE UNIÓN DE DATOS 2. APARATO DE DECODIFICACIÓN DE VIDEO 21. UNIDAD DE CONTROL 22. UNIDAD DE ANÁLISIS DE INFORMACIÓN DE ENCABEZADO 23. UNIDAD DE DETERMINACIÓN DE TIEMPO DECODIFICACIÓN/DESPLIEGUE DE IMAGEN 24. UNIDAD DE DECODIFICACIÓN DE IMAGEN 25. MEMORIA DE ESTRUCTURA Número de Certificado: 2013-3021393

Claims (16)

2012-148849 Página: 91/ REIVINDICACIONES Lo que se reclama:
1 . - Un aparato de codificación de video para codificar datos de video por codificación predictiva inter-marco que comprende: una unidad de control de codificación la cual obtiene información de corrección de retraso de decodificación e información de corrección de retraso de despliegue para asegurar que aún cuando una o más imágenes que son posteriores en orden de codificación en los datos de video que una primera imagen que puede ser unida potencialmente a un extremo trasero de otros datos de video codificados ha sido eliminada, la primera imagen y las imágenes subsecuentes en los datos de video codificados pueden ser decodificadas continuamente y desplegadas por un aparato de decodificación de video; y una unidad de codificación de imagen la cual codifica cada imagen contenida en los datos de video y adjunta la información de corrección de retraso de decodificación y la información de corrección de retraso de despliegue a los datos de video codificados.
2. - El aparato de codificación de video de conformidad con la reivindicación 1 , caracterizado además porque la información de corrección de retraso de decodificación porta un valor correspondiendo al número de imágenes que pueden ser eliminadas. Número de Certificado: 2013-3021393 2012-148849 Página: 92/
3. - El aparato de codificación de video de conformidad con la reivindicación 1 ó 2, caracterizado además porque la información de corrección de retraso de despliegue porta un valor correspondiendo al número de imágenes que ocurren entre un tiempo de despliegue de una imagen que es más reciente en orden de despliegue entre las imágenes que son posteriores en orden de decodificación que la primera imagen y una tiempo de despliegue de la primera imagen.
4. - El aparato de codificación de video de conformidad con la reivindicación 1 a 3, caracterizado además porque adicionalmente comprende: una unidad de procesamiento de información de identificación de punto de unión la cual, cuando une los datos de video codificados a los otros datos de video codificados, adjunta información identificando una imagen codificada inicial para la imagen codificada inicial en los datos de video codificados; y una unidad de unión de datos la cual elimina desde los datos de video codificados una o más Imágenes que están después en orden de codificación que la imagen codificada inicial y que se refiere a una imagen anterior en orden de codificación que la imagen codificada inicial.
5. - El aparato de codificación de video de conformidad con la reivindicación 1 a 3, caracterizado además porque adicionalmente comprende una unidad de unión de datos la cual, cuando generan datos de video Número de Certificado: 2013-3021393 2012-148849 Página: 93/ codificados uniendo los datos de video codificados a otros datos de video codificados, se refiere a un parámetro de imagen indicando características de imagen de los datos de video codificados y los otros datos de video codificados y asi determina si los datos de video codificados unidos pueden ser decodificados y desplegados continuamente a través del punto de unión en el cual los datos de video codificados y los otros datos de video codificados son unidos, e integrados, en los datos de video codificados unidos, indicando información sobre si los datos de video codificados unidos pueden ser decodificados y desplegados continuamente, en donde cuando los datos de video codificados unidos pueden ser decodificados y desplegados continuamente, la unidad de unión reemplaza un valor de retraso de decodificación para una imagen codificada inicial en los datos de video codificados por un valor que permite la decodificación continua y despliegue.
6.- El aparato de codificación de video de conformidad con la reivindicación 1 a 5, caracterizado además porque la primera imagen es una imagen que está codificada sin referirse a cualquier otra imagen.
7 - El aparato de codificación de video de conformidad con la reivindicación 1 a 6, caracterizado además porque la unidad de codificación de imagen adjunta, a los datos de video codificados, información adicional que indica un estado de una memoria intermedia de recepción idealizada en el aparato de decodificación de video inmediatamente antes o después de que Número de Certificado: 2013-3021393 2012-148849 Página: 94/ los datos de video codificados sean decodificados hasta una imagen de punto de unión, y en donde la imagen de punto de unión es una imagen de tal que, aún cuando otros datos de video codificados son adjuntados inmediatamente después de la imagen de punto de unión, la imagen de punto de unión y cualquier imagen anterior en orden de codificación que la imagen de punto de unión puede ser decodificada.
8.- Un aparato de decodificación de video para decodificar datos de video codificados por codificación predictiva inter-marco que comprende: una unidad de determinación de tiempo de decodificación/despliegue de imagen la cual, cuando los datos de video codificados contienen información indicando que los datos de video codificados han sido generados uniendo los segundos datos de video codificados a un extremo trasero del los primeros datos de video codificados, la información indicando que una o más imágenes codificadas que están después en orden de codificación que una imagen de codificada inicial en los segundos datos de video codificados después de un punto de unión en el cual los primeros datos de video codificados y los segundos datos de video codificados son unidos han sido eliminados, información de corrección de retraso de decodificación para corregir un retraso de decodificación de una imagen que sigue la imagen codificada inicial, y la información de corrección de retraso de despliegue para corregir un retraso de despliegue de la imagen codificada inicial, después corrige el retraso de despliegue de la imagen Número de Certificado: 2013-3021393 2012-148849 Página: 95/ codificada inicial con base en la información de corrección de retraso de despliegue, el retraso de decodificación de la imagen que sigue la imagen codificada inicial.
9. - El aparato de decodificación de video de conformidad con la reivindicación 8, caracterizado además porque la información de corrección de retraso de decodificación porta un valor correspondiente al número de imágenes codificadas eliminadas que están después en orden de codificación que la imagen codificada inicial.
10. - El aparato de decodificación de video de conformidad con la reivindicación 8 ó 9, caracterizado además porque la información de corrección de retraso de despliegue porta un valor correspondiendo al número de imágenes ocurriendo entre un tiempo de despliegue de una imagen que es anterior en orden de despliegue entre las imágenes que están después en orden de decodificación que la imagen inicial codificada y un tiempo de despliegue de la imagen codificada inicial.
1 1. - El aparato de decodificación de video de conformidad con la reivindicación 8 a 10, caracterizado además porque la unidad de determinación de tiempo de decodificación/despliegue de imagen determina el retraso de decodificación de la imagen codificada inicial en tal manera para desfasar cualquier diferencia entre la cantidad de datos mantenidos en una Número de Certificado: 2013-3021393 2012-148849 Página: 96/ memoria temporal de recepción en el tiempo de decodificación de la imagen codificada inicial, como es calculada a partir de las imágenes codificadas precediendo el punto de unión, y la cantidad de datos mantenidos de hecho en la memoria intermedia de recepción.
12. - El aparato de decodificación de video de conformidad con la reivindicación 8 a 10, caracterizado además porque cuando los datos de video codificados contienen información indicando si los datos de video codificados pueden ser decodificados continuamente y desplegados a través de punto de unión, si la información indica que los datos de video codificados pueden ser decodificados y desplegados continuamente, la unidad de determinación de tiempo de decodificación/despliegue de imagen toma como un valor de retraso de decodificación para la imagen codificada inicial el valor de la información de retraso decodificada contenida en los datos de video codificados, mientras que, si la información indica que los datos de video codificados es incapaz de ser decodificada y desplegada continuamente, la unidad de determinación de tiempo de decodificación/despliegue de imagen toma como el valor de retraso de decodificación para la imagen codificada inicial el valor de la información de retraso de decodificación inicial contenido en los datos de video codificados.
13. - Un método de codificación de video para codificar datos de video mediante codificación predictiva inter-marco, que comprende: Número de Certificado: 2013-3021393 2012-148849 Página: 97/ obtener información de corrección de retraso de decodificación e información de corrección de retraso de despliegue para asegurar que aún cuando una o más imágenes que están después en orden de codificación en los datos de video que una primera imagen que puede ser potencialmente unida a un extremo trasero de otros datos de video codificados han sido eliminadas por al menos un procesador, la primera imagen y las imágenes subsecuentes en los datos de video codificados pueden ser decodificadas continuamente y desplegadas por un aparato de decodificación de video; y codificar cada imagen contenida en los datos de video y adjuntar la información de corrección de retraso de decodificación y la información de corrección de retraso de despliegue a los datos de video codificados por al menos un procesador.
14.- Un método de decodificación de video para decodificar datos de video codificados por codificación predictiva inter-marco que comprende: cuando los datos de video codificados contienen información indicando que los datos de video codificados han sido generados uniendo segundos datos de video codificados a un extremo trasero de los primeros datos de video codificados, información indicando que una o más imágenes codificadas que están después en orden de codificación que una imagen codificada inicial en los segundos datos de video codificados después de un punto de unión en el cual los primeros datos de video codificados y los segundos datos de video codificados que son unidos han sido eliminados, Número de Certificado: 2013-3021393 2012-148849 Página: 98/ información de corrección de retraso de decodificación para corregir un retraso de decodificación de una imagen que sigue la imagen codificada inicial, e información de corrección de retraso de despliegue para corregir un retraso de despliegue de la imagen codificada inicial, después corregir el retraso de despliegue de la imagen codificada inicial con base en la información de corrección de retraso de despliegue mediante por lo menos un procesador, mientras corrige, con base en la información de corrección de retraso de decodificación, el retraso de decodificación de la imagen que sigue la imagen codificada inicial mediante por al menos un procesador.
15.- Un programa de computadora de codificación de video para causar que una computadora codifique los datos de video mediante la codificación predictiva inter-marcos, en donde el programa de computadora causa que la computadora implemente: obtener información de corrección de retraso de decodificación e información de corrección de retraso de despliegue para asegurar que aún cuando una o más imágenes que son posteriores en el orden de codificación en los datos de video que una primera imagen que puede unirse potencialmente a un extremo trasero de otros datos de video codificados han sido eliminadas, la primera imagen y las imágenes subsecuentes en los datos de video codificados pueden ser decodificados continuamente y desplegados por un aparato de decodificación de video; y codificar cada imagen contenida en los datos de video y adjuntar Número de Certificado: 2013-3021393 2012-148849 Página: 99/ la información de corrección de retraso de decodificación y la información de corrección de retraso de despliegue a los datos de video codificados.
16.- Un programa de computadora de decodificación de video para causar que una computadora decodifique los datos de video codificados mediante la codificación predictiva inter-marcos, en donde el programa de computadora causa que la computadora implemente: cuando los datos de video codificados contienen información que indica que los datos de video codificados se han generado mediante la unión de los segundos datos de video codificados a un extremo trasero de los primeros datos de video codificados, la información indica que una o más imágenes codificadas que son posteriores en el orden de codificación que una imagen codificada inicial en los segundos datos de video después de un punto de unión en el que se unen los primeros datos de video codificados y los segundos datos de video codificados se han eliminado, la información de corrección de retraso de decodificación para corregir un retraso de decodificación de una imagen que sigue la imagen codificada inicial, y la información de corrección de despliegue para corregir un retraso de despliegue de la imagen codificada inicial, después corregir el retraso de despliegue de la imagen codificada inicial con base en la información de corrección de retraso de decodificación, el retraso de decodificación de la imagen que sigue la imagen codificada inicial. Número de Certificado: 2013-3021393 2012-148849 Página: 100/ RESUMEN DE LA INVENCIÓN [Problema a resolver mediante la invención] Se proporciona un aparato de codificación de video y un aparato de decodificación de video que puede asegurar el procedimiento de decodificación de video continuo y el procedimiento de despliegue sin editar los parámetros en el encabezado de los datos de video codificados originales cuando se unen dos flujos de datos de video codificados predictivos inter-marco. [Medio para resolver el problema] Un aparato de codificación de video 1 adjunta información de corrección de retraso de decodificación e información de corrección de retraso de despliegue a datos de video codificados para asegurar que aún cuando una o más imágenes que están después en el orden de codificación en los datos de video que una primera imagen que puede ser unida potencialmente a un extremo trasero de otros datos de video codificados han sido eliminadas, la primera imagen y las imágenes subsecuentes en los datos de video codificados pueden ser decodificados continuamente y desplegados por un aparato de decodificación de video. El aparato de decodificación de video 2 corrige el retraso de decodificación y despliegue retraso de la primera imagen y sus imágenes subsecuentes usando la información de corrección de retraso de decodificación y la información de corrección de retraso de despliegue, [dibujo representativo] Figura 5 Número de Certificado: 2013-3021393
MX2013007730A 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video. MX337473B (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012148849A JP5891975B2 (ja) 2012-07-02 2012-07-02 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法

Publications (2)

Publication Number Publication Date
MX2013007730A true MX2013007730A (es) 2014-02-06
MX337473B MX337473B (es) 2016-03-04

Family

ID=48747923

Family Applications (5)

Application Number Title Priority Date Filing Date
MX2015015255A MX339447B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.
MX2015015241A MX339445B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.
MX2015015257A MX339446B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video metodo de codificacion de video, y metodo de decodificacion de video.
MX2013007730A MX337473B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.
MX2015015240A MX340979B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.

Family Applications Before (3)

Application Number Title Priority Date Filing Date
MX2015015255A MX339447B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.
MX2015015241A MX339445B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.
MX2015015257A MX339446B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video metodo de codificacion de video, y metodo de decodificacion de video.

Family Applications After (1)

Application Number Title Priority Date Filing Date
MX2015015240A MX340979B (es) 2012-07-02 2013-07-01 Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.

Country Status (9)

Country Link
US (5) US9392276B2 (es)
EP (3) EP3764650A1 (es)
JP (1) JP5891975B2 (es)
KR (5) KR101460443B1 (es)
CN (5) CN103533363B (es)
BR (3) BR102013017036B1 (es)
CA (2) CA2819674C (es)
MX (5) MX339447B (es)
TW (5) TWI602425B (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
GB201407805D0 (en) 2014-05-02 2014-06-18 Dukosi Ltd Battery condition determination
US10183852B2 (en) 2015-07-30 2019-01-22 Danfoss Power Solutions Gmbh & Co Ohg Load dependent electronic valve actuator regulation and pressure compensation
JP6119891B2 (ja) * 2016-02-25 2017-04-26 富士通株式会社 動画像符号化方法
JP6237831B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号用コンピュータプログラム
JP6237830B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号方法
JP6237829B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像符号化用コンピュータプログラム
CN107968942B (zh) * 2017-11-24 2021-06-04 网易（杭州）网络有限公司 一种直播平台音视频时间差测量方法与系统
CN109379620B (zh) * 2018-11-28 2021-02-05 广州四三九九信息科技有限公司 音视频缓冲方法和装置
CN114245177B (zh) * 2021-12-17 2024-01-23 智道网联科技(北京)有限公司 高精地图的平滑显示方法、装置、电子设备及存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69841897D1 (de) * 1997-07-25 2010-10-28 Sony Corp Bearbeitungsanlage, bearbeitungsverfahren, spleissungsanlage, spleissungsverfahren, kodieranlage und kodierverfahren
JP3529599B2 (ja) 1997-09-02 2004-05-24 株式会社東芝 符号化装置における編集可能点挿入方法および符号化装置
EP1193981A3 (en) * 1997-09-05 2002-05-15 Matsushita Electric Industrial Co., Ltd. Decoding method and recording medium carrying recorded decoding program
JP4232209B2 (ja) 1998-01-19 2009-03-04 ソニー株式会社 圧縮画像データの編集装置及び圧縮画像データの編集方法
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
US6480539B1 (en) * 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus
US7096481B1 (en) * 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
AU2001279008A1 (en) 2000-07-25 2002-02-05 Agilevision, L.L.C. Splicing compressed, local video segments into fixed time slots in a network feed
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7068719B2 (en) * 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US8300690B2 (en) * 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
JP3534742B1 (ja) * 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
JP4276420B2 (ja) 2002-11-05 2009-06-10 三菱電機株式会社 動き補償方法
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US20070030897A1 (en) 2003-09-29 2007-02-08 Masahiro Ito Encoding apparatus and method, recording apparatus and method, and decoding apparatus and method
US8503541B2 (en) * 2004-01-16 2013-08-06 Motorola Mobility Llc Method and apparatus for determining timing information from a bit stream
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置
US8837599B2 (en) 2004-10-04 2014-09-16 Broadcom Corporation System, method and apparatus for clean channel change
JP2008035294A (ja) * 2006-07-29 2008-02-14 Victor Co Of Japan Ltd 画像データ記録装置及び画像データ符号化装置
JP4221676B2 (ja) * 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
KR101455161B1 (ko) * 2007-01-08 2014-10-28 톰슨 라이센싱 비디오 스트림 스플라이싱을 위한 방법 및 장치
CN101904170B (zh) * 2007-10-16 2014-01-08 思科技术公司 用于传达视频流中的串接属性和图片顺序的方法和系统
JP5258885B2 (ja) * 2008-07-04 2013-08-07 パナソニック株式会社 符号化ストリーム再生装置及び符号化ストリーム再生方法
US8949883B2 (en) * 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8755669B2 (en) * 2009-05-13 2014-06-17 Cisco Technology Inc. Splicing system
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
GB2476031A (en) * 2009-12-02 2011-06-15 Nds Ltd Splicing stored media with a live media stream time slot using timecodes
JP2012015828A (ja) * 2010-07-01 2012-01-19 Sony Corp 可変遅延回路、記録装置、遅延量校正方法
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
US10034018B2 (en) * 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
CN102378067B (zh) * 2011-11-21 2013-10-02 武汉大学 一种鲁棒性的移动视频解码方法
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
US9225978B2 (en) * 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法

Also Published As

Publication number Publication date
US9712838B2 (en) 2017-07-18
TW201628410A (zh) 2016-08-01
KR20150104068A (ko) 2015-09-14
MX340979B (es) 2016-08-01
TWI602424B (zh) 2017-10-11
EP3410731A1 (en) 2018-12-05
TWI543585B (zh) 2016-07-21
TWI602425B (zh) 2017-10-11
CA2903898C (en) 2018-03-06
CN106131578B (zh) 2019-04-19
KR20140126279A (ko) 2014-10-30
US20160198176A1 (en) 2016-07-07
US20160198178A1 (en) 2016-07-07
TWI572195B (zh) 2017-02-21
US10070144B2 (en) 2018-09-04
CN106131578A (zh) 2016-11-16
TW201628413A (zh) 2016-08-01
CA2903898A1 (en) 2014-01-02
US20160198177A1 (en) 2016-07-07
CN106128484A (zh) 2016-11-16
MX339446B (es) 2016-05-25
TWI602426B (zh) 2017-10-11
TW201628411A (zh) 2016-08-01
US9438924B2 (en) 2016-09-06
US20140003508A1 (en) 2014-01-02
CA2819674C (en) 2017-08-22
KR101526137B1 (ko) 2015-06-04
EP2683174A3 (en) 2014-08-13
KR101460443B1 (ko) 2014-11-11
KR20140005089A (ko) 2014-01-14
US9716896B2 (en) 2017-07-25
JP5891975B2 (ja) 2016-03-23
CN106128483A (zh) 2016-11-16
CN106205655A (zh) 2016-12-07
KR101948376B1 (ko) 2019-02-14
MX337473B (es) 2016-03-04
US20160198179A1 (en) 2016-07-07
MX339445B (es) 2016-05-25
MX339447B (es) 2016-05-25
TW201406164A (zh) 2014-02-01
KR101878537B1 (ko) 2018-07-13
KR20150104069A (ko) 2015-09-14
CN106128484B (zh) 2019-03-22
CN103533363B (zh) 2017-10-24
JP2014011744A (ja) 2014-01-20
BR102013017036B1 (pt) 2022-08-09
EP3764650A1 (en) 2021-01-13
TW201628412A (zh) 2016-08-01
US9392276B2 (en) 2016-07-12
CA2819674A1 (en) 2014-01-02
BR122020018283B1 (pt) 2022-08-09
CN103533363A (zh) 2014-01-22
EP2683174A2 (en) 2014-01-08
BR122020018275B1 (pt) 2022-08-09
CN106205655B (zh) 2019-08-06
BR102013017036A2 (pt) 2019-02-26
KR20150031431A (ko) 2015-03-24
CN106128483B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
MX2013007730A (es) Aparato de codificacion de video, aparato de decodificacion de video, metodo de codificacion de video, y metodo de decodificacion de video.
US20200177907A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US20140003519A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method

Legal Events

Date Code Title Description
FG Grant or registration