WO2009130425A2 - Procédé d'insertion, de suppression, support d'enregistrement et codeur - Google Patents

Procédé d'insertion, de suppression, support d'enregistrement et codeur Download PDF

Info

Publication number
WO2009130425A2
WO2009130425A2 PCT/FR2009/050434 FR2009050434W WO2009130425A2 WO 2009130425 A2 WO2009130425 A2 WO 2009130425A2 FR 2009050434 W FR2009050434 W FR 2009050434W WO 2009130425 A2 WO2009130425 A2 WO 2009130425A2
Authority
WO
WIPO (PCT)
Prior art keywords
video sequence
data
image
images
video
Prior art date
Application number
PCT/FR2009/050434
Other languages
English (en)
Other versions
WO2009130425A3 (fr
Inventor
Vincent Bottreau
Philippe Bordes
Yannick Olivier
Olivier Le Meur
Edouard Francois
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of WO2009130425A2 publication Critical patent/WO2009130425A2/fr
Publication of WO2009130425A3 publication Critical patent/WO2009130425A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to the insertion of data of a video sequence onto an image portion of another video sequence.
  • the invention relates to the insertion of a logo into an image portion of a video sequence.
  • the logo is inserted in a video sequence before compression of it for example according to the H.264 / AVC standard.
  • the compressed stream containing the logo is decoded.
  • the logo is detected in the reconstructed images and finally, the logo is removed using a technique of spatial and / or temporal propagation of the information of neighboring macroblocks.
  • SVC scalable video coding standard which generates a hierarchical binary train comprising different superimposed layers corresponding to different image qualities, different image frequencies and / or different resolutions.
  • the decoding of the lower layers of the hierarchical bit stream makes it possible to obtain images with low resolution and / or low quality and / or low frame rate.
  • the decoding of all the layers of the hierarchical bit stream makes it possible to obtain images with higher resolution and / or higher quality and / or higher image rate.
  • the SVC standard thus ensures interoperability between different services, supports receivers with distinct display capabilities, and distributes video over variable bandwidth networks.
  • the object of the invention is to provide a method for easily inserting and removing a video sequence overlaying an image portion of another video sequence.
  • the subject of the invention is a method of inserting data of a first video sequence into data of a second video sequence, the content of the first video sequence being different from the content of the second video sequence, a portion of the or each image of the first video sequence being intended to cover a portion of the or each image of the second video sequence, the method comprises a step of generating a stream encoded according to SVC-type scalable video encoding standard, the generated stream comprising a base layer carrying compressed second video sequence data, an enhancement layer carrying compressed data of the first video sequence, and reconstruction information of a second video sequence; a video sequence from the compressed data of the base layer and the enhancement layer.
  • the insertion method comprises one or more of the following characteristics, taken separately or in combination: the data of the first video sequence are data representative of a fixed or animated logo,
  • the generation step comprises a step of creating reconstruction information comprising syntax elements indicating that the data of the enhancement layer representing a portion of the image of the first video sequence not intended to cover a portion of the image of the second video sequence are a copy of the base layer data representing an image portion of the second video sequence not intended to be overlaid,
  • the data of the first video sequence are coded without encoding the data of the second video sequence
  • the data of the first video sequence are binary data originating from an SVC coding of the images of the first video sequence
  • the data of the second video sequence are binary data originating from the compression of the images of the second video sequence
  • generation step comprising a step of multiplexing the binary data of the first video sequence and binary data of the second video sequence
  • the data of the first video sequence comprise at least one image
  • the generation step comprising an SVC coding step of or of each image of the first video sequence
  • the data of the second video sequence being binary data originating from a compression of the images of the second video sequence, said compression being prior to the SVC coding step
  • the generation step comprises a step of creating reconstruction information comprising syntax elements indicating that the images to be reconstructed from the data of the base layer are stored in a buffer memory after reconstruction, and that said images to be reconstructed; are used as temporal prediction images to reconstruct the or each next image in place of the reconstructed images from the enhancement layer data
  • each image of the first video sequence is arranged in at least one slice, the or each slice being defined by one of the types El, EP and EB, the or each slice comprising several macroblocks adapted to be coded according to their type. in intra modes, inter-directional modes and bidirectional inter modes; and wherein the SVC encoding step comprises the steps of:
  • the data of the first video sequence comprise at least one image
  • the data of the second video sequence comprising several images
  • the generation step comprising a step of compressing the images of the second video sequence
  • the motion vectors (V) of the base layer data representative of a first image portion of an image can not point to data of the base layer representative of a second image portion of an image coded previously, when the first image portion is intended not to be covered with an image portion of the layer of improvement and that the second image portion is intended to be covered with an image portion of the enhancement layer.
  • the invention also relates to a method for deleting the or each image of a first video sequence covering a portion of each image of a second video sequence in a coded stream comprising a base layer carrying compressed data of the first sequence. video, an enhancement layer carrying compressed data of the second video sequence, and video sequence reconstruction information from the compressed data of the base layer and the enhancement layer, characterized in that the method includes a step of removing the reconstruction information and the enhancement layer.
  • the invention also relates to an information recording medium comprising instructions which, when executed by an electronic computer, produce the execution of an insertion method according to the invention, or of a suppression method according to the invention.
  • the invention relates to an encoder able to encode data according to a scalable video encoding standard of the SVC type, characterized in that the encoder comprises:
  • a first input capable of receiving data from a first video sequence
  • a second input adapted to receive at least one image of a second video sequence
  • an encoding unit capable of generating a coded stream comprising a base layer carrying compressed data of the second video sequence, an enhancement layer carrying compressed data of the first video sequence, and reconstruction information making it possible to reconstruct a sequence of images from the compressed data of the base layer and the enhancement layer.
  • FIG. 1 is a schematic representation of an encoder according to a first embodiment of the invention
  • FIG. 2 is a diagram of an insertion method according to the first embodiment of the invention
  • FIG. 3 is a schematic representation of a reconstructed image after insertion of a logo according to the insertion method of the invention
  • FIG. 4 is a schematic representation of two reconstructed images from the data of the base layer and of two reconstructed images only from the data of the enhancement layer;
  • FIG. 5 is a diagram of the suppression method according to the invention.
  • FIG. 6 is a schematic representation of an encoder according to a second embodiment of the invention.
  • FIG. 7 is a diagram of the insertion method according to a second embodiment of the invention.
  • FIG. 8 is a schematic representation of a multiplexer illustrating the insertion method according to a third embodiment of the invention.
  • the encoder 2 according to a first embodiment of the invention comprises a first input 4 capable of receiving a first video sequence 6, a second input 8 able to receive a second video sequence 10, and a unit
  • the first video sequence 6 comprises one or more images 14, 16 representative of a first video content, such as for example a television program or a logo. fixed or animated.
  • this first video sequence 6 represents an animated logo, it includes several images.
  • this first video sequence 6 represents a fixed logo, it comprises a single image, the image data of which is repeated a number of times corresponding to the number of images of the video sequence 8.
  • the video sequence 6 represents an animated logo.
  • the second video sequence 10 consists of several images 18, 20 representative of a second video content such as for example a television program or a film.
  • the content of the first video sequence 6 is different from the content of the second video sequence 10.
  • the encoder 2 further comprises a coding unit 22 connected to the coding unit 12 and to the first input 4, and an output 24 connected to the coding unit 22.
  • the coding unit 22 is able to encode images according to the scalable video coding standard called SVC to generate an SVC coded stream 23.
  • the SVC standard makes it possible to generate a scalable video stream in layers.
  • the SVC standard is the scalable extension of MPEG-4 AVC, as defined in ISO / IEC 14496-10 amendment 3. This scalable extension was also published as JVT-X201 at the meeting of the working group Joint JVT with ISO / CE MPEG and NTU-T VCEG held in Geneva from June 29 to July 5, 2007.
  • This SVC standard contains in particular extensions of the coding elements of the H.264 / AVC standard such as the slicing of an image, each slice comprising several macroblocks to be encoded according to the same coding mode, the intra coding modes , the inter-directional and inter-directional coding modes and the types El, EP and EB of the slots to be coded according to these coding modes.
  • the coding unit 22 is able to generate compressed data 25 in a base layer 26 from the second video sequence 10, compressed data 27 in an improvement layer 28 from the first one.
  • video sequence 6 and reconstruction information 30 The data 25, 27, the base layer 26, the enhancement layer 28 and the reconstruction information 30 are shown schematically in Fig. 1.
  • the reconstruction information 30 is syntax high level of the base layer 26 and the enhancement layer 28. They are encoded in the base layer and in the enhancement layer.
  • the coding unit 22 codes the first video sequence 6 according to the CGS (Square Gain Scability) coding mode.
  • the enhancement layer 28 is a quality improvement layer according to this CGS encoding mode.
  • the insertion method begins with a step 32 during which the units 12, 22 determine three zones from the video sequences 6 and 10 and from data entered by an operator on the coder 2.
  • the operator notably grasps the positioning of a portion of the first video sequence 6 with respect to the second video sequence 10. For example, a portion of the first video sequence 6 covers a portion at the bottom left of the second video sequence 10 .
  • a portion of the first video sequence covers an image half of the second video sequence 10.
  • the first zone 34 comprises macroblocks 36, 38 covered by an opaque portion of the logo 17.
  • the second zone 40 includes macroblocks 42, 44 not covered by an opaque or transparent portion of the logo.
  • the third zone 46 includes macroblocks 48, 50 partially covered by an opaque portion of the logo 17. As a variant, this third zone 46 also includes macroblocks covered by a transparent portion of the logo.
  • the coding unit 12 codes according to the H.264 / AVC standard the images 18, 20 of the video sequence 10.
  • the coding unit 12 is adapted to prohibit coding in inter-directional modes or bidirectional inter modes a macroblock 42, 44 of the second zone 40 of an image 20 having a motion vector V (visible in Figure 4) pointing to the first 34 or the third
  • the coding unit 12 prohibits reconstruction by temporal prediction of a macroblock of the second zone 40 from a macroblock covered by the logo 17 of a previously coded image.
  • the coding unit 22 In a step 54, the coding unit 22 generates reconstruction information for identifying in the SVC stream, the data of the base layer 26 and the data 27 of the enhancement layer 28.
  • the coding unit 22 associates with the macroblocks of the images 18, 20 of the video sequence 10, a syntax element of the "dependency_id" type equal to This syntax element means that the images 18, 20 of the video sequence 10 are encoded in the base layer 26.
  • the syntax element "dependency_id” equal to 1 is associated with the macroblocks of the images 14, 16 of the video sequence 6 to indicate that they are encoded in the enhancement layer 28.
  • the base layer 26 and the layer of enhancement 28 have the same value of the dependency_id syntax element but have two distinct values of a "quality id" syntax element.
  • the base layer is attached to a syntax element of type "quality_id” equal to 0 and enhancement layer 28 is attached to a syntax element of type "quality_id” equal to 1.
  • the base layer 26 is identified either by a non-zero dependency_id syntax element or by a non-zero quality_id syntax element.
  • the macroblocks of the images of the video sequence 10 are associated with a syntax element of the "dependency_id” type or with a syntax element of the "quality_id” type equal to N
  • the macroblocks of the images 14, 16 of the video sequence 6 are associated with a syntax element "dependency_id” or with a syntax element of the type "quality_id” equal to N + 1.
  • the coding unit 22 generates reconstruction information that includes syntax elements of the "base_mode_flag" type.
  • all the macroblocks 42, 44 of the second zone 40 of the improvement layer 28 are associated with a syntactic element "base_mode_flag" equal to 1, which means that these macroblocks 42, 44 are an exact copy of the macroblocks 42, 44 located at the same location in the base layer 26.
  • the macroblocks 36, 38 of the first zone 34 are associated with the syntax element "base_mode_flag” equal to 0, which means that these macroblocks are encoded by the data 27 of the enhancement layer.
  • the macroblocks 36, 38 of the first zone 34 of the images 14, 16 of the video sequence 6 are coded by the coding unit 22 according to any of the non-scalable modes proposed by the standard H.264 / AVC.
  • the macroblocks of the first zone 34 are considered in slices.
  • the macroblocks of the El type slices are coded according to the intra modes of the H.264 / AVC standard.
  • the macroblocks of the EP and EB type slices are encoded according to the inter-directional modes and respectively the bidirectional inter modes of the H.264 / AVC standard.
  • the macroblocks of the EP and EB type slices are coded according to the "P_Skip" and "B_Skip" modes in order to optimize the cost rate / distortion of the coding.
  • the macroblocks 48, 50 of the third zone 46 are obtained according to methods of the state of the art making it possible to achieve a combination between the texture of the logo 17 and that of the images of the original video sequence 10 covered by this one.
  • a linear combination technique of the two textures can be used.
  • the new texture is obtained for these macroblocks, the latter are encoded by the coding unit 12 in a scalable or non-scalable type of coding mode.
  • the method for deleting the logo inserted according to the insertion method described above starts with a step 62 for receiving the SVC stream 23, followed by a step 64 of deleting the reconstruction information 30 and the improvement layer 28.
  • the decoder searches for the macroblocks associated with a "dependency_id" type of syntax element equal to 1.
  • a simple manipulation of the enhancement layer 28 and SVC coded reconstruction information is necessary to delete the logo 17.
  • the video sequence 10 has not lost visual quality after insertion and deletion of the logo.
  • the video sequence 10 is reconstructed in the same manner and with the same quality as if this video sequence had been coded only according to the H.264 / AVC standard.
  • the encoder 66 according to the second embodiment of the invention is described.
  • the images of the first 6 and the second video sequence are arranged only in a first 34 and a second 40 areas.
  • This encoder 66 makes it possible to insert images 14, 16 of the first video sequence 6 into a binary data stream 76 representative of the second video sequence 10.
  • the images 14, 16 of the video sequence 6 are encoded according to the SVC standard independently of the binary data stream 76.
  • the images 14, 16 of the video sequence 6 can be reconstructed without decompressing the data of the stream 76.
  • images 18, 20 from the binary data stream 76 can be reconstructed without decoding the coded video sequence 6 by the coding unit of the coder 66.
  • the encoder 66 comprises a first input 68, a second input 70, an encoding unit 72 connected to the first 68 and the second 70 inputs, and finally, an output 74 connected to the coding unit 72.
  • the first input 68 is able to receive one or more images 14, 16 of the video sequence 6.
  • the second input 70 is adapted to receive a binary data stream 76 from the H.264 / AVC compression of the video sequence 10.
  • the encoding unit 72 is adapted to generate reconstruction information defining that the binary data stream 76 belongs to the base layer 26 and to encode the images 14, 16 of the video sequence 6, so the compressed data 27 issued from them belong to the improvement layer 28.
  • the insertion method according to the second embodiment of the invention begins with a step 32 of determining the first 34 and second 40 zones of the images to be encoded.
  • step 54 the encoding unit 72 creates reconstruction information 30 associating with the binary data stream 76 a "dependency_id" syntax element equal to 0 meaning that this binary data stream constitutes the base layer 26. of the SVC stream 23 and associating with the macroblocks of the images 14, 16 of the video sequence 6 a "dependency_id” syntax element equal to 1 so that the compressed data 27 representing these macroblocks constitute the enhancement layer 28.
  • the step 54 is followed by a step 56 identical to the step 56 illustrated in FIGS. 2 and 4.
  • the coding unit 72 creates reconstruction information 30 comprising syntax elements of FIG. type "store_ref_base_pic_flag" indicating that the images to be reconstructed from the binary data stream 76 of the base layer 26 are stored in a buffer memory after reconstruction by the decoder; and use_ref_base_pic_flag type syntax elements indicating that the images to be reconstructed from the base layer data 26 are used as temporal prediction images to reconstruct the or each subsequent image.
  • the binary data stream 76 must not contain a layer unit, generally called a NAL unit belonging to the coding unit whose syntax element "nal_ref_idc" is equal to 0. This restriction prohibits in particular the insertion of a logo on the B slices said hierarchical last time level not referenced.
  • the macroblocks of the images 14, 16 of the first video sequence 6 are coded.
  • the macroblocks 42, 44 of the second zone 40 of the enhancement layer 28 are coded.
  • the first macroblock of the second zone 40 of a slice El is coded according to the "I_PCM" mode of the H.264 / AVC standard.
  • the following macroblocks of the same El type slice are coded according to the intra modes of the H.264 / AVC standard. These macroblocks do not take as a candidate for intra prediction of macroblocks outside the second zone 40.
  • the macroblocks of the EP, EB type slots of the second zone 40 are coded according to any of the non-scalable modes of the H.264 / AVC standard.
  • the "P_Skip" and “B_Skip” modes are used to optimize the bit rate-distortion cost of the coding.
  • the macroblocks of the second zone 40 and of the first zone 34 are grouped into two slice groups.
  • Each slice group is associated with the syntax element "base_mode_flag" equal to 1 with only one syntax element "slice skip flag"
  • syntax element "slice_skip_flag” assigns the value of the syntax element "base_mode_flag” equal to 1 to all the macroblocks constituting the group of slices.
  • the second area 40 not covered by the logo of the images 14, 16 of the first video sequence 6 is coded regardless of the content of the second video sequence 10, and the first area 34 covered by the logo 17 is coded independently of the content of the second video 10.
  • this embodiment makes it possible to insert the video sequence 6 into the binary data stream 76 on the fly.
  • the method of deleting the images 14, 16 of the first video sequence 6 covering the portion 34 of the images 18, 20 of the second video sequence 10 is identical to the method described with reference to FIG.
  • FIG. 8 a third embodiment of the invention is illustrated.
  • the images 14, 16 of the video sequence 6 have been previously encoded according to the SVC standard to form a binary data stream 82 and reconstruction information has been established and encoded according to the SVC standard.
  • the video sequence 10 has been previously compressed according to the standard
  • the stream 76 and the stream 82 are multiplexed by a multiplexer 84 to generate an SVC stream comprising a base layer 26 carrying the stream 76 representing the images of the video sequence 10, an improvement layer 28 carrying the stream 82 representing the images of the video sequence 6 and the reconstruction information 30.
  • the encoder 66 only the video sequences having no transparent portion and having a size allowing them to cover an integer number of macroblocks can be coded according to this third embodiment using the multiplexer 84.
  • the image deletion method covering a portion of the second video sequence constructed from this third embodiment is identical to the deletion method illustrated in FIG. 5.
  • the stream 82 can be easily associated with any video sequence.
  • Stream 82 is inserted into stream 76 on the fly by simply re-multiplexing stream 76 and stream 82, independently of the content of stream 76.
  • the compressed stream 82 representative of the logo can be easily reused by multiplexing with a stream containing other content. For this purpose, it is sufficient that the dimensions of the images of the stream containing the other content are identical to the dimensions of the images of the stream 76.
  • the invention allows the rights holder or the broadcaster of the video wishing to insert a logo to make significant operating gains.
  • the invention is to use a scalable video encoding standard SVC for inserting data of a first video sequence into data of a second video sequence such that when the data is decoded, a portion of the or each image of the first video sequence covers a portion of the or each image of the second video sequence.
  • the flow comprising the logo is easily and directly identifiable by virtue of its syntax element "dependency_id” or “quality_id” higher than that of the stream comprising the video 10. It can therefore be protected at the system and / or transport level independently of the video stream. This independence makes it possible to guarantee to the right-holder and / or the broadcaster a better protection of the logo in the face of attacks on the content.
  • this method makes it possible to insert a fixed or animated logo in a compressed video sequence, without requiring the decoding thereof.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne un procédé d'insertion de données (14, 16) d'une première séquence vidéo (6) dans des données (18, 20) d'une seconde séquence vidéo (10), une portion (34) de l'image (14, 16) de la première séquence vidéo (6) étant destinée à recouvrir une portion (34) de l'image (18, 20) de la seconde séquence vidéo (10). Le procédé comprend une étape de génération d'un flux codé (23) selon une norme de codage vidéo scalable de type SVC, le flux généré (23) comprenant une couche de base (26) transportant des données compressées (25) de seconde séquence vidéo (10), une couche d'amélioration (28) transportant des données compressées (27) de la première séquence vidéo (6), et des informations de reconstruction (30) d'une séquence vidéo à partir des données compressées de la couche de base (26) et de la couche d'amélioration (28). L'invention concerne également un procédé de suppression, un support d'enregistrement et un codeur.

Description

Procédé d'insertion, de suppression, support d'enregistrement et codeur
La présente invention concerne l'insertion de données d'une séquence vidéo sur une portion d'image d'une autre séquence vidéo.
En particulier, l'invention concerne l'insertion d'un logo dans une portion d'image d'une séquence vidéo.
Généralement, le logo est inséré dans une séquence vidéo avant compression de celle-ci par exemple selon la norme H.264 / AVC. Pour supprimer le logo, le flux compressé contenant le logo est décodé. Puis, le logo est détecté dans les images reconstruites et enfin, le logo est supprimé à l'aide d'une technique de propagation spatiale et/ou temporelle de l'information de macroblocs voisins.
Par ailleurs, il est connu une norme de codage vidéo scalable appelée SVC qui génère un train binaire hiérarchique comportant différentes couches superposées correspondant à différentes qualités d'images, différentes fréquences d'images et/ou différentes résolutions.
Le décodage des couches inférieures du train binaire hiérarchique permet d'obtenir des images à faible résolution et/ou faible qualité et/ou faible fréquence d'images. Le décodage de l'ensemble des couches du train binaire hiérarchique permet d'obtenir des images à résolution supérieure et/ou qualité supérieure et/ou fréquence d'images supérieure.
La norme SVC permet ainsi d'assurer l'interopérabilité entre différents services, de supporter des récepteurs présentant des capacités d'affichage distincts et de distribuer des séquences vidéo sur des réseaux à bande passante variable. L'invention a pour but de fournir un procédé permettant d'insérer et de supprimer facilement une séquence vidéo recouvrant une portion d'image d'une autre séquence vidéo.
A cet effet, l'invention a pour objet un procédé d'insertion de données d'une première séquence vidéo dans des données d'une seconde séquence vidéo, le contenu de la première séquence vidéo étant différent du contenu de la seconde séquence vidéo, une portion de la ou chaque image de la première séquence vidéo étant destinée à recouvrir une portion de la ou de chaque image de la seconde séquence vidéo, le procédé comprend une étape de génération d'un flux codé selon une norme de codage vidéo scalable de type SVC, le flux généré comprenant une couche de base transportant des données compressées de seconde séquence vidéo, une couche d'amélioration transportant des données compressées de la première séquence vidéo, et des informations de reconstruction d'une séquence vidéo à partir des données compressées de la couche de base et de la couche d'amélioration.
Suivant des modes particuliers de mise en œuvre, le procédé d'insertion comporte une ou plusieurs des caractéristiques suivantes, prises isolément ou en combinaison : - les données de la première séquence vidéo sont des données représentatives d'un logo fixe ou animé,
- l'étape de génération comprend une étape de création d'informations de reconstruction comportant des éléments syntaxiques indiquant que les données de la couche d'amélioration représentant une portion d'image de la première séquence vidéo non destinée à recouvrir une portion d'image de la seconde séquence vidéo sont une copie des données de la couche de base représentant une portion d'image de la seconde séquence vidéo non destinée à être recouverte,
- les données de la première séquence vidéo sont codées sans codage des données de la seconde séquence vidéo,
- les données de la première séquence vidéo sont des données binaires provenant d'un codage SVC des images de la première séquence vidéo, les données de la seconde séquence vidéo sont des données binaires provenant de la compression des images de la seconde séquence vidéo, l'étape de génération comprenant une étape de multiplexage des données binaires de la première séquence vidéo et des données binaires de la seconde séquence vidéo,
- les données de la première séquence vidéo comprennent au moins une image, l'étape de génération comprenant une étape de codage SVC de ou de chaque image de la première séquence vidéo, les données de la seconde séquence vidéo étant des données binaires provenant d'une compression des images de la seconde séquence vidéo, ladite compression étant préalable à l'étape de codage SVC, - l'étape de génération comprend une étape de création d'informations de reconstruction comportant des éléments syntaxiques indiquant que les images à reconstruire à partir des données de la couche de base sont stockées dans une mémoire tampon après reconstruction, et que lesdites images à reconstruire sont utilisées comme images de prédiction temporelle pour reconstruire la ou chaque image suivante à la place des images reconstruites à partir des données de la couche d'amélioration,
- chaque image de la première séquence vidéo est agencée en au moins une tranche, la ou chaque tranche étant définie par un type parmi les types El, EP et EB, la ou chaque tranche comportant plusieurs macroblocs propres à être codés en fonction de leur type dans les modes intra, les modes inter monodirectionnels et les modes inter bidirectionnels ; et dans lequel l'étape de codage SVC comporte les étapes suivantes :
- codage en mode « I_PCM » de la norme SVC de chaque premier macrobloc de chaque tranche de type El de la portion de la ou de chaque image de la première séquence vidéo destinée à recouvrir une portion de la ou de chaque image de la seconde séquence vidéo ;
- codage dans l'un des modes intra de la norme SVC de chaque macrobloc suivant ledit premier macrobloc de chaque tranche de type El de chaque image de la première séquence vidéo ;
- codage dans l'un des modes inter monodirectionnels et les modes inter bidirectionnels de la norme SVC de chaque macrobloc de chaque tranche de type EP ou EB de chaque image de la première séquence vidéo,
- les données de la première séquence vidéo comprennent au moins une image, les données de la seconde séquence vidéo comprenant plusieurs images, l'étape de génération comportant une étape de compression des images de la seconde séquence vidéo, et une étape de codage SVC de ou de chaque image de la première séquence vidéo,
- les vecteurs de mouvement (V) des données de la couche de base représentatives d'une première portion d'image d'une image ne peuvent pointer vers des données de la couche de base représentatives d'une seconde portion d'image d'une image codée précédemment, lorsque la première portion d'image est destinée à ne pas être recouverte d'une portion d'image de la couche d'amélioration et que la seconde portion d'image est destinée à être recouverte d'une portion d'image de la couche d'amélioration.
L'invention concerne également un procédé de suppression de la ou de chaque image d'une première séquence vidéo recouvrant une portion de chaque image d'une seconde séquence vidéo dans un flux codé comprenant une couche de base transportant des données compressées de la première séquence vidéo, une couche d'amélioration transportant des données compressées de la seconde séquence vidéo, et des informations de reconstruction d'une séquence vidéo à partir des données compressées de la couche de base et de la couche d'amélioration, caractérisé en ce que le procédé comporte une étape de suppression des informations de reconstruction et de la couche d'amélioration.
Par ailleurs, l'invention concerne également un support d'enregistrement d'informations comportant des instructions qui, lorsqu'elles sont exécutées par un calculateur électronique, produisent l'exécution d'un procédé d'insertion conforme à l'invention, ou d'un procédé de suppression conforme à l'invention.
Enfin, l'invention concerne un codeur apte à coder des données selon une norme de codage vidéo scalable de type SVC caractérisé en ce que le codeur comprend :
- une première entrée apte à recevoir des données d'une première séquence vidéo ;
- une seconde entrée apte à recevoir au moins une image d'une seconde séquence vidéo ; et
- une unité de codage apte à générer un flux codé comprenant une couche de base transportant des données compressées de la seconde séquence vidéo, une couche d'amélioration transportant des données compressées de la première séquence vidéo, et des informations de reconstruction permettant de reconstruire une séquence d'images à partir des données compressées de la couche de base et de la couche d'amélioration.
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et fait en se référant aux dessins annexés, sur lesquels :
- la figure 1 est une représentation schématique d'un codeur selon un premier mode de réalisation de l'invention ; - la figure 2 est un diagramme d'un procédé d'insertion selon le premier mode de réalisation de l'invention ;
- la figure 3 est une représentation schématique d'une image reconstruite après insertion d'un logo selon le procédé d'insertion de l'invention ; - la figure 4 est une représentation schématique de deux images reconstruites à partir des données de la couche de base et de deux images reconstruites uniquement à partir des données de la couche d'amélioration ;
- la figure 5 est un diagramme du procédé de suppression selon l'invention ;
- la figure 6 est une représentation schématique d'un codeur selon un second mode de réalisation de l'invention ;
- la figure 7 est un diagramme du procédé d'insertion selon un second mode de réalisation de l'invention ; et
- la figure 8 est une représentation schématique d'un multiplexeur illustrant le procédé d'insertion selon un troisième mode de réalisation de l'invention. En référence à la figure 1 , le codeur 2 selon un premier mode de réalisation de l'invention comprend une première entrée 4 apte à recevoir une première séquence vidéo 6, une deuxième entrée 8 apte à réceptionner une seconde séquence vidéo 10, et une unité 12 de codage selon la norme H.264 / AVC reliée à la deuxième entrée 8. La première séquence vidéo 6 comprend une ou plusieurs images 14, 16 représentatives d'un premier contenu vidéo, tel que par exemple une émission télévisée ou un logo 17 fixe ou animé.
Lorsque cette première séquence vidéo 6 représente un logo animé, elle comprend plusieurs images. Lorsque cette première séquence vidéo 6 représente un logo fixe, elle comprend une seule image, dont les données image sont répétées un nombre de fois correspondant au nombre d'images de la séquence vidéo 8.
Dans la suite de la description, il est considéré que la séquence vidéo 6 représente un logo animé. La seconde séquence vidéo 10 est constituée de plusieurs images 18, 20 représentatives d'un second contenu vidéo tel que par exemple une émission télévisée ou un film. Le contenu de la première séquence vidéo 6 est différent du contenu de la seconde séquence vidéo 10. Le codeur 2 comprend en outre une unité de codage 22 connectée à l'unité de codage 12 et à la première entrée 4, et une sortie 24 reliée à l'unité de codage 22.
L'unité de codage 22 est apte à coder des images selon la norme de codage vidéo scalable appelée SVC pour générer un flux codé SVC 23.
Cette norme SVC permet de générer un flux vidéo scalable par couches. La norme SVC est l'extension scalable de MPEG-4 AVC, telle que définie dans le document ISO/IEC 14496-10 amendement 3. Cette extension scalable a également été publiée sous la référence JVT-X201 lors de la réunion du groupe de travail JVT commun à l'ISO/lEC MPEG et à NTU-T VCEG qui a eu lieu à Genève du 29 juin au 5 juillet 2007.
Cette norme SVC contient notamment des extensions des éléments de codage de la norme H.264/AVC tels que l'agencement en tranches d'une image, chaque tranche comportant plusieurs macroblocs à coder selon le même mode de codage, les modes de codage intra, les modes de codage inter monodirectionnels et inter bidirectionnels et les types El, EP et EB des tranches à coder selon ces modes de codage.
Selon l'invention, l'unité de codage 22 est apte à générer des données compressées 25 dans une couche de base 26 à partir de la seconde séquence vidéo 10, des données compressées 27 dans une couche d'amélioration 28 à partir de la première séquence vidéo 6 et des informations de reconstruction 30. Les données 25, 27, la couche de base 26, la couche d'amélioration 28 et les informations de reconstruction 30 sont représentées schématiquement sur la figure 1. Les informations de reconstruction 30 sont des syntaxes de haut niveau de la couche de base 26 et de la couche d'amélioration 28. Elles sont codées dans la couche de base et dans la couche d'amélioration.
Selon le mode de réalisation de l'invention décrit, l'unité de codage 22 code la première séquence vidéo 6 selon le mode de codage CGS (de l'anglais « Square Gain Scability »). La couche d'amélioration 28 est une couche d'amélioration de la qualité selon ce mode de codage CGS.
En référence à la figure 2, le procédé d'insertion selon le premier mode de réalisation de l'invention débute par une étape 32 au cours de laquelle les unités de codage 12, 22 déterminent trois zones à partir des séquences vidéo 6 et 10 et à partir de données saisies par un opérateur sur le codeur 2.
L'opérateur saisit notamment le positionnement d'une portion de la première séquence vidéo 6 par rapport à la seconde séquence vidéo 10. Par exemple, une portion de la première séquence vidéo 6 recouvre une portion en bas à gauche de la seconde séquence vidéo 10.
En variante, une portion de la première séquence vidéo recouvre une moitié d'image de la seconde séquence vidéo 10.
Comme visible sur la figure 3, la première zone 34 comprend des macroblocs 36, 38 recouverts par une partie opaque du logo 17. La deuxième zone 40 comprend des macroblocs 42, 44 non recouverts par une partie opaque ou transparente du logo.
La troisième zone 46 comprend des macroblocs 48, 50 partiellement recouverts par une partie opaque du logo 17. En variante, cette troisième zone 46 comprend également des macroblocs recouverts par une partie transparente du logo.
Au cours d'une étape 52, l'unité de codage 12 code selon la norme H.264/AVC les images 18, 20 de la séquence vidéo 10.
Selon l'invention, l'unité de codage 12 est adaptée pour interdire de coder selon des modes inter monodirectionnels ou des modes inter bidirectionnels un macrobloc 42, 44 de la deuxième zone 40 d'une image 20 ayant un vecteur de mouvement V (visible sur la figure 4) pointant vers la première 34 ou la troisième
46 zone d'une image 18 codée précédemment, par exemple en excluant ses zones de la zone de recherche du module d'estimation de mouvement de l'unité de codage 12.
Ainsi, l'unité de codage 12 interdit la reconstruction par prédiction temporelle d'un macrobloc de la deuxième zone 40 à partir d'un macrobloc recouvert par le logo 17 d'une image précédemment codée.
Au cours d'une étape 54, l'unité de codage 22 génère des informations de reconstruction permettant d'identifier dans le flux codé SVC, les données 25 de la couche de base 26 et les données 27 de la couche d'amélioration 28.
A cet effet, l'unité de codage 22 associe aux macroblocs des images 18, 20 de la séquence vidéo 10, un élément de syntaxe du type « dependency_id » égal à 0. Cet élément de syntaxe signifie que les images 18, 20 de la séquence vidéo 10 sont codées dans la couche de base 26. De même, l'élément de syntaxe « dependency_id » égal à 1 est associé aux macroblocs des images 14, 16 de la séquence vidéo 6 pour indiquer que ceux-ci sont codés dans la couche d'amélioration 28.
Lorsque l'unité de codage 22 ne code pas la séquence vidéo 6 selon le mode de codage CGS mais selon le mode de codage dit MGS (de l'anglais « Médium Gain Scability »), la couche de base 26 et la couche d'amélioration 28 ont une même valeur de l'élément de syntaxe « dependency_id » mais ont deux valeurs distinctes d'un élément de syntaxe « quality id ». Dans ce cas, la couche de base est rattachée à un élément de syntaxe de type « quality_id » égal à 0 et la couche d'amélioration 28 est rattachée à un élément de syntaxe de type « quality_id » égal à 1.
Lorsque la séquence vidéo 10 est elle-même constituée de plusieurs couches codées selon la norme SVC, la couche de base 26 est identifiée soit par un élément de syntaxe « dependency_id » non nul, soit par un élément de syntaxe « quality_id » non nul.
D'une manière générale et quel que soit le mode de codage utilisé, les macroblocs des images de la séquence vidéo 10 sont associés à un élément de syntaxe du type « dependency_id » ou à un élément de syntaxe du type « quality_id » égal à N, tandis que les macroblocs des images 14, 16 de la séquence vidéo 6 sont associées à un élément de syntaxe « dependency_id » ou à un élément de syntaxe du type « quality_id » égal à N+1.
Au cours d'une étape 56, l'unité de codage 22 génère des informations de reconstruction qui comportent des éléments syntaxiques de type « base_mode_flag ».
En particulier, comme visible sur la figure 4, tous les macroblocs 42, 44 de la deuxième zone 40 de la couche d'amélioration 28 sont associés à un élément syntaxique « base_mode_flag » égal à 1 , ce qui signifie que ces macroblocs 42, 44 sont une recopie exacte des macroblocs 42, 44 localisés au même emplacement dans la couche de base 26. Les macroblocs 36, 38 de la première zone 34 sont associés à l'élément syntaxique « base_mode_flag » égal à 0, ce qui signifie que ces macroblocs sont codés par les données 27 de la couche d'amélioration.
Au cours d'une étape 58, les macroblocs 36, 38 de la première zone 34 des images 14, 16 de la séquence vidéo 6 sont codés par l'unité de codage 22 selon l'un quelconque des modes non scalables proposés par la norme H.264/AVC.
A cet effet, les macroblocs de la première zone 34 sont considérés par tranches.
De façon classique, les macroblocs des tranches de type El sont codés selon les modes intra de la norme H.264/AVC. Les macroblocs des tranches de type EP et EB sont codés selon les modes inter monodirectionnels et respectivement les modes inter bidirectionnels de la norme H.264/AVC.
En variante, lorsque la position du logo dans la vidéo 6 est fixe, les macroblocs des tranches de type EP et EB sont codés selon les modes « P_Skip » et « B_Skip » afin d'optimiser le coût débit/distorsion du codage.
Au cours d'une étape 60, les macroblocs 48, 50 de la troisième zone 46 sont obtenus selon des méthodes de l'état de la technique permettant de réaliser une combinaison entre la texture du logo 17 et celle des images de la séquence vidéo originale 10 recouverte par celui-ci. Par exemple, une technique de combinaison linéaire des deux textures peut être utilisée.
Lorsque la nouvelle texture est obtenue pour ces macroblocs, ces derniers sont codés par l'unité de codage 12 selon un mode de codage de type scalable ou non scalable.
En référence à la figure 5, le procédé de suppression du logo inséré selon le procédé d'insertion décrit ci-dessus débute par une étape 62 de réception du flux SVC 23, suivi par une étape 64 de suppression des informations de reconstruction 30 et de la couche d'amélioration 28.
A cet effet, le décodeur recherche les macroblocs associés à un élément de syntaxe de type « dependency_id » égal à 1. Ainsi, une simple manipulation de la couche d'amélioration 28 et des informations de reconstruction 30 codées selon la norme SVC est nécessaire pour supprimer le logo 17. Avantageusement, la séquence vidéo 10 n'a pas perdu de qualité visuelle après insertion et suppression du logo. La séquence vidéo 10 est reconstruite de la même manière et avec la même qualité que si cette séquence vidéo 10 avait été codée uniquement selon la norme H.264/AVC. En référence à la figure 6, le codeur 66 selon le deuxième mode de réalisation de l'invention est décrit.
Seules les séquences vidéo ne comportant pas de portion transparente et ayant une taille leur permettant de recouvrir exactement un nombre entier de macroblocs peuvent être codées selon ce deuxième mode de réalisation de l'invention.
Ainsi, dans ce mode de réalisation, les images de la première 6 et de la seconde 10 séquence vidéo sont agencées uniquement selon une première 34 et une deuxième 40 zones.
Ce codeur 66 permet d'insérer des images 14, 16 de la première séquence vidéo 6 dans un flux de données binaires 76 représentatives de la seconde séquence vidéo 10.
Les images 14, 16 de la séquence vidéo 6 sont codées selon la norme SVC indépendamment du flux de données binaires 76.
En conséquence, les images 14, 16 de la séquence vidéo 6 peuvent être reconstruites sans décompression des données du flux 76. De même, des images 18, 20 provenant du flux de données binaires 76 peuvent être reconstruites sans décodage de la séquence vidéo 6 codée par l'unité de codage du codeur 66.
Le codeur 66 comprend une première entrée 68, une deuxième entrée 70, une unité de codage 72 reliée à la première 68 et à la deuxième 70 entrées, et enfin, une sortie 74 connectée à l'unité de codage 72.
La première entrée 68 est apte à recevoir une ou plusieurs images 14, 16 de la séquence vidéo 6.
La deuxième entrée 70 est propre à recevoir un flux de données binaires 76 provenant de la compression selon la norme H.264/AVC de la séquence vidéo 10. L'unité de codage 72 est propre à générer des informations de reconstruction 30 définissant que le flux de données binaires 76 appartient à la couche de base 26 et à coder les images 14, 16 de la séquence vidéo 6, de façon à ce que les données compressées 27 issues de celles-ci appartiennent à la couche d'amélioration 28.
En référence à la figure 7, le procédé d'insertion selon le second mode de réalisation de l'invention débute par une étape 32 de détermination des première 34 et deuxième 40 zones des images à coder.
Au cours de l'étape 54, l'unité de codage 72 crée des informations de reconstruction 30 associant au flux de données binaires 76 un élément de syntaxe « dependency_id » égal à 0 signifiant que ce flux de données binaires constitue la couche de base 26 du flux SVC 23 et associant aux macroblocs des images 14, 16 de la séquence vidéo 6 un élément de syntaxe « dependency_id » égal à 1 de sorte que les données compressées 27 représentant ces macroblocs constituent la couche d'amélioration 28.
L'étape 54 est suivie d'une étape 56 identique à l'étape 56 illustrée sur les figures 2 et 4. Au cours d'une étape 78, l'unité de codage 72 crée des informations de reconstruction 30 comportant des éléments syntaxiques de type « store_ref_base_pic_flag » indiquant que les images à reconstruire à partir du flux de données binaires 76 de la couche de base 26 sont stockées dans une mémoire tampon après reconstruction par le décodeur ; et des éléments syntaxiques de type « use_ref_base_pic_flag » indiquant que les images à reconstruire à partir des données de la couche de base 26 sont utilisées comme images de prédiction temporelle pour reconstruire la ou chaque image suivante.
Ainsi, en référence à la figure 4, lorsqu'un macrobloc 79 de la couche de base 26 codé en mode inter monodirectionnel ou inter bidirectionnel est associé à un vecteur de mouvement V qui pointe dans la première zone, c'est-à-dire dans la zone recouverte par le logo 17, la prédiction se fait à partir des macroblocs 36, 38 de la couche de base et non pas à partir des macroblocs 36, 38 de la couche d'amélioration 28 qui comprennent le logo 17.
Toutefois, lorsque l'élément de syntaxe « store_ref_base_pic_flag » est utilisé, le flux de données binaires 76 ne doit pas contenir d'unité de couche, généralement appelée unité NAL appartenant à l'unité de codage dont l'élément de syntaxe « nal_ref_idc » est égal à 0. Cette restriction interdit notamment l'insertion d'un logo sur les tranches B dites hiérarchiques de dernier niveau temporel non référencées.
Au cours d'une étape 80, les macroblocs des images 14, 16 de la première séquence vidéo 6 sont codées. En particulier, les macroblocs 42, 44 de la deuxième zone 40 de la couche d'amélioration 28 sont codées. A cet effet, le premier macrobloc de la deuxième zone 40 d'une tranche El est codé selon le mode « I_PCM » de la norme H.264/AVC.
Les macroblocs suivants de la même tranche de type El sont codés selon les modes intra de la norme H.264/AVC. Ces macroblocs ne prennent pas comme candidat à l'intra prédiction des macroblocs en dehors de la deuxième zone 40.
Les macroblocs des tranches de type EP, EB de la deuxième zone 40 sont codés selon l'un quelconque des modes non scalables de la norme H.264/AVC.
De préférence, lorsque la position du logo dans la vidéo 6 est fixe, les modes « P_Skip » et « B_Skip » sont utilisés pour optimiser le coût débit- distorsion du codage.
En variante, les macroblocs de la deuxième zone 40 et de la première zone 34 sont regroupés en deux groupes de tranches (de l'anglais « slice groups »). Chaque groupe de tranches est associé à l'élément syntaxique « base_mode_flag » égal à 1 avec un seul élément syntaxique « slice skip flag »
L'élément syntaxique « slice_skip_flag » attribue la valeur de l'élément syntaxique « base_mode_flag » égal à 1 à tous les macroblocs constituant le groupe de tranches.
Avantageusement, la deuxième zone 40 non recouverte par le logo des images 14, 16 de la première séquence vidéo 6 est codée quel que soit le contenu de la seconde séquence vidéo 10, et la première zone 34 recouverte par le logo 17 est codée indépendamment du contenu de la seconde vidéo 10.
En conséquence, il n'est pas nécessaire de décoder même partiellement le flux de données binaires 76 compressé selon la norme H.264/AVC afin d'insérer la première séquence vidéo 6. Seules les dimensions de ce flux 76 sont nécessaires à l'insertion d'un logo opaque aligné sur les grilles de macroblocs.
Avantageusement, ce mode de réalisation permet d'insérer la séquence vidéo 6 dans le flux de données binaires 76 à la volée. Le procédé de suppression des images 14, 16 de la première séquence vidéo 6 recouvrant la portion 34 des images 18, 20 de la seconde séquence vidéo 10 est identique au procédé décrit en liaison avec la figure 5.
En référence à la figure 8, un troisième mode de réalisation de l'invention est illustré.
Selon ce mode de réalisation, les images 14, 16 de la séquence vidéo 6 ont été préalablement codées selon la norme SVC pour former un flux de données binaires 82 et des informations de reconstruction 30 ont été établies et codées selon la norme SVC. La séquence vidéo 10 a été préalablement compressée selon la norme
H.264/AVC de manière à former un flux de données binaires 76.
Le flux 76 et le flux 82 sont multiplexes par un multiplexeur 84 pour générer un flux SVC comprenant une couche de base 26 transportant le flux 76 représentant les images de la séquence vidéo 10, une couche d'amélioration 28 transportant le flux 82 représentant les images de la séquence vidéo 6 et des informations de reconstruction 30.
Comme pour le codeur 66, seules les séquences vidéo ne comportant pas de portion transparente et ayant une taille leur permettant de recouvrir un nombre entier de macroblocs peuvent être codées selon ce troisième mode de réalisation à l'aide du multiplexeur 84.
Le procédé de suppression des images recouvrant une portion de la seconde séquence vidéo construite à partir de ce troisième mode de réalisation est identique au procédé de suppression illustré sur la figure 5.
Avantageusement, selon ce mode de réalisation, le flux 82 peut être associé de façon simple à n'importe quelle séquence vidéo. Le flux 82 est inséré dans le flux 76 à la volée par simple re-multiplexage du flux 76 et du flux 82, et ce, indépendamment du contenu du flux 76.
Le flux compressé 82 représentatif du logo peut être facilement réutilisé par multiplexage avec un flux contenant un autre contenu. A cet effet, il suffit que les dimensions des images du flux contenant l'autre contenu soient identiques aux dimensions des images du flux 76.
Ce mode de réalisation permet à l'ayant-droit ou au diffuseur de la vidéo souhaitant insérer un logo de réaliser des gains importants d'exploitation. Selon d'autres termes, l'invention consiste à utiliser une norme de codage vidéo scalable SVC pour insérer des données d'une première séquence vidéo dans des données d'une seconde séquence vidéo de telle manière que lorsque les données sont décodées, une portion de la ou chaque image de la première séquence vidéo recouvre une portion de la ou de chaque image de la seconde séquence vidéo.
Avantageusement, le flux comportant le logo est facilement et directement identifiable grâce à son élément syntaxique « dependency_id » ou « quality_id » supérieur à celui du flux comportant la vidéo 10. Il peut donc être protégé au niveau du système et/ou du transport indépendamment du flux vidéo. Cette indépendance permet de garantir à l'ayant-droit et/ou au diffuseur une meilleure protection du logo face à des attaques sur le contenu.
Avantageusement, ce procédé permet d'insérer un logo fixe ou animé dans une séquence vidéo compressée, sans nécessiter le décodage de celle-ci.

Claims

REVENDICATIONS
1.- Procédé d'insertion de données (14, 16 ; 82) d'une première séquence vidéo (6) dans des données (18, 20 ; 76) d'une seconde séquence vidéo (10), le contenu de la première séquence vidéo (6) étant différent du contenu de la seconde séquence vidéo (10), une portion (34) de la ou de chaque image (14, 16) de la première séquence vidéo (6) étant destinée à recouvrir une portion (34) de la ou de chaque image (18, 20) de la seconde séquence vidéo (10), caractérisé en ce que le procédé comprend une étape de génération (52,
56 ; 56, 78, 80) d'un flux codé (23) selon une norme de codage vidéo scalable de type SVC, le flux généré (23) comprenant une couche de base (26) transportant des données compressées (25 ; 76) de seconde séquence vidéo (10), une couche d'amélioration (28) transportant des données compressées (27; 82) de la première séquence vidéo (6), et des informations de reconstruction (30) d'une séquence vidéo à partir des données compressées de la couche de base (26) et de la couche d'amélioration (28).
2.- Procédé d'insertion selon la revendication 1 , dans lequel les données (14, 16, 82) de la première séquence vidéo (6) sont des données représentatives d'un logo (17) fixe ou animé.
3.- Procédé d'insertion selon l'une quelconque des revendications précédentes, dans lequel l'étape de génération (52, 56 ; 56, 78, 80) comprend une étape de création (56) d'informations de reconstruction (30) comportant des éléments syntaxiques indiquant que les données (27 ; 82) de la couche d'amélioration (28) représentant une portion d'image (40) de la première séquence vidéo (6) non destinée à recouvrir une portion d'image de la seconde séquence vidéo (10) sont une copie des données (25 ; 76) de la couche de base (26) représentant une portion d'image de la seconde séquence vidéo (10) non destinée à être recouverte.
4.- Procédé d'insertion selon l'une quelconque des revendications précédentes, dans lequel les données de la première séquence vidéo (6) sont codées sans codage des données de la seconde séquence vidéo (10).
5.- Procédé d'insertion selon l'une quelconque des revendications précédentes, dans lequel les données (14, 16 ; 82) de la première séquence vidéo (6) sont des données binaires (82) provenant d'un codage SVC des images (14, 16) de la première séquence vidéo (6), les données (18, 20 ; 76) de la seconde séquence vidéo (10) sont des données binaires (76) provenant de la compression des images (18, 20) de la seconde séquence vidéo (10), l'étape de génération (56, 78, 80) comprenant une étape de multiplexage des données binaires (82) de la première séquence vidéo (6) et des données binaires (76) de la seconde séquence vidéo (10).
6.- Procédé selon l'une quelconque des revendications 1 à 4, dans lequel les données (14, 16 ; 82) de la première séquence vidéo (6) comprennent au moins une image (14, 16), l'étape de génération (56, 78, 80) comprenant une étape de codage SVC (80) de ou de chaque image (14, 16) de la première séquence vidéo (6), les données (18, 20 ; 76) de la seconde séquence vidéo (10) étant des données binaires (76) provenant d'une compression des images (18, 20) de la seconde séquence vidéo (10), ladite compression étant préalable à l'étape de codage SVC (80).
7.- Procédé d'insertion selon la revendication 6, dans lequel l'étape de génération (56, 78, 80) comprend une étape de création (78) d'informations de reconstruction (30) comportant des éléments syntaxiques indiquant que les images à reconstruire à partir des données (25 ; 76) de la couche de base (26) sont stockées dans une mémoire tampon après reconstruction, et que lesdites images à reconstruire sont utilisées comme images de prédiction temporelle pour reconstruire la ou chaque image suivante à la place des images reconstruites à partir des données de la couche d'amélioration (28).
8.- Procédé d'insertion selon la revendication 6 ou 7, dans lequel chaque image (14, 16) de la première séquence vidéo (6) est agencée en au moins une tranche, la ou chaque tranche étant définie par un type parmi les types El, EP et EB, la ou chaque tranche comportant plusieurs macroblocs propres à être codés en fonction de leur type dans les modes intra, les modes inter monodirectionnels et les modes inter bidirectionnels ; et dans lequel l'étape de codage SVC (80) comporte les étapes suivantes : - codage (80) en mode « I_PCM » de la norme SVC de chaque premier macrobloc de chaque tranche de type El de la portion (34) de la ou de chaque image (14, 16) de la première séquence vidéo (6) destinée à recouvrir une portion de la ou de chaque image de la seconde séquence vidéo (10) ; - codage (80) dans l'un des modes intra de la norme SVC de chaque macrobloc suivant ledit premier macrobloc de chaque tranche de type El de chaque image (14, 16) de la première séquence vidéo (6) ;
- codage (80) dans l'un des modes inter monodirectionnels et les modes inter bidirectionnels de la norme SVC de chaque macrobloc de chaque tranche de type EP ou EB de chaque image (14, 16) de la première séquence vidéo (6).
9.- Procédé d'insertion selon l'une quelconque des revendications 1 à 3, dans lequel les données (14, 16 ; 82) de la première séquence vidéo (6) comprennent au moins une image (14, 16), les données (18, 20 ; 76) de la seconde séquence vidéo (10) comprenant plusieurs images (18, 20), l'étape de génération (52, 56, 78, 80) comportant une étape de compression (52) des images (18, 20) de la seconde séquence vidéo (10), et une étape de codage SVC (80) de ou de chaque image (14, 16) de la première séquence vidéo (6).
10.- Procédé d'insertion selon la revendication 9, dans lequel les vecteurs de mouvement (V) des données de la couche de base (26) représentatives d'une première portion d'image (40) d'une image (20) ne peuvent pointer vers des données de la couche de base (26) représentatives d'une seconde portion d'image (34) d'une image codée précédemment (18), lorsque la première portion d'image (40) est destinée à ne pas être recouverte d'une portion d'image de la couche d'amélioration (28) et que la seconde portion d'image (34) est destinée à être recouverte d'une portion d'image de la couche d'amélioration (28).
11.- Procédé de suppression de la ou de chaque image (14, 16) d'une première séquence vidéo (6) recouvrant une portion (34, 46) de chaque image (18, 20) d'une seconde séquence vidéo (10) dans un flux codé comprenant une couche de base (26) transportant des données compressées (27 ; 82) de la première séquence vidéo (6), une couche d'amélioration (28) transportant des données compressées (25 ; 76) de la seconde séquence vidéo (10), et des informations (30) de reconstruction d'une séquence vidéo à partir des données compressées (25, 76 ; 27, 82) de la couche de base (26) et de la couche d'amélioration (28), caractérisé en ce que le procédé comporte une étape de suppression (64) des informations de reconstruction (30) et de la couche d'amélioration (28).
12. Support d'enregistrement d'informations, caractérisé en ce qu'il comporte des instructions qui, lorsqu'elles sont exécutées par un calculateur électronique, produisent l'exécution d'un procédé d'insertion conforme à l'une quelconque des revendications 1 à 10, ou d'un procédé de suppression conforme à la revendication 11.
13.- Codeur (2 ; 66) apte à coder des données selon une norme de codage vidéo scalable de type SVC caractérisé en ce que le codeur (2 ; 66) comprend :
- une première entrée (4 ; 68) apte à recevoir des données (14, 16 ; 82) d'une première séquence vidéo (6) ; - une seconde entrée (8 ; 70) apte à recevoir au moins une image (18, 20) d'une seconde séquence vidéo (10) ; et
- une unité de codage (22 ; 72) apte à générer un flux codé comprenant une couche de base (26) transportant des données compressées (25 ; 76) de la seconde séquence vidéo (10), une couche d'amélioration (28) transportant des données compressées (27 ; 82) de la première séquence vidéo (6), et des informations (30) de reconstruction permettant de reconstruire une séquence d'images à partir des données compressées de la couche de base (26) et de la couche d'amélioration (28).
PCT/FR2009/050434 2008-04-23 2009-03-17 Procédé d'insertion, de suppression, support d'enregistrement et codeur WO2009130425A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0852730 2008-04-23
FR0852730A FR2930702A1 (fr) 2008-04-23 2008-04-23 Procede d'insertion, de suppression, support d'enregistrement et codeur

Publications (2)

Publication Number Publication Date
WO2009130425A2 true WO2009130425A2 (fr) 2009-10-29
WO2009130425A3 WO2009130425A3 (fr) 2010-02-11

Family

ID=40347810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2009/050434 WO2009130425A2 (fr) 2008-04-23 2009-03-17 Procédé d'insertion, de suppression, support d'enregistrement et codeur

Country Status (2)

Country Link
FR (1) FR2930702A1 (fr)
WO (1) WO2009130425A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081643A3 (fr) * 2009-12-14 2011-09-29 Thomson Licensing Fusion de trains de bits codés

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994011993A1 (fr) * 1992-11-16 1994-05-26 Multimedia Systems Corporation Methode de production et de trasnmission d'informations multimedia a interactivite renforcee
WO1998044735A1 (fr) * 1997-04-01 1998-10-08 Koninklijke Philips Electronics N.V. Systeme d'emission comprenant une unite permettant d'emettre un logo
US20060045182A1 (en) * 2004-09-01 2006-03-02 Fuji Xerox Co., Ltd. Encoding device, decoding device, encoding method, decoding method, and program therefor
WO2007047077A2 (fr) * 2005-10-12 2007-04-26 Thomson Licensing Procede et appareil pour le codage et le decodage video a produit scalaire

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994011993A1 (fr) * 1992-11-16 1994-05-26 Multimedia Systems Corporation Methode de production et de trasnmission d'informations multimedia a interactivite renforcee
WO1998044735A1 (fr) * 1997-04-01 1998-10-08 Koninklijke Philips Electronics N.V. Systeme d'emission comprenant une unite permettant d'emettre un logo
US20060045182A1 (en) * 2004-09-01 2006-03-02 Fuji Xerox Co., Ltd. Encoding device, decoding device, encoding method, decoding method, and program therefor
WO2007047077A2 (fr) * 2005-10-12 2007-04-26 Thomson Licensing Procede et appareil pour le codage et le decodage video a produit scalaire

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081643A3 (fr) * 2009-12-14 2011-09-29 Thomson Licensing Fusion de trains de bits codés
CN102656885A (zh) * 2009-12-14 2012-09-05 汤姆森特许公司 合并编码比特流
JP2013513999A (ja) * 2009-12-14 2013-04-22 トムソン ライセンシング 符号化ビットストリームのマージ
CN102656885B (zh) * 2009-12-14 2016-01-27 汤姆森特许公司 合并编码比特流

Also Published As

Publication number Publication date
FR2930702A1 (fr) 2009-10-30
WO2009130425A3 (fr) 2010-02-11

Similar Documents

Publication Publication Date Title
KR102073030B1 (ko) 이미지 디코딩 장치
FR2894421A1 (fr) Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique
FR2931610A1 (fr) Procede et un dispositif de transmission de donnees d'images
EP2052545B1 (fr) Dispositif et procede de codage et de decodage echelonnables de flux de donnees d'images, signal et programme d'ordinateur correspondants
EP3381009A1 (fr) Procédé de traitement d'une séquence d'images numériques, procédé de tatouage, dispositifs et programmes d'ordinateurs associés
FR3008840A1 (fr) Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
EP3345391A2 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
WO2019008254A1 (fr) Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants
EP3238454B1 (fr) Génération d'une mosaïque de vidéos
EP2716045B1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
WO2009130425A2 (fr) Procédé d'insertion, de suppression, support d'enregistrement et codeur
FR2809573A1 (fr) Procede de codage d'un flux d'images video
WO2016102804A1 (fr) Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
EP3529987A1 (fr) Procédé de codage et de décodage de paramètres d'image, dispositif de codage et de décodage de paramètres d'image et programmes d'ordinateur correspondants
EP3409016A1 (fr) Procédé de codage et décodage de données, dispositif de codage et décodage de données et programmes d'ordinateur correspondants
WO2019008253A1 (fr) Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants
WO2010086562A1 (fr) Procede et dispositif de codage d'images mettant en oeuvre des modes de codage distincts, procede et dispositif de decodage, et programmes d'ordinateur correspondants
WO2019076764A1 (fr) Procédés de codage et de décodage d'un flux de données représentatif d'une vidéo omnidirectionnelle
FR2931609A1 (fr) Procedes de codage et de decodage pseudo-hierarchiques et systemes associes.
EP1559270A1 (fr) Embrouillage adaptatif et progressif de flux video
WO2024042286A1 (fr) Lissage hors boucle de codage d'une frontière entre deux zones d'image
WO2018167419A1 (fr) Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants
FR2949283A1 (fr) Procede et installation pour marquer en temps reel un flux video compose d'une succession d'images video codees selon la norme mpeg-2.
FR2951344A1 (fr) Procede et installation pour marquer en temps reel un flux video compose d'une succession d'images video codees en mpeg-4 avc.
FR2888452A1 (fr) Procede et dispositif de codage d'un contenu video comprenant une sequence d'images et un logo

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09735995

Country of ref document: EP

Kind code of ref document: A2

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09735995

Country of ref document: EP

Kind code of ref document: A2