WO2008043923A1 - Utilisation d'un canal de retour pour la diffusion d'images - Google Patents

Utilisation d'un canal de retour pour la diffusion d'images Download PDF

Info

Publication number
WO2008043923A1
WO2008043923A1 PCT/FR2007/051309 FR2007051309W WO2008043923A1 WO 2008043923 A1 WO2008043923 A1 WO 2008043923A1 FR 2007051309 W FR2007051309 W FR 2007051309W WO 2008043923 A1 WO2008043923 A1 WO 2008043923A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
error
image
equipment
messages
Prior art date
Application number
PCT/FR2007/051309
Other languages
English (en)
Inventor
Marc Baillavoine
Joël JUNG
Loïc BAROUX
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to US12/227,824 priority Critical patent/US8505060B2/en
Priority to EP07858480A priority patent/EP2025174A1/fr
Publication of WO2008043923A1 publication Critical patent/WO2008043923A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Definitions

  • the present invention relates to techniques for broadcasting video sequence images. It applies to situations where a sequence of images is transmitted to one or more decoders that use a return channel to provide information explicitly or implicitly indicating whether the images of the video signal have been properly rendered.
  • Video encoders support an interframe coding mode if inter-coded, in which the current image is encoded with respect to one or more previous images.
  • Each image can also be coded without reference to others, ie what is called intra-frame coding.
  • intra-frame coding provides poorer video quality than the inter coding since it does not take advantage of the temporal correlations between the successive images of the video sequence.
  • a portion of a video sequence has its first intra-coded image and then the following inter-coded images.
  • a problem of inter coding is its behavior in the presence of transmission error or packet loss on the transmission channel.
  • the degradation or loss of an image propagates on subsequent images until a new intra-coded image occurs.
  • the mode of transmission of the signal causes total or partial losses of certain images.
  • Such losses result, for example, from the loss or the late arrival of certain data packets when the transmission takes place over a network of packets without delivery guarantees such as an IP (Internet Protocol) network. Losses can also result from errors introduced by the transmission channel beyond the correction capabilities of the correction codes used.
  • One of these mechanisms is the use of a return channel, from the decoder to the encoder on which the decoder informs the coder that he has lost all or part of certain images. In some cases, these are the images reconstructed well as the decoder instructs the encoder on channel "back, so that the coder can deduce what images were eventually lost.
  • correction images are transmitted in response messages during specific transmissions or by insertion into the stream of the video sequence in lieu of other images.
  • Such use of the return channel has significant disadvantages when several error messages are transmitted on the return channel.
  • the current principle results in an answer being given to each of these messages. For example, if an image is lost, the decoder may send an error message on the return channel for each of the subsequent images encoded inter with a reference to the lost image. In this case, the encoder is required to transmit several response messages each comprising an intra-coded correction image. This results in decreased quality of playback and high bandwidth usage.
  • each of the decoders emits an error message on a return channel concerning an same image lost and that the coder responds successively to each of these messages retransmitting several times the same correction image.
  • the use made of the return channels is not optimum especially when several messages are transmitted on the return channel.
  • the invention thus proposes a method of broadcasting images of a video sequence, the method comprising, at the level of a broadcasting equipment, the following steps:
  • determining response messages including images or portions of correction images characterized in that the method further comprises:
  • the method of the invention includes an analysis of the error messages and the quantification of the severity of these messages in order to decide whether to respond to them. This quantization makes it possible to optimize the use of the return channel by optimizing the response messages.
  • said analysis comprises the determination of at least one factor coming from the following group: a level of quality of reproduction taking into account the error; an evaluation of the importance of the content of the images or parts of images that are not or badly reproduced;
  • said level of severity of at least one error message is a maximum waiting time before sending a response message. This makes it possible to ensure the transmission of a response message for certain error messages.
  • the method comprises determining an emergency level from the severity levels associated with the error messages received since the transmission of the last response message and said decision step is performed according to this level of urgency. 'emergency.
  • This embodiment has the advantage of determining an emergency quantizer from several error messages.
  • said step of determining response messages comprises a grouping of response messages. This reduces the number of response messages compared to the number of error messages.
  • said analysis comprises an identification of a last image transmitted without error and said step of determining a response message comprises the coding of a correction image with respect to said last image transmitted without error.
  • said step of including the images in a stream comprises formatting several incoming streams to form said stream of output
  • said step of analyzing the error messages comprises the identification of the images not or badly restored in said incoming flows
  • said step of determining a response message comprises the modification of correction images from said incoming flows to make them conform to the format of the output stream.
  • the invention also relates to a computer program or broadcast equipment implementing the method referred to above and an image diffusion system using such broadcast equipment.
  • a computer program or broadcast equipment implementing the method referred to above and an image diffusion system using such broadcast equipment.
  • FIG. 1 is a block diagram of a video sequence broadcasting system
  • FIG. 2 is a symbolic representation of a combined video image
  • FIG. 3 represents the flowchart of the method of the invention
  • FIG. 5 represents a correction image
  • - Figure 6 symbolically represents a loss of image.
  • the system shown in Figure 1 comprises several terminals labeled T1 to T4 and formed, for example, personal computers. These terminals are connected by a telecommunications network 4 of the IP type to a broadcast equipment 2 which, in the example, is a telecommunications server providing the conference bridge function.
  • the terminals T1 to T4 are suitable for acquiring and transmitting a video and audio stream by means of, for example, cameras connected directly to each of the computers.
  • the conference bridge 2 comprises means 6 for transmitting and receiving audio and video streams and a memory 8 and a microcontroller or microprocessor 10, these elements being conventional in themselves.
  • the microprocessor 10 includes in a memory, a specific program comprising software instructions capable of making it carry out the method of the invention when they are executed by this microprocessor.
  • each of the terminals T1 to T4 transmits a video stream F1 to F4 intended for the conference bridge 2, each of these streams comprises images encoded in a conventional manner, for example according to the H263 protocol with a determined size and resolution.
  • the conference bridge 2 retransmits the incoming flows F1 to F4 by rearranging them, so as to generate an output stream ⁇ that can be decoded by the other terminals.
  • This reorganization corresponds to formatting, or formatting, of the incoming flows F1 to F4, each image of an incoming flow being placed in a specific sector of the corresponding image in the output stream ⁇ .
  • FIG. 2 diagrammatically represents an image of the output stream comprising four sectors, one for each incoming stream F1 to F4.
  • the output stream is transmitted conventionally to all terminals T1 to T4. With reference to FIG. 3, the method of the invention will now be described.
  • the method starts with a step 12 of receiving the incoming flows F1 to F4, followed by a step 14 of combining these flows to form the output stream ⁇ which is transmitted simultaneously to the four terminals during a step
  • Each of the terminals T1 to T4 then receives the flux ⁇ , decodes it and analyzes the decoded images.
  • each of the terminals is able to issue an error message relating to the restitution of the images of the video sequence to the broadcasting equipment formed by the conference bridge 2 .
  • the method comprises a step 18 of initialization of a variable UR corresponding to an emergency level of the transmission of a response message, and a step 20 of initialization of variables FGi corresponding to severity levels associated with the error messages received.
  • the conference bridge 2 After emitting images of a video sequence in step 16, the conference bridge 2 watches for the arrival of any error messages. This is done during a test step 22 to check whether all the received error messages have been processed. This step 22 is repeated as long as no error message is received.
  • the method comprises an analysis step 24 which makes it possible to determine a severity level associated with the error, during a step 26. .
  • the analysis 24 includes an evaluation of a quality level of the restitution calculated according to the percentage of image fragments or macroblocks lost, that is to say corresponding to the quotient between the number of blocks lost and the total number of blocks of the image.
  • This quality factor evaluation is noted fq and is calculated as follows:
  • the analysis also includes an evaluation of the importance of the content of the lost part to determine the level of severity.
  • the loss will be considered less important than if the lost area contained a moving object.
  • this content analysis is performed by comparing the lost area between the different previous images available in the memory 10.
  • the location of the lost part can also be taken into account to assess its importance. For example, the central area of the image is considered more important than the peripheral areas.
  • the analysis of the error message includes the evaluation of parameters related to the decoding, such as the sequence or image parameters commonly called SPS (Parameter Set Sequence) and PPS (Picture Parameter Set).
  • the analysis 24 comprises the identification of the last image transmitted without errors and the time elapsed between the current image and the latter image. The more this time is important, the more the correction will induce a degradation of the quality. In the example, this time factor is noted ft and is calculated as follows:
  • Fs represents a reaction threshold of bridge, that is to say the maximum duration stored in the memory 10. If the time between the current image and the last correct image is greater than the memory duration, the last correct image is no longer available in the memory. the memory 10 and a fixed value is assigned to Ft.
  • the analysis 24 takes into account the transmission conditions and in particular the evolution of the behavior of the transmission channel between the bridge and the terminals. In the embodiment described, the probability of a loss occurring on another channel is estimated from the loss statistics provided by the network equipment and is taken into account. The higher the probability, the longer the delay before a response is sent because the risk of another error message is high. This statistical factor is noted Fstat and is calculated as follows:
  • Pr (i) represents the percentage of losses on channel i between bridge 2 and terminal Ti
  • Nj represents the total number of terminals in conference, ie four in the example.
  • the level of gravity FGi is determined for each error message during a step 26.
  • this level of gravity is obtained by summing the values obtained for each factor with, advantageously , coefficients, denoted ⁇ , weighting the relative importance of the factors. So :
  • the method then comprises a step 28 for determining the current emergency level, denoted UR, corresponding to the sum of the severity levels FGi of all the messages received since the last transmission. reply message.
  • This level of urgency corresponds to a quantification of the overall urgency of a response to the various error messages received.
  • the method then comprises a decision step 30 of returning one or more response messages to the error messages received since the transmission of the last response message.
  • this decision is a comparison of the emergency level with the reaction threshold noted Fs.
  • step 30 results in the decision that no correction is to be sent at this time, the method returns directly to step 20 of initializing FGi variables.
  • the method detects that error messages are waiting for response and the next steps 24 to 28 are repeated.
  • the evolution of certain factors leads to the calculation of a new emergency level UR which is compared again with the reaction threshold Fs.
  • the emergency level UR reaches the reaction threshold, it is decided to send a response message.
  • the method of the invention then continues with a step 32 of determining one or more error messages.
  • FIG. 4A shows the loss P1 occurring between the bridge and the terminal T1, relative to the upper part of an image identified as the number 9 image of the stream F1 emitted by the terminal T1, the last correct image being the image 8.
  • This loss P1 relates to 20 macroblocks out of the 100 that form the image.
  • FIG. 4B shows the loss P2 occurring between the bridge and the terminal T2, relating to the lower zone of the image 11 of the flux F2, the last correct image being the image 10.
  • This loss P2 relates to 30 macroblocks on the 100 that make up the image.
  • the memory 10 has, in the example, a capacity of 10 images.
  • the following table shows the evolution of UR over time.
  • the indices 1 and 2 of the factors fq, ft and fstat as well as the level of gravity FG respectively correspond to the losses P1 and P2.
  • step 32 of determining response messages Different solutions are possible for the implementation of step 32 of determining response messages.
  • this step
  • the determination 32 includes a grouping 34 of the various error messages to reduce the number of response messages with respect to the number of error messages.
  • the various corrections are combined during a step 36, so as to provide different error messages with a combined response.
  • An example of a correction image transmitted in a combined response message following the reception of losses P1 and P2 is shown with reference to FIG.
  • the upper and lower parts corresponding to the lost areas are coded intra, that is to say without reference to the previous images while the central part is normally coded inter with reference to previous images.
  • the conference bridge responds simultaneously to each of the error messages transmitted following the losses P1 and P2.
  • the error messages are analyzed in order to provide a correction common to all during a step 38. For example, when several successive error messages relate to the same image or part of image badly restored by several terminals a single response message is transmitted to all terminals.
  • the grouping step 34 also includes a selection of error messages to which no response is provided. In particular, when error messages relate to images prior to the transmission of a fully intra-coded image, it is no longer necessary to respond to them. Alternatively, when several error messages relate to successive images, only the last error message will be selected to receive a response message.
  • the step 32 of determining a response message comprises a step 42 of formatting the response message, that is to say formatting of the correction image.
  • the four incoming streams are formatted in a step 44 to form the output stream.
  • the loss P1 relates to both an image of the incoming flow F1 and an image of the incoming flow F2.
  • the conference bridge must then identify in the incoming flows F1 to F4, the correction images corresponding to these losses and reformat them to integrate them in the response message.
  • the response message will then be a correction image in which correction images from incoming flows F1 and F2 are placed in their respective sectors.
  • the formatting step 42 also comprises the coding of the correction image with a view to its transmission during a step 46.
  • the correction image is encoded inter with respect to this image in order to obtain a better reproduction.
  • the correction image emitted in response to the losses P1 and P2 has a central portion encoded inter with respect to the image 8, the last image correctly received by all the terminals.
  • the method comprises a step 48 of transmitting the correction image. As indicated above, this transmission can be made by a specific message or the correction image is sent instead of an image of the output stream. In the example, the correction image replaces the image 14 of the output stream.
  • step 18 of initializing the variable UR the method resumes for the next error messages.
  • the use of the time factor for the calculation of the severity level and therefore the level of urgency makes it possible to determine a maximum response time. Indeed, this factor increases with the emission of each new image so that, according to the weighting coefficient associated with it, it is possible to define a maximum time between the reception of an error message and the emission of an reply message. For example, this maximum time is selected equal to the length of the buffer of the conference bridge * 2 so that it has locally necessary corrections of the images.
  • the value Fs corresponding to the reaction threshold of the bridge is assigned to the time factor when an error message relates to an image that is no longer in memory. The weighting coefficient associated with the time factor being equal to 1, as soon as such an error message is received, a response will be provided.
  • the broadcast equipment includes a large memory and is adapted to decode the incoming video streams, memorize them in decoded form in its memory and then recode them to the terminals.
  • the broadcast equipment thus becomes in a way the transmitter of the content from the point of view of the decoding terminals.
  • the method comprises a step of storing, by the broadcasting equipment, a decoded version of the images transmitted in the output stream and the images or parts of correction images are derived from the images. stored by broadcast equipment.
  • the conference bridge transmits a correction message by coding the current image relative to to the last image received without error by all the terminals.
  • this single correction message will allow all terminals to resume the course of the video sequence.
  • such an embodiment allows the transmission of a single response message comprising the correction image 14 coded with respect to the image number 8 of the sequence, this image number 8 has been received correctly by all terminals.
  • the broadcast equipment has only a limited memory and must send requests to each of the content transmitters to obtain the images or parts of images forming the correction messages.
  • the invention makes it possible to finely analyze the error messages on the return channel and to quantify their severity in order to decide on their processing.
  • This quantization furthermore makes it possible to optimize the response messages by filtering the messages rendered useless by previous processing, by calculating a maximum reaction time according to a plurality of criteria for delaying the response to an error message, by prioritizing the sending of response messages, depending on the severity of the loss or the degradation of quality or other factors.
  • the method comprises a step of transmitting a request for correction images by the equipment of broadcasting to one or more image transmitters, for receiving back said correction images to be included in the one or more response messages.
  • the broadcast equipment is a relay of the broadcast chain.
  • the invention also makes it possible to aggregate several return messages or else to put the message of return in shape according to the formation of the established transmission.
  • said grouping comprises aggregating at least two corrections to be made to different error messages in order to form a combined response message. In a variant, said grouping comprises determining a correction common to at least two error messages in order to form a common response message.
  • said grouping comprises the selection of error messages to which no response will be made.
  • said analysis comprises an identification, in the various error messages, of images or parts of images that are not or badly rendered, and said step of determining response messages comprises the determination of a common response message for the different error messages related to the same images or parts of images.
  • the invention can also use any combination of the variants described.
  • the invention is not limited to a multicast system such as that described but can be implemented in other environments such as a point-to-point broadcast when several error messages on the return channel. are received successively from the same terminal or in any other type of video broadcast system.
  • the invention can be implemented by means of a computer program as described or other means such as electronic boards, programmed components or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne notamment un procédé de diffusion d'images d'une séquence vidéo, le procédé comprenant, au niveau d'un équipement de diffusion (2), les étapes suivantes : inclure (14) des images dans un flux de sortie pour une transmission à au moins un équipement de restitution; recevoir en retour dudit équipement de restitution des messages d'erreur relatifs à la restitution des images de la séquence vidéo; analyser (24) les messages d'erreur pour identifier des images ou parties d'images non ou mal restituées; déterminer (32) des messages de réponse incluant des images ou parties d'images de correction. Il est caractérisé en ce qu'il comprend en outre : une étape (26) de détermination d'un niveau de gravité (FGi) pour chaque message d'erreur en fonction de l'analyse réalisée; et une étape (30) de décision de renvoyer un message de réponse à un message d'erreur en fonction du niveau de gravité de ce message d'erreur.

Description

UTILISATION D'UN CANAL DE RETOUR POUR LA DIFFUSION D'IMAGES
La présente invention concerne les techniques de diffusion d'images de séquence vidéo. Elle s'applique à des situations où une séquence d'images est transmise vers un ou plusieurs décodeurs qui utilisent un canal de retour pour fournir une information indiquant explicitement ou implicitement si les images du signal vidéo ont été convenablement restituées.
Beaucoup de codeurs vidéo supportent un mode de codage inter images (interframe coding si après codage en inter), dans lequel l'image courante est codée par rapport à une ou plusieurs images précédentes.
Chaque image peut aussi être codée sans référence aux autres, c'est- à-dire ce que l'on appelle le codage en intra (intra frame coding). Pour un débit de transmission donné, le codage en intra procure une moins bonne qualité vidéo que le codage en inter puisqu'il ne tire pas parti des corrélations temporelles entre les images successives de la séquence vidéo.
Couramment, une portion de séquence vidéo a sa première image codée en intra puis les images suivantes codées en inter.
Un problème du codage en inter est son comportement en présence d'erreur de transmission ou de pertes de paquets sur le canal de transmission. La dégradation ou la perte d'une image se propage sur les images suivantes jusqu'à ce que survienne une nouvelle image codée en intra. II est courant que le mode de transmission du signal engendre des pertes totales ou partielles de certaines images. De telles pertes résultent par exemple de la perte ou l'arrivée tardive de certains paquets de données lorsque la transmission a lieu sur un réseau de paquets sans garanties de délivrance tel qu'un réseau IP (Internet Protocol). Des pertes peuvent également résulter d'erreurs introduites par le canal de transmission au-delà des capacités de correction des codes correcteurs employés.
Dans un environnement sujet à des pertes diverses de signal, il est nécessaire de fournir des mécanismes pour améliorer la qualité de l'image au niveau du décodeur. L'un de ces mécanismes est l'utilisation d'un canal de retour, du décodeur vers le codeur sur lequel le décodeur informe le codeur qu'il a perdu tout ou partie de certaines images. Dans certains cas, ce sont les images bien reconstruites que le décodeur indique au codeur sur le canal de " retour, de sorte que le codeur peut en déduire quelles images ont éventuellement été perdues.
En réponse à chacun de ces messages d'erreur, la plupart des codeurs renvoient systématiquement des images de correction codées en intra, c'est-à-dire sans référence aux images précédentes, ce qui permet de rafraîchir l'affichage et de corriger les erreurs dues aux pertes de transmission. Les images de correction sont transmises dans des messages de réponse lors d'émissions spécifiques ou par insertion dans le flux de la séquence vidéo en remplacement d'autres images.
Une telle utilisation du canal de retour présente des inconvénients importants lorsque plusieurs messages d'erreur sont émis sur le canal de retour. Le principe actuel aboutit à ce qu'une réponse soit apportée à chacun de ces messages. Par exemple, si une image est perdue, le décodeur est susceptible d'envoyer un message d'erreur sur le canal de retour pour chacune des images suivantes codées en inter avec une référence à l'image perdue. Dans ce cas, le codeur est amené à transmettre plusieurs messages de réponse comprenant chacun une image de correction codée en intra. Cela aboutit à une qualité de la restitution diminuée et à une occupation importante de la bande passante.
De même, dans certains modes de réalisation de multi diffusions, tels que les systèmes de ponts de conférence ou autres dans lesquels plusieurs décodeurs reçoivent les mêmes informations, il arrive que chacun des décodeurs émette un message d'erreur sur un canal de retour concernant une même image perdue et que le codeur réponde successivement à chacun de ces messages retransmettant plusieurs fois la même image de correction. Ainsi, l'utilisation faite des canaux de retour n'est pas optimum en particulier lorsque plusieurs messages sont transmis sur le canal de retour.
Un des avantages de la présente invention est d'améliorer l'utilisation du canal de retour. L'invention propose ainsi un procédé de diffusion d'images d'une séquence vidéo, le procédé comprenant, au niveau d'un équipement de diffusion, les étapes suivantes :
- inclure des images dans un flux de sortie pour une transmission à au moins un équipement de restitution ; - recevoir en retour dudit équipement de restitution des messages d'erreur relatifs à la restitution des images de la séquence vidéo ;
- analyser les messages d'erreur pour identifier des images ou parties d'images non ou mal restituées ;
- déterminer des messages de réponse incluant des images ou parties d'images de correction, caractérisé en ce que le procédé comprend en outre :
- une étape de détermination d'un niveau de gravité pour chaque message d'erreur en fonction de l'analyse réalisée ; et
- une étape de décision de renvoyer un message de réponse à un message d'erreur en fonction du niveau de gravité de ce message d'erreur.
En conséquence, le procédé de l'invention comporte une analyse des messages d'erreur et la quantification de la gravité de ces messages afin de pouvoir décider s'il convient d'y répondre. Cette quantification permet d'optimiser l'utilisation du canal de retour par l'optimisation des messages de réponse.
Dans un mode de réalisation particulier, ladite analyse comprend la détermination d'au moins un facteur issu du groupe suivant : - un niveau de qualité de restitution prenant en compte l'erreur ; - une évaluation de l'importance du contenu des images ou parties d'images non ou mal restituées ;
- des paramètres de décodage ;
- une évaluation des conditions de transmission ; et - une estimation de la durée entre l'image courante et la dernière image transmise sans erreur, ledit facteur étant utilisé pour déterminer le niveau de gravité associé à un message d'erreur.
Avantageusement, ledit niveau de gravité d'au moins un message d'erreur est une durée maximale d'attente avant l'émission d'un message de réponse. Ceci permet d'assurer l'émission d'un message de réponse pour certains messages d'erreur.
En variante, le procédé comprend la détermination d'un niveau d'urgence à partir des niveaux de gravité associés aux messages d'erreur reçus depuis l'émission du dernier message de réponse et ladite étape de décision est réalisée en fonction de ce niveau d'urgence. Ce mode de réalisation présente l'avantage de déterminer un quantificateur d'urgence à partir de plusieurs messages d'erreur.
Avantageusement, ladite étape de détermination de messages de réponse comprend un regroupement de messages de réponse. Ceci permet de réduire le nombre de messages de réponse par rapport au nombre de messages d'erreur.
Dans un mode de réalisation particulier, ladite analyse comprend une identification d'une dernière image transmise sans erreur et ladite étape de détermination d'un message de réponse comprend le codage d'une image de correction par rapport à ladite dernière image transmise sans erreur. Ce mode de réalisation permet d'éviter l'émission d'une image codée en intra afin d'améliorer la qualité de la restitution.
Alternativement, ladite étape d'inclusion des images dans un flux comprend le formatage de plusieurs flux entrants pour former ledit flux de sortie, ladite étape d'analyse des messages d'erreur comprend l'identification des images non ou mal restituées dans lesdits flux entrants et ladite étape de détermination d'un message de réponse comprend la modification d'images de correction issues desdits flux entrants pour les rendre conformes au format du flux de sortie.
Par ailleurs, l'invention porte également sur un programme d'ordinateur ou un équipement de diffusion mettant en oeuvre le procédé auquel il est fait référence précédemment ainsi qu'un système de diffusion d'images utilisant un tel équipement de diffusion. L'invention sera mieux comprise à la lumière de la description et des dessins sur lesquels :
- la figure 1 est un schéma synoptique d'un système de diffusion de séquences vidéo ;
- la figure 2 est une représentation symbolique d'une image vidéo combinée ;
- la figure 3 représente l'organigramme du procédé de l'invention ;
- les figures 4A et 4B représentent symboliquement des pertes d'images ;
- la figure 5 représente une image de correction ; et - la figure 6 représente symboliquement une perte d'image.
Le système représenté sur la figure 1 comporte plusieurs terminaux marqués T1 à T4 et formés, par exemple, d'ordinateurs personnels. Ces terminaux sont reliés par un réseau de télécommunications 4 de type IP, à un équipement de diffusion 2 qui, dans l'exemple, est un serveur de télécommunications assurant la fonction de pont de conférence.
Les terminaux T1 à T4 sont adaptés pour l'acquisition et la transmission d'un flux vidéo et audio au moyen, par exemple, de caméras raccordées directement à chacun des ordinateurs. Le pont de conférence 2 comporte des moyens 6 d'émission et de réception de flux audio et vidéo ainsi qu'une mémoire 8 et un microcontrôleur ou microprocesseur 10, ces éléments étant classiques en eux-mêmes.
Le microprocesseur 10 comporte dans une mémoire, un programme spécifique comprenant des instructions logicielles aptes à lui faire réaliser le procédé de l'invention lorsqu'elles sont exécutées par ce microprocesseur.
Lors d'une phase initiale de configuration, il est convenu, entre le pont de conférence et les différents terminaux, de diffuser une image combinée vers les terminaux et d'utiliser un canal de retour pour la détection d'erreurs de transmission.
Plus précisément, chacun des terminaux T1 à T4 émet un flux vidéo F1 à F4 destiné au pont de conférence 2, chacun de ces flux comprend des images codées de manière classique, par exemple selon le protocole H263 avec une taille et une résolution déterminées. Dans la configuration décrite, le pont de conférence 2 retransmet les flux entrants F1 à F4 en les réorganisant, de manière à générer un flux de sortie φ décodable par les autres terminaux. Cette réorganisation correspond à une mise en forme, ou formatage, des flux entrants F1 à F4, chaque image d'un flux entrant étant placée dans un secteur spécifique de l'image correspondante dans le flux de sortie φ. La figure 2 représente schématiquement une image du flux de sortie comportant quatre secteurs, un pour chaque flux entrant F1 à F4.
Le flux de sortie est transmis de manière classique à tous les terminaux T1 à T4. En référence à la figure 3, on va maintenant décrire le procédé de l'invention.
Le procédé débute par une étape 12 de réception des flux entrants F1 à F4, suivie d'une étape 14 de combinaison de ces flux pour former le flux de sortie φ qui est transmis simultanément aux quatre terminaux lors d'une étape Chacun des terminaux T1 à T4 reçoit alors le flux φ, le décode et analyse les images décodées.
En cas de perte de paquets ou de détérioration de la qualité des images, chacun des terminaux est apte à émettre un message d'erreur relatif à la restitution des images de la séquence vidéo vers l'équipement de diffusion formé par le pont de conférence 2.
Dans l'exemple, le procédé comporte une étape 18 d'initialisation d'une variable UR correspondant à un niveau d'urgence de l'émission d'un message de réponse, et une étape 20 d'initialisation de variables FGi correspondant à des niveaux de gravité associés aux messages d'erreur reçus.
Après avoir émis des images d'une séquence vidéo lors de l'étape 16, le pont de conférence 2 guette l'arrivée d'éventuels messages d'erreur. Ceci est réalisé lors d'une étape 22 de test pour vérifier si tous les messages d'erreur reçus ont été traités. Cette étape 22 est répétée tant qu'aucun message d'erreur n'est reçu.
Ultérieurement, un ou plusieurs messages d'erreur est reçu par le pont de conférence 2.
Suite à la détection de la réception d'une première erreur lors de l'étape 22, le procédé comprend une étape 24 d'analyse qui permet la détermination d'un niveau de gravité associé à l'erreur, lors d'une étape 26.
Dans l'exemple, l'analyse 24 comprend une évaluation d'un niveau de qualité de la restitution calculé en fonction du pourcentage de fragments d'image ou macroblocs perdus, c'est-à-dire correspondants au quotient entre le nombre de blocs perdus et le nombre de blocs total de l'image. Cette évaluation du facteur qualité est notée fq et est calculée de la manière suivante :
Figure imgf000009_0001
Où Np est le nombre de blocs perdus, et Nt le nombre de blocs total de l'image. Avantageusement, l'analyse comprend également une évaluation de l'importance du contenu de la partie perdue pour déterminer le niveau de gravité. Ainsi, si la partie perdue correspond à un fond uniforme, la perte sera considérée comme moins importante que si la zone perdue contenait un objet en mouvement. Par exemple, cette analyse du contenu est réalisée par comparaison de la zone perdue entre les différentes images précédentes disponibles dans la mémoire 10.
De même, la localisation de la partie perdue peut également être prise en compte pour évaluer son importance. Par exemple, la zone centrale de l'image est considérée comme plus importante que les zones périphériques.
En variante, l'analyse du message d'erreur comprend l'évaluation de paramètres liés au décodage comme les paramètres de séquence ou d'image couramment appelés SPS (Séquence Parameter Set) et PPS (Picture Parameter Set). Alternativement, l'analyse 24 comprend l'identification de la dernière image transmise sans erreurs et du temps écoulé entre l'image courante et cette dernière image. Plus ce temps est important, plus la correction va induire une dégradation de la qualité. Dans l'exemple, ce facteur temps est noté ft et est calculé de la manière suivante :
Figure imgf000010_0001
Dans ces équations, lc est le numéro de l'image courante, Idic est le numéro de la dernière image correcte et Nm représente le nombre d'images dans la mémoire 10 du pont 2. Fs représente un seuil de réaction du pont, c'est-à-dire la durée maximale stockée dans la mémoire 10. Si la durée séparant l'image courante de la dernière image correcte est supérieure à la durée de la mémoire, la dernière image correcte n'est plus disponible dans la mémoire 10 et une valeur fixe est attribuée à Ft. Avantageusement, l'analyse 24 prend en compte les conditions de transmission et notamment l'évolution du comportement du canal de transmission entre le pont et les terminaux. Dans le mode de réalisation décrit, la probabilité qu'une perte intervienne sur un autre canal est estimée à partir des statistiques de perte fournies par les équipements du réseau et est prise en compte. Plus cette probabilité est élevée, plus la durée de la temporisation avant l'émission d'une réponse est importante car le risque qu'un autre message d'erreur survienne est élevé. Ce facteur statistique est noté Fstat et est calculé de la manière suivante :
Figure imgf000011_0001
Où Pr(i) représente le pourcentage de pertes sur le canal i entre le pont 2 et le terminal Ti, et Nj représente le nombre total de terminaux en conférence, soit quatre dans l'exemple.
En fonction de tous ces facteurs, le niveau de gravité FGi est déterminé pour chaque message d'erreur au cours d'une étape 26. Dans l'exemple, ce niveau de gravité est obtenu en sommant les valeurs obtenues pour chaque facteur avec, avantageusement, des coefficients, notés λ, pondérantj'importance relative des facteurs. Ainsi :
FGi = fiq + λit • fit + Mstat • fistat Le procédé comprend ensuite une étape 28 de détermination du niveau d'urgence courant, noté UR, correspondant à la somme des niveaux de gravité FGi de tous les messages reçus depuis l'émission du dernier message de réponse.
Ce niveau d'urgence correspond à une quantification de l'urgence globale d'une réponse aux différents messages d'erreur reçus.
Le procédé comporte ensuite une étape 30 de décision de renvoyer un ou plusieurs messages de réponse aux messages d'erreur reçus depuis l'émission du dernier message de réponse. Dans le mode de réalisation décrit, cette décision est une comparaison du niveau d'urgence avec le seuil de réaction noté Fs.
Si l'étape 30 aboutit à la décision qu'aucune correction ne doit être envoyée pour l'instant, le procédé retourne directement à l'étape 20 d'initialisation des variables FGi.
Lors de l'étape 22 qui suit, le procédé détecte que des messages d'erreur sont en attente de réponse et les étapes suivantes 24 à 28 sont répétées. L'évolution de certains facteurs entraîne le calcul d'un nouveau niveau d'urgence UR qui est comparé à nouveau au seuil de réaction Fs. Lorsque le niveau d'urgence UR atteint le seuil de réaction, il est décidé d'envoyer un message de réponse. Le procédé de l'invention continue alors par une étape 32 de détermination d'un ou plusieurs messages d'erreur.
Par exemple, on considère les pertes P1 et P2 survenues entre le pont et les terminaux T1 et T2 telles que représentées en référence aux figures 4A et 4B. Sur la figure 4A est représentée la perte P1 survenue entre le pont et le terminal T1 , relative à la partie supérieure d'une image identifiée comme étant l'image numéro 9 du flux F1 émis par le terminal T1 , la dernière image correcte étant l'image 8. Cette perte P1 porte sur 20 macroblocs sur les 100 qui forment l'image. Sur la figure 4B est représentée la perte P2 survenue entre le pont et le terminal T2, relative à la zone inférieure de l'image 11 du flux F2, la dernière image correcte étant l'image 10. Cette perte P2 porte sur 30 macroblocs sur les 100 qui forment l'image.
On admettra, pour la suite que le seuil de réaction Fs est fixé à 1 et que les facteurs λ sont fixés à 1. La mémoire 10 a, dans l'exemple, une capacité de 10 images. Le tableau suivant montre l'évolution de UR au cours du temps. Les indices 1 et 2 des facteurs fq, ft et fstat ainsi que du niveau de gravité FG correspondent respectivement aux perte P1 et P2.
Figure imgf000013_0001
Figure imgf000014_0001
Ainsi, dans cet exemple, il est décidé l'envoi d'un message de réponse lors de l'émission de l'image 14, suite à la réception des pertes P1 et P2.
Différentes solutions sont possibles pour la mise en œuvre de l'étape 32 de détermination de messages de réponse. Avantageusement, cette étape
32 de détermination comprend un regroupement 34 des différents messages d'erreur afin de réduire le nombre de messages de réponse par rapport au nombre de messages d'erreur.
Avantageusement, les différentes corrections sont combinées lors d'une étape 36, de manière à apporter à différents messages d'erreur une réponse combinée. Un exemple d'une image de correction émise dans un message de réponse combiné suite à la réception des pertes P1 et P2 est représenté en référence à la figure 5.
Sur cette figure, les parties supérieures et inférieures correspondant aux zones perdues sont codées en intra, c'est-à-dire sans référence aux images précédentes tandis que la partie centrale est codée normalement en inter avec référence aux images précédentes. Ainsi, en remplaçant l'image 14 dans le flux de sortie par cette image 14 correspondant à l'image de correction, le pont de conférence répond simultanément à chacun des messages d'erreur émis suite aux pertes P1 et P2.
Alternativement, les messages d'erreur sont analysés afin d'apporter une correction commune à tous lors d'une étape 38. Par exemple, lorsque plusieurs messages d'erreur successifs portent sur une même image ou partie d'image mal restituée par plusieurs terminaux, un unique message de réponse est transmis à tous les terminaux. Par ailleurs, dans l'exemple, l'étape 34 de regroupement comprend aussi une sélection 40 de messages d'erreur auxquels aucune réponse n'est apportée. En particulier, lorsque des messages d'erreur portent sur des images antérieures à l'émission d'une image entièrement codée en intra, il n'est plus nécessaire d'y répondre. Alternativement, lorsque plusieurs messages d'erreur portent sur des images successives, seul le dernier message d'erreur sera sélectionné pour recevoir un message de réponse.
Enfin, l'étape 32 de détermination d'un message de réponse comprend une étape 42 de mise en forme du message de réponse, c'est-à-dire de mise en forme de l'image de correction.
Dans l'exemple, les quatre flux entrants sont formatés lors d'une étape 44 pour former le flux de sortie. Lorsqu'un message d'erreur portant sur une image du flux de sortie doit recevoir une réponse, il convient d'identifier les images de correction dans les flux entrants. Comme représenté en référence à la figure 6, la perte P1 porte à la fois sur une image du flux entrant F1 et sur une image du flux entrant F2.
Le pont de conférence doit alors identifier dans les flux entrants F1 à F4, les images de correction correspondantes à ces pertes et les reformater pour les intégrer dans le message de réponse. Le message de réponse sera alors une image de correction dans laquelle les images de correction issues de flux entrants F1 et F2 sont placées dans leurs secteurs respectifs.
Avantageusement, l'étape 42 de mise en forme comprend aussi le codage de l'image de correction en vue de sa transmission lors d'une étape 46. Dans le cas où l'analyse des messages d'erreur permet de déterminer la dernière image correctement reçue par tous les terminaux, l'image de correction est codée en inter par rapport à cette image afin d'obtenir une meilleur restitution. Dans l'exemple décrit en référence à la figure 5, l'image de correction émise en réponse aux pertes P1 et P2 comporte une partie centrale codée en inter par rapport à l'image 8, dernière image correctement reçue par tous les terminaux. Enfin, le procédé comprend une étape 48 d'émission de l'image de correction. Comme indiqué précédemment, cette émission peut être faite par un message spécifique ou bien l'image de correction est émise à la place d'une image du flux de sortie. Dans l'exemple, l'image de correction remplace l'image 14 du flux de sortie.
Par la suite, le procédé retourne à l'étape 18 d'initialisation de la variable UR et le procédé reprend pour les prochains messages d'erreur.
Il est à noter que, dans le mode de réalisation décrit, l'utilisation du facteur temps pour le calcul du niveau de gravité et donc du niveau d'urgence, permet de déterminer un temps maximal de réponse. En effet, ce facteur augmente à l'émission de chaque nouvelle image de sorte que, selon le coefficient de pondération associé, il est possible de définir un temps maximal entre la réception d'un message d'erreur et l'émission d'un message de réponse. Par exemple, ce temps maximal est choisi égal à la durée de la mémoire tampon du pont de* conférence 2 afin que celui-ci dispose localement des images de corrections nécessaires. Dans le mode de réalisation décrit, la valeur Fs correspondant au seuil de réaction du pont est attribué au facteur temps lorsqu'un message d'erreur porte sur une image qui n'est plus en mémoire. Le coefficient de pondération associé au facteur temps étant égal à 1 , dès qu'un tel message d'erreur est reçu, une réponse lui sera apportée.
Bien entendu, d'autres modes de réalisation sont également possibles.
Dans une première variante, l'équipement de diffusion comporte une mémoire importante et est adaptée pour décoder les flux de vidéo entrants, les mémoriser sous forme décodée dans sa mémoire puis, les recoder vers les terminaux. L'équipement de diffusion devient ainsi en quelque sorte l'émetteur du contenu du point de vue des terminaux de décodage.
Dans un tel mode de réalisation, les possibilités de codage de l'image de correction par l'équipement de diffusion sont très importantes puisqu'une partie importante des images précédentes est disponible. Selon cette variante de l'invention, le procédé comprend une étape de mémorisation, par l'équipement de diffusion, d'une version décodée des images transmises dans le flux de sortie et les images ou parties d'images de correction sont issues des images mémorisées par l'équipement de diffusion. Ainsi, lors de la réception de plusieurs messages d'erreur, l'analyse permet de déterminer quelle est la dernière image transmise sans erreur pour chacun des terminaux puis, le pont de conférence émet un message de correction en codant l'image courante par rapport à la dernière image reçue sans erreur par l'ensemble des terminaux. Ainsi, ce seul message de correction permettra à tous les terminaux de reprendre le cours de la séquence vidéo.
Par rapport à l'exemple décrit précédemment, avec les pertes P1 et P2, un tel mode de réalisation permet l'émission d'un unique message de réponse comportant l'image de correction 14 codée par rapport à l'image numéro 8 de la séquence, cette image numéro 8 ayant été reçue correctement par tous les terminaux.
Dans encore une autre variante, l'équipement de diffusion ne dispose que d'une mémoire limitée et doit émettre des requêtes vers chacun des émetteurs de contenu pour obtenir les images ou parties d'images formant les messages de correction.
Ainsi, l'invention permet d'analyser finement les messages d'erreur sur le canal de retour et de quantifier leur gravité pour décider de leur traitement. Cette quantification permet en outre d'optimiser les messages de réponse en filtrant les messages rendus inutiles par un traitement antérieur, en calculant un temps maximal de réaction en fonction d'une pluralité de critères pour retarder la réponse à un message d'erreur, en appliquant des priorités sur l'envoi des messages de réponse, en fonction de la gravité de la perte ou encore de la dégradation de la qualité ou en fonction d'encore d'autres facteurs.
Dans cette alternative, le procédé comprend une étape de transmission d'une requête d'images de correction par l'équipement de diffusion à un ou plusieurs émetteurs d'images, pour recevoir en retour lesdites images de corrections à inclure dans le ou lesdits messages de réponse. Dans ce cas, l'équipement de diffusion est un relais de la chaîne de diffusion.
L'invention permet également d'agréger plusieurs messages de retour ou encore de mettre le message de retour en forme en fonction du formant de la transmission établie.
Dans un mode de réalisation particulier, ledit regroupement comprend l'agrégation d'au moins deux corrections à apporter à différents messages d'erreur afin de former un message de réponse combiné. En variante, ledit regroupement comprend la détermination d'une correction commune à au moins deux messages d'erreur afin de former un message de réponse commun.
Alternativement, ledit regroupement comprend la sélection de messages d'erreur auxquels aucune réponse ne sera apportée. Plus particulièrement, ladite analyse comprend une identification, dans les différents messages d'erreur, des images ou parties d'images non ou mal restituées et ladite étape de détermination de messages de réponse comprend la détermination d'un message de réponse commun pour les différents messages d'erreur relatifs aux mêmes images ou parties d'images. Ce mode de réalisation permet de n'émettre qu'un message de réponse lorsque plusieurs messages d'erreur portant sur une même image sont émis par plusieurs équipements de restitution.
En outre, l'invention peut également utiliser n'importe quelle combinaison des variantes décrites. Bien entendu, l'invention n'est pas limitée à un système multi diffusion tel que celui décrit mais peut être mise en œuvre dans d'autres environnements tels qu'une diffusion point à point lorsque plusieurs messages d'erreur sur le canal de retour sont reçus successivement en provenance du même terminal ou encore dans tout autre type de système de diffusion de séquences vidéo. Par ailleurs, l'invention peut être mise en œuvre au moyen d'un programme d'ordinateur comme cela est décrit ou bien d'autres moyens tels que des cartes électroniques, des composants programmés ou autre.

Claims

REVENDICATIONS
1. Procédé de diffusion d'images d'une séquence vidéo, le procédé comprenant, au niveau d'un équipement de diffusion (2), les étapes suivantes :
- inclure (14) des images dans un flux (φ) de sortie pour une transmission à au moins un équipement de restitution (T1-T4) ; - recevoir en retour dudit équipement de restitution des messages d'erreur (P1 , P2) relatifs à la restitution des images de la séquence vidéo ;
- analyser (24) les messages d'erreur pour identifier des images ou parties d'images non ou mal restituées ; - déterminer (32) des messages de réponse incluant des images ou parties d'images de correction, caractérisé en ce que le procédé comprend en outre :
- une étape (26) de détermination d'un niveau de gravité (FGi) pour chaque message d'erreur en fonction de l'analyse réalisée ; et - une étape (30) de décision de renvoyer un message de réponse à un message d'erreur en fonction du niveau de gravité de ce message d'erreur.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite analyse (24) comprend la détermination d'au moins un facteur issu du groupe suivant :
- un niveau de qualité de restitution (fq) prenant en compte l'erreur ;
- une évaluation de l'importance du contenu des images ou parties d'images non ou mal restituées ;
- des paramètres de décodage ;
- une évaluation (fstat) des conditions de transmission ; et
- une estimation (ft) de la durée entre l'image courante et la dernière image transmise sans erreur, ledit facteur étant utilisé pour déterminer le niveau de gravité associé à un message d'erreur.
3. Procédé selon l'une quelconque des revendications 1 à 2, caractérisé en ce que ledit niveau de gravité d'au moins un message d'erreur est une durée maximale d'attente (Fs) avant l'émission d'un message de réponse.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il comprend la détermination d'un niveau d'urgence (UR) à partir des niveaux de gravité associés aux messages d'erreur reçus depuis rémission du dernier message de réponse et en ce que ladite étape de décision est réalisée en fonction de ce niveau d'urgence.
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite étape de détermination de messages de réponse comprend un regroupement (34) de messages de réponse.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ladite analyse comprend une identification d'une dernière image transmise sans erreur et en ce que ladite étape de détermination d'un message de réponse comprend le codage (46) d'une image de correction par rapport à ladite dernière image transmise sans erreur.
7. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que ladite étape d'inclusion des images dans un flux comprend le formatage de plusieurs flux entrants pour former ledit flux de sortie, en ce que ladite étape d'analyse des messages d'erreur comprend l'identification des images non ou mal restituées dans lesdits flux entrants et en ce que ladite étape de détermination d'un message de réponse comprend la modification (44) d'images de correction issues desdits flux entrants pour les rendre conformes au format du flux de sortie.
8. Programme d'ordinateur pour équipement de diffusion d'images d'une séquence vidéo, comportant des instructions logicielles pour mettre en œuvre les étapes d'un procédé selon l'une quelconque des revendications précédentes, lors qu'il est exécuté par une calculateur dudit ordinateur.
9. Equipement de diffusion (2) d'images d'une séquence vidéo, comprenant :
- des moyens (6) d'émission d'un flux de sortie comportant des images pour une transmission à au moins un équipement de restitution ;
- des moyens (6) de réception en retour dudit équipement de restitution des messages d'erreur relatifs à la restitution des images de la séquence vidéo ;
- des moyens (10) d'analyse des messages d'erreur pour identifier des images ou parties d'images non ou mal restituées ;
- des moyens (10) de détermination de messages de réponse incluant des images ou parties d'images de correction, caractérisé en ce qu'il comprend en outre :
- des moyens (10) de détermination d'un niveau de gravité pour chaque message d'erreur en fonction de l'analyse réalisée ; et
- des moyens (10) de décision de renvoyer un message de réponse à un message d'erreur en fonction du niveau de gravité de ce message d'erreur.
10. Equipement de diffusion selon la revendication 9, caractérisé en ce qu'il comporte des moyens aptes à mettre en œuvre un procédé selon l'une quelconque des revendications 1 à 7.
11. Système de diffusion d'images d'une séquence vidéo, comportant au moins un émetteur d'images (T1-T4), un équipement de diffusion (2) vers au moins un équipement de restitution (T1-T4), caractérisé en ce que ledit équipement de diffusion est un équipement selon l'une quelconque des revendications 9 ou 10.
PCT/FR2007/051309 2006-05-29 2007-05-22 Utilisation d'un canal de retour pour la diffusion d'images WO2008043923A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/227,824 US8505060B2 (en) 2006-05-29 2007-05-22 Use of a feedback channel for image broadcasting
EP07858480A EP2025174A1 (fr) 2006-05-29 2007-05-22 Utilisation d'un canal de retour pour la diffusion d'images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0604777 2006-05-29
FR0604777A FR2901648A1 (fr) 2006-05-29 2006-05-29 Diffusion d'images utilisant un canal de retour

Publications (1)

Publication Number Publication Date
WO2008043923A1 true WO2008043923A1 (fr) 2008-04-17

Family

ID=37836859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2007/051309 WO2008043923A1 (fr) 2006-05-29 2007-05-22 Utilisation d'un canal de retour pour la diffusion d'images

Country Status (4)

Country Link
US (1) US8505060B2 (fr)
EP (1) EP2025174A1 (fr)
FR (1) FR2901648A1 (fr)
WO (1) WO2008043923A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8539286B1 (en) * 2013-02-26 2013-09-17 Roku, Inc. Method and apparatus of error reporting
US10313685B2 (en) * 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528284A (en) 1993-02-10 1996-06-18 Hitachi, Ltd. Video communication method having refresh function of coding sequence and terminal devices thereof
EP0753968A2 (fr) 1995-07-14 1997-01-15 Oki Electric Industry Co., Ltd. Système de transmission d'images en mouvement et appareil de transmission d'images en mouvement
WO2002035847A2 (fr) * 2000-10-27 2002-05-02 Polycom Israel Ltd. Appareil et procede d'amelioration de la qualite de communications video sur un reseau de commutation par paquets
EP1560434A2 (fr) * 2004-01-20 2005-08-03 Polycom, Inc. Procédé et dispositif permettant de mélanger des données vidéo compressées.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6289054B1 (en) * 1998-05-15 2001-09-11 North Carolina University Method and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network
US6636981B1 (en) * 2000-01-06 2003-10-21 International Business Machines Corporation Method and system for end-to-end problem determination and fault isolation for storage area networks
JP3617967B2 (ja) * 2001-09-28 2005-02-09 松下電器産業株式会社 ヘッダ圧縮パケット受信装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528284A (en) 1993-02-10 1996-06-18 Hitachi, Ltd. Video communication method having refresh function of coding sequence and terminal devices thereof
EP0753968A2 (fr) 1995-07-14 1997-01-15 Oki Electric Industry Co., Ltd. Système de transmission d'images en mouvement et appareil de transmission d'images en mouvement
WO2002035847A2 (fr) * 2000-10-27 2002-05-02 Polycom Israel Ltd. Appareil et procede d'amelioration de la qualite de communications video sur un reseau de commutation par paquets
EP1560434A2 (fr) * 2004-01-20 2005-08-03 Polycom, Inc. Procédé et dispositif permettant de mélanger des données vidéo compressées.

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADAMSON NRL C BORMANN UNIVERSITAET BREMEN TZI M HANDLEY UCL J MACKER NRL B: "Multicast Negative-Acknowledgment (NACK) Building Blocks", IETF STANDARD-WORKING-DRAFT, INTERNET ENGINEERING TASK FORCE, IETF, CH, vol. rmt, no. 1, March 2006 (2006-03-01), XP015044069, ISSN: 0000-0004 *
ECKEHARD STEINBACH ET AL: "Standard Compatible Extension of H.263 for Robust Video Transmission in Mobile Environments", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 7, no. 6, December 1997 (1997-12-01), XP011014436, ISSN: 1051-8215 *
EVEN POLYCOM R: "RTP Payload Format for H.261 Video Streams", IETF STANDARD-WORKING-DRAFT, INTERNET ENGINEERING TASK FORCE, IETF, CH, vol. avt, no. 13, 23 January 2006 (2006-01-23), XP015043553, ISSN: 0000-0004 *
See also references of EP2025174A1

Also Published As

Publication number Publication date
FR2901648A1 (fr) 2007-11-30
EP2025174A1 (fr) 2009-02-18
US20090138933A1 (en) 2009-05-28
US8505060B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
WO2006075061A1 (fr) Procede et dispositif de codage video
EP2510701B1 (fr) Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
EP2332335A1 (fr) Systeme et procede de determination de parametres de codage
FR2916600A1 (fr) Procede et dispositif de transmission de donnees
FR2873465A1 (fr) Multiplexeur statistique ayant des fonctions de protection vis a vis de messages exterieurs generes par des elements de systemes redondants
FR3098072A1 (fr) Procédé de traitement d’un ensemble d’images d’une séquence vidéo
FR2944938A1 (fr) Procede et dispositif de correction d'erreurs.
WO2008043923A1 (fr) Utilisation d'un canal de retour pour la diffusion d'images
WO2006075070A1 (fr) Procede et dispositif de codage video
EP1972156B1 (fr) Codage et decodage adaptatifs
EP1302078B1 (fr) Procede et dispositif de codage d'un flux d'images video
EP3840335B1 (fr) Réception d'un contenu numérique en mode truque
EP1172958A1 (fr) Système de communication, émetteur, mèthode de protection contre des erreurs de transmission
EP1241894A1 (fr) Procédé de codage d'images numériques basé sur la dissimulation d'erreurs
FR2942095A1 (fr) Procede et dispositif d'identification de pertes de donnees video
WO2014096638A1 (fr) Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif
WO2007003836A2 (fr) Procede et dispositif de codage video
EP1289307B1 (fr) Méthode de codage vidéo
WO2003053065A2 (fr) Procede et dispositif de compression de donnees video codees par paquets video
EP2160837B1 (fr) Sélection de fonctions de décodage distribuée au décodeur
FR2728129A1 (fr) Dispositif de multiplexage numerique de programmes video
EP2075960A1 (fr) Système et procédé d'adaptation des flux de contenu vidéo à la variabilité des conditions de transmission d'un réseau radiotéléphonique et à la dynamique du contenu de la source vidéo
FR2930106A1 (fr) Procede de transmission sur un reseau de communication d'une sequence d'images pre-encodees.
FR2964520A1 (fr) Procede de detection d'erreurs lors de la diffusion de contenu dans un reseau de communication
FR2906102A1 (fr) Procede et dispositif de controle d'erreur de donnees dans un flux video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07858480

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007858480

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12227824

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE