WO2008047054A2 - Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias - Google Patents

Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias Download PDF

Info

Publication number
WO2008047054A2
WO2008047054A2 PCT/FR2007/052192 FR2007052192W WO2008047054A2 WO 2008047054 A2 WO2008047054 A2 WO 2008047054A2 FR 2007052192 W FR2007052192 W FR 2007052192W WO 2008047054 A2 WO2008047054 A2 WO 2008047054A2
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia
scene
video
data stream
instruction
Prior art date
Application number
PCT/FR2007/052192
Other languages
English (en)
Other versions
WO2008047054A3 (fr
Inventor
Sylvain Devillers
Renaud Cazoulat
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Publication of WO2008047054A2 publication Critical patent/WO2008047054A2/fr
Publication of WO2008047054A3 publication Critical patent/WO2008047054A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Definitions

  • the present invention relates to the field of multimedia applications, in particular multimedia applications for thin clients such as mobile phones and set-top boxes, and more particularly to methods and devices for optimizing the resources required for the presentation of multimedia content.
  • Some multimedia applications allow access to multimedia content composed, in particular, of texts, images, sounds, video and graphics. Such multimedia content is sometimes called rich media.
  • These different elements can be structured and aggregated by a scene description, specifying the visual and sound reproduction, possibly varying in time of the multimedia content.
  • SVG Scalable Vector Graphics
  • W3C Web Consortium Standardization Organization
  • LASeR Standard LASeR
  • ISO / IEC JTC1 / SC29 / WG1 1 standardization organization ISO / IEC 14496-20: Information technology - Coding of audio-visual objects - Part 20: Lightweight Application Scene Representation (LASeR ) and Simple Aggregation Format (SAF) This format is based on the SVG format, on which it defines extensions.
  • These different multimedia scene formats may include multimedia objects such as an image, a video, or an audio recording. These objects can be encoded in several formats. Among these formats, some have an interesting property called scalability.
  • a format is scalable when it is possible to render an adapted version of the content by accessing and decoding only part of the data. It is for example possible to adapt a video by decreasing its size, its time frequency or its quality.
  • the bit stream is organized according to a hierarchical syntax allowing the extraction of the only data necessary for the presentation of the multimedia content.
  • the scalability can be, in particular, spatial and / or temporal. It can also be linked to other parameters such as the quality of images or sound or the selection of an area of the video.
  • Several types of scalability can be used simultaneously. For example, in a video data stream of 720x576 pixels at 25 frames per second, it is possible to extract a video of lower resolution like 360x288 pixels with a lower temporal frequency such as 10 frames per second, without it being necessary. to decode the multimedia content in its entirety, that is to say in its maximum resolution.
  • SVC Scalable Video Coding
  • a multimedia scene as mentioned above makes it possible to specify the aggregation of the different objects, for example the video and audio of two different programs, and the possibility for the user to interact with these objects, for example to switch from one program to another, or to move the position of the secondary program on the screen.
  • the use of scalable video coding allows multimedia content to be broadcast to decoding and presentation systems with various processing, display and sound reproduction capabilities
  • some devices such as thin clients, especially mobile phones and the set-top boxes are not suitable for processing large amounts of data.
  • the communication environment of these devices is generally limited in terms of bandwidth. There is therefore a need to optimize the resources required for the presentation of multimedia content, especially on thin clients.
  • the invention solves at least one of the problems discussed above.
  • the invention thus relates to a method for accessing part of a multimedia content from a multimedia scene comprising at least one reference to at least one object that can be transmitted in the form of a data stream, this method comprising the following steps, identification in said multimedia scene of a source of said at least one object according to said at least one reference to said at least one object;
  • identification in said multimedia scene of at least one instruction linked to said at least one reference comprising at least one adaptation parameter of said at least one object; transmitting to said source at least one indication relating to said at least one instruction; and, access to at least one data stream representing at least a part of said object, said at least one data stream being adapted according to said at least one indication.
  • This method according to the invention thus optimizes the resources used to access a multimedia presentation by adapting the parameters to the source.
  • this method according to the invention makes it possible to optimize the decoding means of the apparatus on which the multimedia content and the bandwidth used for the transmission of data are presented if a part of the multimedia content is transmitted from a remote server. .
  • Part of the multimedia content can thus be stored in local storage means or in remote storage means.
  • the invention also relates to a method for dynamically modifying a multimedia presentation scene of a multimedia content, said multimedia scene comprising at least one reference to at least one object that can be transmitted in the form of a data stream, this method comprising the following steps,
  • This method according to the invention thus makes it possible to create optimized multimedia scenes and to dynamically optimize access resources to a portion of the multimedia content according to the user's choices.
  • the object accessed is coded according to a scalable coding.
  • the adaptation parameter is an adaptation constraint, that is to say a constraint on the adaptation result.
  • the multimedia scenes are advantageously coded according to a language of the XML, SVG, LASeR, BIFS or VRML type.
  • Accessed objects may be of the video, image, audio and / or graphics sequence type.
  • the method described above can advantageously be used for the presentation of video sequences or images in image-type applications in the image.
  • the invention also relates to a computer program comprising instructions adapted to the implementation of each of the steps of the method described above.
  • the invention also relates to a device for accessing part of a multimedia content from a multimedia scene comprising at least one reference to at least one object that can be transmitted in the form of a data stream, this device comprising the following means,
  • identification means in said multimedia scene of a source of said at least one object according to said at least one reference to said at least one object;
  • identification means in said multimedia scene of at least one instruction linked to said at least one reference comprising at least one adaptation parameter of said at least one object;
  • This device according to the invention thus optimizes the resources used to access a multimedia presentation by adapting the parameters to the source.
  • the device according to the invention makes it possible to optimize the decoding means of the device on which the device is presented.
  • multimedia content and bandwidth used for data transmission if part of the multimedia content is transmitted from a remote server.
  • this device according to the invention comprises means for accessing part of the multimedia content that can be stored in local storage means or in remote storage means.
  • the invention also relates to a device for dynamically modifying a multimedia presentation scene of multimedia content, said multimedia scene comprising at least one reference to at least one object that can be transmitted in the form of a data stream, this device comprising the following means,
  • identification means in said multimedia scene of said at least one reference to said at least one object
  • This device thus makes it possible to create optimized multimedia scenes and to dynamically optimize access resources to a portion of the multimedia content according to the user's choices.
  • the device according to the invention further comprises decoding means adapted to decode an object coded according to a scalable coding.
  • the invention also relates to a computer program for presenting multimedia content comprising at least part of at least one object that can be transmitted in the form of a data stream, this computer program being characterized in that it comprises the following instructions, - an instruction for accessing said at least part of said at least one object from a source; and, an instruction comprising at least one parameter for adapting said data stream of said at least one part of said at least one object according to said parameter.
  • the invention thus makes it possible to encode multimedia content in an optimized manner making it possible to limit the resources needed to access part of this multimedia content by allowing adaptation to the source of the parameters.
  • the invention makes it possible to optimize the decoding means of the apparatus on which the multimedia content and the bandwidth used for the transmission of data are presented if a portion of the multimedia content is transmitted from a remote server.
  • FIG. 1 shows an example of an apparatus making it possible to implement the invention
  • FIG. 2 illustrates a standard mode of presentation of a multimedia content linked to a scene
  • FIG. 3 illustrates an exemplary presentation of a multimedia content linked to a scene, according to the invention
  • FIG. 4 schematically describes certain steps of an algorithm for implementing the invention according to an embodiment adapted to a server client type architecture.
  • the author of the scene and therefore of the application can optimize the decoding and / or bandwidth resources by specifying in the multimedia scene parameters enabling the multimedia objects obtained to be adapted to the source.
  • FIG. 1 illustrates an example of apparatus 100 adapted to implement the invention, such as a livebox, a set-top box, a mobile phone, a personal assistant communicating or a laptop.
  • the apparatus 100 comprises a communication bus 120 to which are connected,
  • a central processing unit 102 such as a microprocessor (CPU);
  • a communication interface 108 connected to a distributed communication network 1 18, for example the GPRS or UMTS network or a WiFi network, the interface being able to transmit and receive data; and,
  • an external screen may be connected to the apparatus 100 via a video connection.
  • the apparatus 100 may optionally have one, more or all of the following devices:
  • a memory card reader 1 14 adapted to receive one or more memory cards 116 and to read or write to it data processed or to be processed according to the invention.
  • the memory cards can be for example SD ⁇ Secure Digital), miniSD, MMC ⁇ MultiMedia Card) or CF ⁇ Compact Flash) type
  • the communication bus allows communication and interoperability between the various elements included in the device 100 or connected to him.
  • the representation of the bus is not limiting and, in particular, the central unit is able to communicate instructions to any element of the apparatus 100, directly or via another element of the apparatus 100. executable code of the program (s) allowing the device
  • the memory card 1 16 may contain data as well as the executable code of the aforementioned programs which, once read by the apparatus 100, can be stored in the memory 106.
  • the executable code of the programs can be received via the communication network 118, via the interface 108, to be stored identically to that described above.
  • the memory cards may be replaced by any information medium readable by a computer or by a microprocessor, integrated or not integrated into the device, possibly removable, and adapted to store one or more programs whose execution allows the implementation of the processes according to the invention.
  • program or programs may be loaded into one of the storage means of the device 100 before being executed.
  • the central unit 102 controls the execution of the instructions or portions of software code of the program (s) according to the invention, instructions which are stored in the memory card 1 16, in the read-only memory 104 or in the other elements of FIG. aforementioned storage.
  • the program or programs stored in a non-volatile memory for example the read-only memory 104, are transferred into the random access memory 106 (RAM), which then contains the executable code of the program (s) according to the invention, as well as registers for storing variables and parameters necessary for the implementation of the invention.
  • RAM random access memory
  • the apparatus comprising the device according to the invention may also be a programmed apparatus.
  • the instructions of the program (s) implementing the invention may, for example, be implemented in a programmable or specific integrated circuit (Application-Specific Integrated Circuit, ASIC).
  • an image-in-picture scenario is presented for illustration, where the video is provided in SVC format.
  • adaptation parameters whose syntax and semantics are known to the various modules involved in the application. These settings can be specific to the encoding format of the media object being used or generic.
  • the encoding of an SVC stream may be specified by a number of parameters defining for example the number of spatial, temporal and quality decomposition layers.
  • An SVC stream is structured as a sequence of data segments called Network Abstraction Layer Units (NALUnit), each NALUnit having parameters indicating which spatial, temporal and quality layer it belongs to. These parameters are respectively called dependency id, temporal level and quality level.
  • NALUnit Network Abstraction Layer Units
  • adaptation parameters that are not specific to a given coding format.
  • a parameter named "scale" defining a size adaptation operation, regardless of the encoding format.
  • a multimedia scene, or graphic scene, can be described in SVG language, itself based on the XML language (extensible markup language or XML) that can describe a hierarchical data structure.
  • XML express markup language
  • This language is standardized by the W3C standardization committee (a description of the language can be found at the address http://www.w3.org/TR/REC-xml).
  • XML is increasingly used for digital data transmission.
  • XML is a data description format, not a format for representing or displaying data.
  • XML is a syntax for defining new languages. Thus, it is possible to define a plurality of XML languages that can be processed using generic tools.
  • the XML syntax allows you to structure data, which allows you to develop documents containing the structural descriptions of the data.
  • the XML syntax is textual and can be easily read or written by a user.
  • the remainder of the description is illustrated, in particular, by the use of a multimedia scene written in the SVG format, itself based on the XML language.
  • the invention can be implemented by any type of language interpretable by an apparatus such as that described with reference to FIG. 1, in particular by any type of markup language.
  • the invention also applies to other scene presentation formats such as BIFS or VRML (Virtual Reality Modeling Language).
  • BIFS Virtual Reality Modeling Language
  • Figure 2 illustrates a standard mode of presentation of multimedia content.
  • a first stream represents a first video (Video 1)
  • a second stream represents a second video (Video 2 ).
  • the user can, at his convenience, watch the first video in full screen and the second video as a thumbnail, that is to say in the form of a video of reduced size placed in a corner of the screen, or watch the second video in full screen and the first video as a thumbnail.
  • the video streams corresponding to the two programs are transmitted in full resolution.
  • the video element also includes the audio signal.
  • the audio-level attribute indicates that the audio of the second program should not be restored even though it is transmitted.
  • the same multimedia scene can be described according to other language, for example according to the BIFS language. According to this language, the same scene is then in the following form, Group ⁇ children [
  • Transform2D ⁇ translation 400 10 scale 0.250.25 children [Appearance appearance ⁇ texture Movietexture ⁇ url "rtsp: //myServer.com/myVideo2.mp4" ⁇
  • the main program Video 1 is represented in full screen and the secondary program Video 2 is rendered with a reduced size in a corner of the screen.
  • a stage representation language multimedia as SVG or BIFS frequently offers the possibility for the user to modify the scene interactively. For example, it is possible for the author of the scene to specify a script triggered during a user action, such as pressing a button, which modifies the scene.
  • the script well known to those skilled in the art, is not shown here, but the multimedia scene of the following example is an example of the result of the action of such a script : Both programs are reversed: Video 2 is the new main program and Video 1 is the secondary program. In both cases, the secondary program is restored with a reduced size.
  • FIG. 3 illustrates a mode of presentation of a multimedia content resulting from the invention.
  • two video streams are received from a network such as the Internet, and presented simultaneously.
  • a first stream represents a first video (Video 1) and a second stream represents a second video (Video 2).
  • the user can, at his convenience, watch the first video in full screen and the second video as a thumbnail or watch the second video in full screen and the first video as a thumbnail.
  • the mode of adaptation of the video stream is related to the display mode of this stream, as specified in the scene.
  • the first video is displayed in full screen and the second video is displayed as a thumbnail
  • the first video is transmitted in full resolution and in full quality while the second video is transmitted in a resolution and quality. lower, adapted to the size of the thumbnail and the resolution of the display.
  • the first video is displayed as a thumbnail and the second video is displayed in full screen
  • the first video is transmitted in a resolution and in a quality adapted to the size of the thumbnail and the resolution of the video. display while the second video is transmitted in full resolution and in full quality.
  • a graphical function here specified as an attribute lsr: adaptSource, tells the engine rendering the scene to adapt the secondary program to the source by applying a scaling factor, here a scaling factor of 4 and reducing quality by defining a value of quality level max.
  • a scaling factor here a scaling factor of 4
  • reducing quality by defining a value of quality level max.
  • quality_level_max 0
  • quality_level_max 0
  • an adaptation can be composed of several elementary adaptations, each elementary adaptation being able to be specified by parameters specific to the coding format or not.
  • the graphics function here called AdaptSource, tells the engine rendering the scene to adapt the secondary program to the source by applying in particular a scale factor.
  • the graphical function can specify the adaptation of the content to the source as a combination of elementary adaptations.
  • These basic adaptations may notably be the following: - adaptation of the size (this applies in particular to a video, a still image or a multimedia scene);
  • the scene may indicate a constraint in terms of maximum throughput required for the adapted object. It is then at the source of the multimedia object to adapt the object to respect this constraint.
  • Adaptation to the source can be done in many ways.
  • a resource available locally in the form, for example, of a file adapting the source allows the client to read and decode only the useful data. This saves the client's processing resources.
  • a relocated resource available, for example in a streaming application the implementation of the invention makes it possible to obtain only the useful data and thus to save at the same time bandwidth and client processing resources.
  • the multimedia object is accessed locally, via a remote server through a network or directly to its production source (for example for a live broadcast of television), resources necessary for the presentation of multimedia content are optimized.
  • the creation of the multimedia scene comprising the instructions necessary for optimizing the transmission and / or presentation resources of the multimedia content is similar to the methods of the prior art for generating multimedia scenes but also comprises an additional insertion step.
  • instructions for setting the adaptation of the objects included in the multimedia presentation are added to the multimedia scene.
  • Each instruction thus indirectly refers to the entity to perform the modification, here the source of the multimedia flow, and includes the type of adaptation to be performed as well as the parameters related to the modification of the data flow. Instructions can be memorized as an attribute of the element on which they depend.
  • This request is preferably a standard request for data adaptation parameterization.
  • the attribute may also be placed in a parent element of the element referencing the multimedia object for the purpose of factoring the information.
  • the adaptSource attribute is applied to the video element, but it can also apply to audio, images, animations or graphics.
  • a multimedia scene can be dynamically modified by the user using a predetermined script.
  • the script contains a description of the instructions or attributes that must be removed and a description of those that must be added or modified.
  • FIG. 4 schematically illustrates certain steps of an algorithm for implementing the invention according to an embodiment adapted to a server client type architecture.
  • the multimedia scene used to display the multimedia content may have been transmitted by an external module, for example by a server (step 400) or may be stored locally in storage means of the client.
  • This multimedia scene may be a description file in SVG format such as the examples presented above.
  • the client After accessing the multimedia scene, the client analyzes this scene (step 405) according to a standard method adapted to the format of the scene, here the SVG.
  • the multimedia scene may contain, for example, references of two audio-video programs (P1 and P2) available on a server.
  • the references and presentation parameters of the multimedia content are stored by the customer. These parameters include, in particular, the indication that the second audio-video program is displayed as a thumbnail.
  • the client then transmits a request to the server, preferably a RTSP DESCRIBE type request, requesting a description of the resources to be transmitted as a stream, that is to say the audio and video streams of each program (step 410).
  • a request to the server, preferably a RTSP DESCRIBE type request, requesting a description of the resources to be transmitted as a stream, that is to say the audio and video streams of each program (step 410).
  • the server After receiving this request, the server transmits to the client a description of the session, preferably of the SDP type, describing the audio and video streams available for each program (step 415).
  • the client then sends a request, advantageously a request of the RTSP SETUP type, asking the server to prepare the data flow transfer sessions for each program (step 420).
  • the client also transmits a request, advantageously a RTSP SET PARAMETER type, comprising the parameters related to the second audio-video program to adapt the stream to the source, that is to say before transmission (step 425).
  • a request advantageously a RTSP SET PARAMETER type, comprising the parameters related to the second audio-video program to adapt the stream to the source, that is to say before transmission (step 425).
  • the video size should be reduced by a factor of four and the audio stream should not be transmitted.
  • the server will only provide the data needed to display the video stream corresponding to the reduced size, without the audio stream.
  • the client sends a request, preferably a RTSP PLAY type request, asking the server to start transmitting the required streams (step 430).
  • the server Upon receiving the client's request, the server transmits the video streams of the two programs as well as the audio stream of the first program
  • step 435 The user can thus view both programs (step 440).
  • the secondary program has been adapted before being transmitted, that is to say that only useful data (reduced video without audio) is sent, as required by the scene.
  • the user actuates a button on his remote control to switch from the display mode of the first program in full screen with display of the second program as a thumbnail display mode of the second program in full screen with display of the first program in the form of a vignette.
  • the remote control button activates a declared script in the scene that modifies the scene itself.
  • an adaptation parameter is defined for the first program and no longer for the second.
  • the second program is now the main program, displayed in plain screen, and the first program becomes the secondary program, displayed as a thumbnail.
  • the client then sends a request, preferably a request of the RTSP SET PARAMETER type, asking the server to modify the adaptation parameters of each program (step 445).
  • the server modifies the transmission parameters and continues the transmission of the streams with the new parameters according to which the first program is transmitted in a reduced format, without the audio stream, and the second program is transmitted in full resolution. , with the audio stream (step 435).
  • the server transmits and adapt the data.
  • the video is sent as a single stream, and the adaptation consists of deleting data in the stream.
  • the video is transmitted on several streams. For example, a first stream corresponds to the base layer and a second stream corresponds to the enhancement layer. Adaptation then consists in transmitting only one stream. A combination of the two possibilities above is of course possible.
  • the client display is modified accordingly (step 440).
  • Steps 440, 445 and 435 are advantageously repeated each time the user actuates the button on his remote control to change the display mode.
  • a person skilled in the field of the invention may apply modifications in the foregoing description.

Abstract

Des procédés et des dispositifs pour optimiser l'accès aux données lors de la présentation de contenu multimédia sont présentés. Selon l'invention, les scènes multimédias sont modifiées et optimisées afin de contenir une fonction graphique comprenant certains paramètres d'adaptation de certains éléments du contenu multimédia. Ces paramètres sont utilisés pour optimiser les ressources d'accès et de traitement de ces éléments. Cette fonction graphique et ces paramètres sont par exemple mémorisés sous forme d'attribut pour les scènes multimédia basées sur un langage à balisage.

Description

Procédés et dispositifs pour optimiser les ressources nécessaires à la présentation de contenus multimédias
La présente invention concerne le domaine des applications multimédias, notamment des applications multimédias pour clients légers tels que les téléphones mobiles et les boîtiers décodeurs (set-top box), et plus particulièrement des procédés et des dispositifs pour optimiser les ressources nécessaires à la présentation de contenus multimédias. Certaines applications multimédias permettent l'accès à un contenu multimédia composé, en particulier, de textes, d'images, de sons, de vidéo et de graphiques. Un tel contenu multimédia est parfois appelé média riche {rich content). Ces différents éléments peuvent être structurés et agrégés par une description de scène, spécifiant la restitution visuelle et sonore, éventuellement variant dans le temps du contenu multimédia.
Il existe plusieurs formats spécifiant une scène multimédia, aussi appelée scène graphique, notamment les formats suivants :
- le format propriétaire Flash de la société Adobe ;
- le format standard BIFS développé par l'organisme de standardisation ISO/IEC JTC1/SC29/WG1 1 (ISO/IEC 14496-
1 1 : Scène description and application engine) ;
- le format standard SVG (Scalable Vector Graphics) développé par l'organisme de standardisation Web Consortium (W3C) ; et, - le format standard LASeR développé par l'organisme de standardisation ISO/IEC JTC1/SC29/WG1 1 (ISO/IEC 14496- 20: Information technology — Coding of audio-visual objects — Part 20: Lightweight Application Scène Représentation (LASeR) and Simple Aggregation Format (SAF). Ce format est basé sur le format SVG, sur lequel il définit des extensions.
Ces différents formats de scène multimédia peuvent inclure des objets multimédias tels qu'une image, une vidéo ou un enregistrement audio. Ces objets peuvent être codés dans plusieurs formats. Parmi ces formats, certains présentent une propriété intéressante appelée scalabilité. Un format est dit scalable lorsqu'il est possible de restituer une version adaptée du contenu en accédant à et en décodant une partie seulement des données. Il est par exemple possible d'adapter une vidéo en diminuant sa taille, sa fréquence temporelle ou sa qualité.
Selon le codage vidéo scalable, le train de bits (bit stream) est organisé selon une syntaxe hiérarchique permettant l'extraction des seules données nécessaires à la présentation du contenu multimédia. La scalabilité peut être, en particulier, spatiale et/ou temporelle. Elle peut également être liée à d'autres paramètres tels que la qualité des images ou du son ou la sélection d'une zone de la vidéo. Plusieurs types de scalabilité peuvent être utilisés simultanément. Par exemple, dans un flux de données vidéo de 720x576 pixels à 25 images par seconde, il est possible d'extraire une vidéo de résolution inférieure comme 360x288 pixels avec une fréquence temporelle inférieure telle que 10 images par seconde, sans qu'il soit nécessaire de décoder le contenu multimédia dans sa totalité, c'est-à-dire dans sa résolution maximale.
Il existe plusieurs formats de contenu multimédia scalable, notamment : - JPEG2000 développé par l'organisme de standardisation
ISO/IEC JTC1/SC29/WG1 (ISO/IEC 15444-1 :2004 : Core coding System) ; et,
- Scalable Video Coding (SVC) développé par l'organisme de standardisation ISO/IEC JTC1/SC29/WG1 1 (ISO/IEC 14496- 10, amendement 3 : Scalable Video Coding).
L'utilisation de tels formats pour un objet multimédia invoqué dans une scène multimédia permet, le cas échéant, d'obtenir, décoder et restituer une partie seulement des données, et ceci de façon optimale par rapport à leur utilisation dans la scène multimédia. Par ailleurs, certaines applications de télévision permettent de visualiser en même temps un programme principal affiché sur tout l'écran ainsi qu'un programme secondaire affiché selon une taille réduite, par exemple dans un coin de l'écran. Généralement, l'application permet à l'utilisateur de basculer le mode d'affichage pour présenter le programme secondaire en plein écran et inversement. Ce type d'application, appelé Picture in Picture en anglais, est appelé image dans l'image dans la suite de la description. Une scène multimédia telle qu'évoquée précédemment permet de spécifier l'agrégation des différents objets, par exemple la vidéo et l'audio de deux programmes différents, et la possibilité pour l'utilisateur d'interagir avec ces objets, par exemple de basculer depuis un programme vers l'autre, ou de déplacer la position du programme secondaire sur l'écran. Alors que l'utilisation de codage vidéo scalable permet une diffusion de contenu multimédia vers des systèmes de décodage et de présentation ayant des capacités de traitement, d'affichage et de restitution sonore variées, certains appareils tels les clients légers, en particulier les téléphones mobiles et les boîtiers décodeurs, ne sont pas adaptés à traiter des volumes de données importants. De plus l'environnement de communication de ces appareils est généralement limité en terme de bande passante. Il existe donc un besoin pour optimiser les ressources nécessaires à la présentation de contenus multimédias, en particulier sur des clients légers.
L'invention permet de résoudre au moins un des problèmes exposés précédemment.
L'invention a ainsi pour objet un procédé pour accéder à une partie d'un contenu multimédia à partir d'une scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce procédé comprenant les étapes suivantes, - identification dans ladite scène multimédia d'une source dudit au moins un objet selon ladite au moins une référence audit au moins un objet ;
- identification dans ladite scène multimédia d'au moins une instruction liée à ladite au moins une référence comprenant au moins un paramètre d'adaptation dudit au moins un objet ; - transmission à ladite source d'au moins une indication relative à ladite au moins une instruction ; et, - accès à au moins un flux de données représentant au moins une partie dudit objet, ledit au moins un flux de données étant adapté selon ladite au moins une indication.
Ce procédé selon l'invention permet ainsi d'optimiser les ressources utilisées pour accéder à une présentation multimédia en adaptant les paramètres à la source. En particulier, ce procédé selon l'invention permet d'optimiser les moyens de décodage de l'appareil sur lequel est présenté le contenu multimédia et la bande passante utilisée pour la transmission des données si une partie du contenu multimédia est transmise depuis un serveur distant. Une partie du contenu multimédia peut ainsi être mémorisée dans des moyens de stockage locaux ou dans des moyens de stockage distants.
L'invention a également pour objet un procédé pour modifier dynamiquement une scène multimédia de présentation d'un contenu multimédia, ladite scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce procédé comprenant les étapes suivantes,
- identification dans ladite scène multimédia de ladite au moins une référence audit au moins un objet ;
- réception d'au moins une instruction comprenant au moins un paramètre d'adaptation dudit au moins un objet ; et,
- insertion dans ladite scène multimédia d'au moins une indication relative à ladite au moins une instruction comprenant ledit au moins un paramètre d'adaptation dudit au moins un objet, permettant à une source dudit au moins un objet d'adapter ledit flux de données selon ledit au moins un paramètre.
Ce procédé selon l'invention permet ainsi de créer des scènes multimédia optimisées et d'optimiser dynamiquement les ressources d'accès à une partie du contenu multimédia selon les choix de l'utilisateur.
Dans un mode de réalisation particulier, l'objet accédé est codé selon un codage scalable. Toujours dans un mode de réalisation particulier, le paramètre d'adaptation est une contrainte d'adaptation, c'est-à-dire une contrainte sur le résultat d'adaptation.
Les scènes multimédia sont avantageusement codées selon un langage de type XML, SVG, LASeR, BIFS ou VRML.
Les objets accèdes peuvent être du type séquences vidéo, images, audio et/ou graphiques.
Le procédé décrit précédemment peut avantageusement être utilisé pour la présentation de séquence vidéo ou d'images dans des applications du type image dans l'image.
L'invention a également pour objet un programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé décrit précédemment.
L'invention a aussi pour objet un dispositif pour accéder à une partie d'un contenu multimédia à partir d'une scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce dispositif comprenant les moyens suivants,
- des moyens d'identification dans ladite scène multimédia d'une source dudit au moins un objet selon ladite au moins une référence audit au moins un objet ;
- des moyens d'identification dans ladite scène multimédia d'au moins une instruction liée à ladite au moins une référence comprenant au moins un paramètre d'adaptation dudit au moins un objet ;
- des moyens de transmission à ladite source d'au moins une indication relative à ladite au moins une instruction ; et,
- des moyens d'accès à au moins un flux de données représentant au moins une partie dudit objet, ledit au moins un flux de données étant adapté selon ladite au moins une indication.
Ce dispositif selon l'invention permet ainsi d'optimiser les ressources utilisées pour accéder à une présentation multimédia en adaptant les paramètres à la source. En particulier, le dispositif selon l'invention permet d'optimiser les moyens de décodage de l'appareil sur lequel est présenté le contenu multimédia et la bande passante utilisée pour la transmission des données si une partie du contenu multimédia est transmise depuis un serveur distant. Avantageusement, ce dispositif selon l'invention comprend des moyens pour accéder à une partie du contenu multimédia pouvant être mémorisée dans des moyens de stockage locaux ou dans des moyens de stockage distants.
L'invention a également pour objet un dispositif pour modifier dynamiquement une scène multimédia de présentation d'un contenu multimédia, ladite scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce dispositif comprenant les moyens suivants,
- des moyens d'identification dans ladite scène multimédia de ladite au moins une référence audit au moins un objet ;
- des moyens de réception d'au moins une instruction comprenant au moins un paramètre d'adaptation dudit au moins un objet ; et, - des moyens d'insertion dans ladite scène multimédia d'au moins une indication relative à ladite au moins une instruction comprenant ledit au moins un paramètre d'adaptation dudit au moins un objet, permettant à une source dudit au moins un objet d'adapter ledit flux de données selon ledit au moins un paramètre. Ce dispositif selon l'invention permet ainsi de créer des scènes multimédia optimisées et d'optimiser dynamiquement les ressources d'accès à une partie du contenu multimédia selon les choix de l'utilisateur.
Dans un mode de réalisation particulier, le dispositif selon l'invention comprend en outre des moyens de décodage adaptés à décoder un objet codé selon un codage scalable.
L'invention a également pour objet un programme d'ordinateur pour présenter un contenu multimédia comprenant au moins une partie d'au moins un objet pouvant être transmis sous forme de flux de données, ce programme d'ordinateur étant caractérisé en ce qu'il comprend les instructions suivantes, - une instruction pour accéder à ladite au moins une partie dudit au moins un objet depuis une source ; et, - une instruction comprenant au moins un paramètre pour adapter ledit flux de donnée de ladite au moins une partie dudit au moins un objet selon ledit paramètre.
L'invention permet ainsi de coder un contenu multimédia de façon optimisée permettant de limiter les ressources nécessaires pour accéder à une partie de ce contenu multimédia en permettant une adaptation à la source des paramètres. En particulier, l'invention permet d'optimiser les moyens de décodage de l'appareil sur lequel est présenté le contenu multimédia et la bande passante utilisée pour la transmission des données si une partie du contenu multimédia est transmise depuis un serveur distant.
D'autres avantages, buts et caractéristiques de la présente invention ressortent de la description détaillée qui suit, faite à titre d'exemple non limitatif, au regard des dessins annexés dans lesquels :
- la figure 1 montre un exemple d'appareil permettant d'implémenter l'invention ;
- la figure 2 illustre un mode standard de présentation d'un contenu multimédia lié à une scène ;
- la figure 3 illustre un exemple de présentation d'un contenu multimédia lié à une scène, selon l'invention ; et, - la figure 4 décrit schématiquement certaines étapes d'un algorithme pour mettre en œuvre l'invention selon un mode de réalisation adapté à une architecture de type client serveur.
Selon l'invention, l'auteur de la scène et donc de l'application peut optimiser les ressources de décodage et/ou de bande passante en spécifiant dans la scène multimédia des paramètres permettant d'adapter à la source les objets multimédias obtenus.
L'invention réside ainsi dans la production de scènes multimédias comprenant une description des paramètres spécifiant l'adaptation des données sources, dans les scènes multimédias qui en résultent et dans l'utilisation et l'interprétation de ces scènes. Ces paramètres peuvent être modifiés suite à des actions de l'utilisateur. La figure 1 illustre un exemple d'appareil 100 adapté à mettre en œuvre l'invention, tel qu'une livebox, un boîtier décodeur, un téléphone mobile, un assistant personnel communiquant ou un ordinateur portable.
De préférence, l'appareil 100 comporte un bus de communication 120 auquel sont reliés,
• une unité centrale de traitement 102 telle qu'un microprocesseur (CPU) ;
• une mémoire morte 104 ou Read OnIy Memory (ROM), pouvant comporter un ou plusieurs programmes ; • une mémoire vive 106 ou Random Access Memrory (RAM), comportant des registres adaptés à mémoriser des variables et des paramètres créés et modifiés au cours de l'exécution des programmes précités ;
• une interface de communication 108 reliée à un réseau de communication distribué 1 18, par exemple le réseau GPRS ou UMTS ou un réseau WiFi, l'interface étant apte à transmettre et à recevoir des données ; et,
• un écran 1 10 permettant de visualiser des données et/ou de servir d'interface graphique avec l'utilisateur qui pourra interagir avec les programmes selon l'invention. Alternativement, ou de façon complémentaire, un écran externe peut être connecté à l'appareil 100 par une connexion vidéo. L'appareil 100 peut disposer optionnellement de l'un, de plusieurs ou de tous les dispositifs suivants :
• un clavier 1 12 ou tout autre moyen tel qu'un dispositif de pointage, comme par exemple une molette de sélection ou un crayon optique, un écran tactile ou une télécommande, permettant à l'utilisateur d'interagir avec les programmes ; et,
• un lecteur de cartes mémoires 1 14 adapté à recevoir une ou plusieurs cartes mémoires 116 et à y lire ou à y écrire des données traitées ou à traiter selon l'invention. Les cartes mémoires peuvent être par exemple du type SD {Secure Digital), miniSD, MMC {MultiMedia Card) ou CF {Compact Flash)
Le bus de communication permet la communication et l'interopérabilité entre les différents éléments inclus dans l'appareil 100 ou reliés à lui. La représentation du bus n'est pas limitative et, notamment, l'unité centrale est susceptible de communiquer des instructions à tout élément de l'appareil 100, directement ou par l'intermédiaire d'un autre élément de l'appareil 100. Le code exécutable du ou des programme(s) permettant à l'appareil
100 de mettre en œuvre les processus selon l'invention, peut être stocké, par exemple, en mémoire morte 104.
Selon une variante, la carte mémoire 1 16 peut contenir des données ainsi que le code exécutable des programmes précités qui, une fois lu par l'appareil 100, peuvent être stockés dans la mémoire 106.
Alternativement, le code exécutable des programmes peut être reçu par l'intermédiaire du réseau de communication 118, via l'interface 108, pour être stocké de façon identique à celle décrite précédemment.
Les cartes mémoires peuvent être remplacées par tout support d'information lisible par un ordinateur ou par un microprocesseur, intégré ou non à l'appareil, éventuellement amovible, et adapté à mémoriser un ou plusieurs programmes dont l'exécution permet la mise en œuvre des procédés selon l'invention.
De manière plus générale, le ou les programmes pourront être chargés dans un des moyens de stockage de l'appareil 100 avant d'être exécutés.
L'unité centrale 102 contrôle l'exécution des instructions ou portions de code logiciel du ou des programme(s) selon l'invention, instructions qui sont stockées dans la carte mémoire 1 16, dans la mémoire morte 104 ou dans les autres éléments de stockage précités. Lors de la mise sous tension, le ou les programmes stockés dans une mémoire non volatile, par exemple la mémoire morte 104, sont transférés dans la mémoire vive 106 (RAM), qui contient alors le code exécutable du ou des programme(s) selon l'invention, ainsi que des registres pour mémoriser les variables et les paramètres nécessaires à la mise en œuvre de l'invention.
Il convient de noter que l'appareil comportant le dispositif selon l'invention peut également être un appareil programmé. Les instructions du ou des programme(s) mettant en œuvre l'invention peuvent, par exemple, être implémentées dans un circuit intégré programmable ou spécifique {Application- Specific Integrated Circuit, ASIC).
Dans la suite de la description, un scénario image dans l'image est présenté à titre d'illustration, où les vidéo sont fournies au format SVC. Dans un mode de réalisation, il existe des paramètres d'adaptation dont la syntaxe et la sémantique sont connues des différents modules intervenant dans l'application. Ces paramètres peuvent être spécifiques au format de codage de l'objet multimédia utilisé ou génériques. Par exemple, l'encodage d'un flux SVC peut être spécifié par un certain nombre de paramètres définissant par exemple le nombre de couches de décomposition spatiale, temporelle et de qualité. Un flux SVC est structuré comme une séquence de segments de données appelés Network Abstraction Layer Unit (NALUnit), chaque NALUnit comportant des paramètres indiquant à quelle couche spatiale, temporelle et de qualité elle appartient. Ces paramètres sont respectivement appelés dependency id, temporal level et quality level. Il est alors possible d'extraire une version adaptée de ce flux en spécifiant une valeur maximale pour ces paramètres dependency_id_max, temporal_level_max et quality_level_max. Ces paramètres d'adaptation sont spécifiques au format de codage SVC et peuvent être utilisés selon l'invention pour déterminer l'adaptation du flux à la source.
Inversement, il est également possible de spécifier des paramètres d'adaptation qui ne soient pas spécifiques à un format de codage donné. Par exemple, il est possible de spécifier un paramètre nommé "scale" définissant une opération d'adaptation de la taille, indépendamment du format de codage.
Pour les besoins de la description, des paramètres génériques et spécifiques sont utilisés dans les exemples suivants.
Une scène multimédia, ou scène graphique, peut être décrite en langage SVG, lui-même basé sur le langage XML (langage de balisage extensible ou Extensible Markup Language en anglais) qui permet de décrire une structure de données hiérarchisées. Ce langage est standardisé par le comité de standardisation W3C (une description du langage peut être trouvée à l'adresse http://www.w3.org/TR/REC-xml). XML est de plus en plus utilisé pour la transmission de données numériques. En pratique, XML est un format de description de données, et non un format de représentation ou d'affichage de données. XML est une syntaxe permettant de définir de nouveaux langages. Ainsi, il est possible de définir une pluralité de langages XML qui peuvent être traités en utilisant des outils génériques. En outre, la syntaxe XML permet de structurer des données, ce qui permet d'élaborer des documents contenant les descriptions structurelles des données. Enfin, la syntaxe XML est textuelle et peut être lue ou écrite aisément par un utilisateur. La suite de la description est illustrée, en particulier, par l'utilisation de scène multimédia écrite dans le format SVG, lui-même basé sur le langage XML. Cependant, il doit être compris que l'invention peut être mise en œuvre par n'importe quel type de langage interprétable par un appareil tel que celui décrit par référence à la figure 1 , en particulier par n'importe quel type de langage à balisage. L'invention s'applique également à d'autres formats de présentation de scène tels que BIFS ou VRML ( Virtual Reality Modeling Language). A titre d'illustration, certains exemples sont également donnés selon le langage BIFS
La figure 2 illustre un mode standard de présentation d'un contenu multimédia. Selon la scène multimédia considérée à titre d'exemple, deux flux vidéo reçus d'un réseau tel qu'Internet, sont présentés simultanément, un premier flux représente une première vidéo (Vidéo 1 ) et un second flux représente une deuxième vidéo (Vidéo 2). L'utilisateur peut, à sa convenance, regarder la première vidéo en plein écran et la seconde vidéo sous forme de vignette, c'est-à-dire sous forme d'une vidéo de taille réduite placée dans un coin de l'écran, ou regarder la seconde vidéo en plein écran et la première vidéo sous forme de vignette. Quelque soit le mode de visualisation, les flux vidéo correspondant aux deux programmes sont transmis en pleine résolution. Par ailleurs, il convient de noter que, dans cet exemple, l'élément vidéo inclut également le signal audio. L'attribut audio-level indique que l'audio du deuxième programme ne doit pas être restitué bien qu'il soit transmis. La scène multimédia suivante, décrite selon le langage SVG, illustre un exemple d'implémentation d'application de type image dans l'image tel que celui présenté sur la figure 2 lorsque la première vidéo est affichée en plein écran alors que la seconde vidéo est affichée sous forme de vignette. <?xml version="1.0" encoding="UTF-8"?>
<s vg xmlns= "http://www. w3. org/2000/s vg " xmlns:xlink= "http://www. w3. org/1999/xlink " version="1.2" baseProfile="tiny"xml:id="svg-root" width="100%" height="100%" viewBox="0 0 800 600" >
<video xml:id="Video 1 " xlink:href=" rtsp://myServer.com/myVideo1.mp4"/>
<g transform="translate(400, 10) scale(0.25)" audio-level="0">
<video xml:id="Video2" xlink:href=" rtsp://myServer.com/myVideo2.mp4"/> </g </svg>
Comme indiqué précédemment, la même scène multimédia peut être décrite selon d'autre langage, par exemple selon le langage BIFS. Selon ce langage, la même scène se présente alors sous la forme suivante, Group { children [
Transform2D { children Shape {
Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo 1.mp4"j
} geometry Bitmap {}
} } Transform2D { translation 400 10 scale 0.250.25 children [ Shape { Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo2.mp4" }
} geometry Bitmap {}
J ]
J ] }
Dans cet exemple, le programme principal Vidéo 1 est représenté en plein écran et le programme secondaire Vidéo 2 est restitué avec une taille réduite dans un coin de l'écran. Un langage de représentation de scène multimédia comme SVG ou BIFS offre fréquemment la possibilité pour l'utilisateur de modifier la scène de façon interactive. Par exemple, il est possible pour l'auteur de la scène de spécifier un script déclenché lors d'une action de l'utilisateur, telle que le fait d'appuyer sur un bouton, qui modifie la scène.
Dans un souci de clarté, le script, bien connu de l'homme de l'art, n'est pas représenté ici, mais la scène multimédia de l'exemple suivant est un exemple du résultat de l'action d'un tel script : les deux programmes sont inversés : Vidéo 2 est le nouveau programme principal et Vidéo 1 est le programme secondaire. Dans les deux cas, le programme secondaire est restitué avec une taille réduite. La scène multimédia suivante illustre donc un exemple d'implémentation d'application de type image dans l'image tel que celui présenté sur la figure 2 lorsque la première vidéo est regardée sous forme de vignette alors que la seconde vidéo est regardée en plein écran. <?xml version="1.0" encoding="UTF-8"?>
<s vg xmlns= "http://www. w3. org/2000/s vg " xmlns:xlink= "http://www. w3. org/1999/xlink " version="1.2" baseProfile="tiny"xml:id="svg-root" width="100%" height="100%" viewBox="0 0 800 600" >
<video xml:id="Video2" xlink:href=" rtsp://myServer.com/myVideo2.mp4"/>
<g transform="translate(400, 10) scale(0.25)" audio-level="0">
<video xml:id="Video 1 " xlink:href=" rtsp://myServer.com/myVideo 1.mp4"/> </g> </svg>
A nouveau, la même scène peut être décrite dans un autre langage, en particulier dans le langage BIFS. La même scène se présente alors sous la forme suivante, Group { children [
Transform2D { children Shape {
Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo2.mp4"}
} geometry Bitmap {}
}
J Transform2D { translation 400 10 scale 0.250.25 children [ Shape { Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo1.mp4" } i geometry Bitmap {}
} 1 } ]
}
La figure 3 illustre un mode de présentation d'un contenu multimédia résultant de l'invention. De façon similaire à l'exemple présenté en référence à la figure 2 et selon la scène utilisée, deux flux vidéo sont reçus d'un réseau tel qu'Internet, et présentés simultanément. Un premier flux représente une première vidéo (Vidéo 1 ) et un second flux représente une seconde vidéo (Vidéo 2). L'utilisateur peut, à sa convenance, regarder la première vidéo en plein écran et la seconde vidéo sous forme de vignette ou regarder la seconde vidéo en plein écran et la première vidéo sous forme de vignette. Selon l'invention, le mode d'adaptation du flux vidéo est lié au mode d'affichage de ce flux, tel qu'il est spécifié dans la scène. Si par exemple la première vidéo est affichée en plein écran et que la seconde vidéo est affichée sous forme de vignette, alors la première vidéo est transmise en pleine résolution et en pleine qualité alors que la seconde vidéo est transmise dans une résolution et dans une qualité inférieures, adaptée à la taille de la vignette et à la résolution de l'affichage. De même, si la première vidéo est affichée sous forme de vignette et que la seconde vidéo est affichée en plein écran, alors la première vidéo est transmise dans une résolution et dans une qualité adaptées à la taille de la vignette et à la résolution de l'affichage alors que la seconde vidéo est transmise en pleine résolution et en pleine qualité.
L'exemple suivant de scène multimédia permet de mettre en œuvre la solution présentée précédemment par référence à la figure 3 lorsque la première vidéo est affichée en plein écran alors que la seconde vidéo est affichée sous forme de vignette. Une fonction graphique, ici spécifiée sous forme d'un attribut lsr:adaptSource, indique au moteur restituant la scène d'adapter le programme secondaire à la source en appliquant un facteur d'échelle, ici un facteur d'échelle de 4 et en réduisant la qualité en définissant une valeur quality level max. En effet, il est supposé dans l'exemple que le flux vidéo a été encodé avec une couche de rehaussement de qualité en plus de la couche dite de base. Les couches sont numérotées ici 0 (couche de base) et 1 (couche de rehaussement). En spécifiant quality_level_max=0, il est indiqué à la source de l'objet multimédia de supprimer la couche de rehaussement, celle- ci n'étant pas utile pour une visualisation avec une taille réduite. De plus, un troisième paramètre indique que l'audio n'est pas requise (nAudioChannels=0). Il peut ainsi être remarqué qu'une adaptation peut être composée de plusieurs adaptations élémentaires, chaque adaptation élémentaire pouvant être spécifiée par des paramètres spécifiques au format de codage ou non. Il convient de noter que le préfixe "ter" indique que l'attribut spécifié appartient à un espace de noms urn:mpeg:mpeg4:LASeR:2005. Le langage LASeR est en effet un langage de description de scène basé sur SVG et sur lequel il définit des extensions telles que l'attribut lsr:adaptSource introduit ici. <?xml version="1.0" encoding="UTF-8"?>
<svg xmlns="http://www. w3. org/2000/svg " xmlns:xlink= "http://www. w3. org/1999/xlink" version="1.2" xmlns:lsr="urn:mpeg:mpeg4:LASeR:2005" baseProfile="tiny"xml:id="svg-root" width="100%" height="100%" viewBox="0 0 800 600 ">
<video xml:id= "Video 1 " xlink:href= "rtsp://myServer. com/myVideo 1. mp4 "/>
<g transform="translate(400, 10) "> <video xml:id="Video2" xlink:href="rtsp://myServer.com/myVideo2.mp4" lsr:adaptSource="scale=0.25 quality_level_max=0 nAudioChannels=0"/> </g> </svg> Lorsque la même scène est décrite selon le langage BIFS, elle se présente sous la forme suivante,
Group { children [
Transform2D { children Shape {
Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo1.mp4" }
} geometry Bitmap {} j i Transform2D { translation 400 10 children [ Shape {
Appearance appearance { texture Mo vietexture { url "rtsp://myServer. com/my Video2. mp4 " }
J geometry Bitmap {}
J
AdaptSource{ url "rtsp://myServer. com/my Video2.mp4" scale 0.250.25 quality_level_max 0 nAudioChannels=0
} ]
}
1
}
Dans cet exemple, la fonction graphique, ici appelée AdaptSource, indique au moteur restituant la scène d'adapter le programme secondaire à la source en appliquant notamment un facteur d'échelle.
De façon similaire, l'exemple suivant de scène multimédia permet de mettre en œuvre la solution présentée précédemment par référence à la figure
3 lorsque la première vidéo est affichée sous forme de vignette alors que la seconde vidéo est affichée en plein écran. A nouveau, une fonction graphique spécifiée sous forme d'un attribut IsπadaptSource, indique au moteur restituant la scène d'adapter le premier programme, à la source, en appliquant notamment un facteur d'échelle, ici un facteur d'échelle de 4. Cet exemple montre que l'invention permet de réduire la consommation de ressources sans que la perception de l'utilisateur de la présentation du contenu multimédia soit affectée.
<?xml version="1.0" encoding="UTF-8"?>
<s vg xmlns= "http://www. w3. org/2000/s vg " xmlns:xlink= "http://www. w3. org/1999/xlink " version="1.2" xmlns:lsr="urn:mpeg:mpeg4:LASeR:2005" baseProfile="tiny"xml:id="svg-root" width="100%" height="100%" viewBox="0 0 800 600" >
<video xml:id="Video2" xlink:href="rtsp://myServer.com/myVideo2.mp4"/>
<g transform="translate(400, 10) ">
<video xml:id="Video1 " xlink:href="rtsp://myServer.com/myVideo1.mp4" lsr:adaptSource="scale=0.25 quality_level_max=0 nAudioChannels=0"/> </g> Si la scène est décrite selon le langage BIFS, elle se présente sous la forme suivante,
Group { children [ Transform2D { children Shape { Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo2.mp4"}
} geometry Bitmap {}
}
J Transform2D { translation 400 10 children [
Shape { Appearance appearance { texture Movietexture { url "rtsp://myServer.com/myVideo1.mp4" }
} geometry Bitmap {}
J AdaptSource{ url "rtsp://myServer.com/myVideo 1.mp4" scale 0.250.25 quality_level_max 0 nAudioChannels=0 J ]
J ]
}
La fonction graphique peut spécifier l'adaptation du contenu à la source comme une combinaison d'adaptations élémentaires. Ces adaptations élémentaires peuvent notamment être les suivantes : - adaptation de la taille (ceci s'applique notamment à une vidéo, une image fixe ou une scène multimédia) ;
- adaptation de la fréquence des images pour une vidéo ;
- adaptation de la qualité (ceci s'applique notamment à une vidéo, une image ou une audio) ; et, - adaptation du nombre de canaux notamment pour un contenu audio.
Cette liste n'est évidemment pas limitative. II est également possible de spécifier qu'une composante de l'objet ne doit pas être restituée. En particulier, dans l'exemple d'application image dans l'image, il est inutile d'obtenir l'audio du programme secondaire.
Il est également possible de spécifier une contrainte sur le résultat de l'adaptation. Par exemple, la scène peut indiquer une contrainte en terme de débit maximal requis pour l'objet adapté. C'est alors à la source de l'objet multimédia d'adapter l'objet pour respecter cette contrainte.
L'adaptation à la source peut se faire de plusieurs façons. Dans le cas d'une ressource disponible localement sous forme, par exemple, d'un fichier, adapter la source permet au client de ne lire et de ne décoder que les données utiles. Ceci permet d'économiser les ressources de traitement du client. Dans le cas d'une ressource disponible de façon délocalisée, par exemple dans une application de lecture en continu {streaming), la mise en œuvre de l'invention permet de n'obtenir que les données utiles et donc d'économiser à la fois de la bande passante et les ressources de traitement du client. Ainsi, selon l'invention, que l'objet multimédia soit accédé localement, par l'intermédiaire d'un serveur distant à travers un réseau ou directement à sa source de production (par exemple pour une émission en direct de télévision), les ressources nécessaires à la présentation du contenu multimédia sont optimisées.
La création de la scène multimédia comprenant les instructions nécessaires à l'optimisation des ressources de transmission et/ou de présentation du contenu multimédia est similaire aux méthodes de l'art antérieur pour générer des scènes multimédias mais comprend en outre une étape supplémentaire d'insertion d'instructions de paramétrage de l'adaptation des objets compris dans la présentation multimédia. Ainsi, pour chaque objet dont le flux de données correspondant doit être adapté avant son utilisation, ou est susceptible d'être adapté, une instruction est ajoutée à la scène multimédia. Chaque instruction fait ainsi indirectement référence à l'entité devant effectuer la modification, ici la source du flux multimédia, et comprend le type d'adaptation devant être effectuée ainsi que les paramètres liés à la modification du flux de données. Les instructions peuvent être mémorisées sous forme d'attribut de l'élément dont elles dépendent. Par exemple, comme mentionné précédemment, l'instruction lsr:adaptsource="scale=0.25" est un attribut qui indique qu'une adaptation doit être faite à la source du flux de données dont dépend l'attribut, avec scale=0.25 comme paramètre. Le paramètre scale=0.25 est interprété par le client qui transmet une requête à la source du flux de données dont dépend l'attribut pour que la source modifie le flux de données avant sa transmission. Cette requête est, de préférence, une requête standard de paramétrage d'adaptation de données. Il convient de noter que l'attribut peut également être placé dans un élément parent de l'élément référençant l'objet multimédia dans le but de factoriser l'information. Dans l'exemple, l'attribut adaptSource est appliqué à l'élément video, mais il peut également s'appliquer notamment aux éléments audio, images, animations ou graphiques.
Ainsi qu'il l'a été mentionné précédemment, une scène multimédia peut être dynamiquement modifiée par l'utilisateur à l'aide d'un script prédéterminé. Dans ce cas, le script contient une description des instructions ou des attributs qui doivent être supprimés et une description de ceux qui doivent être ajoutés ou modifiés.
La figure 4 illustre schématiquement certaines étapes d'un algorithme pour mettre en œuvre l'invention selon un mode de réalisation adapté à une architecture de type client serveur. Selon ce mode de réalisation, la scène multimédia utilisée pour afficher le contenu multimédia peut avoir été transmise par un module externe, par exemple par un serveur (étape 400) ou peut être stockée localement dans des moyens de stockage du client. Cette scène multimédia peut être un fichier de description au format SVG tel que les exemples présentés précédemment.
Dans un souci de clarté, la description suivante repose sur l'utilisation connue de l'homme de l'art du protocole de streaming temps-réel RTSP {Real Time Streaming Protocol) développé par I1I ETF et publié en 1998. Cependant, il doit être compris que l'invention peut être mise en œuvre avec d'autres protocoles de communication. Après avoir accédé à la scène multimédia, le client analyse cette scène (étape 405) selon une méthode standard adaptée au format de la scène, ici le SVG. La scène multimédia peut contenir, par exemple, des références de deux programmes audio-vidéo (P1 et P2) disponibles sur un serveur. Les références et les paramètres de présentation du contenu multimédia sont mémorisés par le client. Parmi ces paramètres figurent, en particulier, l'indication selon laquelle le second programme audio-vidéo est affiché sous forme de vignette.
Le client transmet alors une requête au serveur, de préférence une requête de type RTSP DESCRIBE, demandant une description des ressources à transmettre sous forme de flux, c'est-à-dire les flux audio et vidéo de chaque programme (étape 410).
Après réception de cette requête, le serveur transmet au client une description de la session, de préférence de type SDP, décrivant les flux audio et vidéo disponibles pour chaque programme (étape 415).
Le client transmet alors une requête, avantageusement une requête de type RTSP SETUP, demandant au serveur de préparer les sessions de transfert des flux de données pour chaque programme (étape 420).
Le client transmet également une requête, avantageusement une de type RTSP SET PARAMETER, comprenant les paramètres liés au second programme audio-vidéo pour adapter le flux à la source, c'est-à-dire avant la transmission (étape 425). Dans cet exemple, la taille de la vidéo doit être réduite d'un facteur quatre et le flux audio ne doit pas être transmis. Ainsi, pour le second programme, le serveur ne fournira que les données nécessaires à l'affichage du flux vidéo correspondant à la taille réduite, sans le flux audio.
Ensuite, le client envoie une requête, de préférence une requête de type RTSP PLAY, demandant au serveur de commencer à transmettre les flux requis (étape 430).
A la réception de la requête du client, le serveur transmet les flux vidéo des deux programmes ainsi que le flux audio du premier programme
(étape 435). L'utilisateur peut ainsi visualiser les deux programmes (étape 440).
Le programme secondaire a été adapté avant d'être transmis c'est-à-dire que seules les données utiles (vidéo de taille réduite sans audio) sont envoyées, comme requis par la scène.
De préférence, l'utilisateur actionne un bouton sur sa télécommande pour basculer du mode d'affichage du premier programme en plein écran avec affichage du second programme sous forme de vignette au mode d'affichage du second programme en plein écran avec affichage du premier programme sous forme de vignette. Le bouton de la télécommande actionne un script déclaré dans la scène qui modifie la scène elle-même.
Dans la nouvelle scène obtenue, un paramètre d'adaptation est défini pour le premier programme et non plus pour le second. Le second programme est maintenant le programme principal, affiché en plain écran, et le premier programme devient le programme secondaire, affiché sous forme de vignette. Le client envoie alors une requête, de préférence une requête de type RTSP SET PARAMETER, demandant au serveur de modifier les paramètres d'adaptation de chaque programme (étape 445).
A la réception de cette requête, le serveur modifie les paramètres de transmission et continue la transmission des flux avec les nouveaux paramètres selon lesquels le premier programme est transmis selon un format réduit, sans le flux audio, et le second programme est transmis en pleine résolution, avec le flux audio (étape 435). Il existe plusieurs possibilités pour le serveur de transmettre et d'adapter les données. Dans un premier cas, la vidéo est envoyée comme un seul flux, et l'adaptation consiste à supprimer des données dans le flux. Dans un deuxième cas, la vidéo est transmise sur plusieurs flux. Par exemple, un premier flux correspond à la couche de base et un deuxième flux correspond à la couche de rehaussement. L'adaptation consiste alors à ne transmettre qu'un flux. Une combinaison des deux possibilités ci-dessus est bien entendu possible.
L'affichage du client est modifié en conséquence (étape 440).
Les étapes 440, 445 et 435 sont avantageusement répétées chaque fois que l'utilisateur actionne le bouton de sa télécommande pour modifier le mode d'affichage. Naturellement, pour satisfaire des besoins spécifiques, une personne compétente dans le domaine de l'invention pourra appliquer des modifications dans la description précédente.

Claims

REVENDICATIONS
1. Procédé pour accéder à une partie d'un contenu multimédia à partir d'une scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce procédé étant caractérisé en ce qu'il comprend les étapes suivantes,
- Identification dans ladite scène multimédia d'une source dudit au moins un objet selon ladite au moins une référence audit au moins un objet
(405) ;
- Identification dans ladite scène multimédia d'au moins une instruction liée à ladite au moins une référence comprenant au moins un paramètre d'adaptation dudit au moins un objet (405) ; - transmission à ladite source d'au moins une indication relative à ladite au moins une instruction (425, 445) ; et,
- accès à au moins un flux de données représentant au moins une partie dudit objet, ledit au moins un flux de données étant adapté selon ladite au moins une indication (440).
2. Procédé selon la revendication 1 caractérisé en ce que ledit au moins un objet est mémorisé dans des moyens de stockage locaux ou distants.
3. Procédé pour modifier dynamiquement une scène multimédia de présentation d'un contenu multimédia, ladite scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce procédé étant caractérisé en ce qu'il comprend les étapes suivantes,
- identification dans ladite scène multimédia de ladite au moins une référence audit au moins un objet ;
- réception d'au moins une instruction comprenant au moins un paramètre d'adaptation dudit au moins un objet ; et,
- insertion dans ladite scène multimédia d'au moins une indication relative à ladite au moins une instruction comprenant ledit au moins un paramètre d'adaptation dudit au moins un objet, permettant à une source dudit au moins un objet d'adapter ledit flux de données selon ledit au moins un paramètre (445).
4. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que ledit au moins un objet est codé selon un codage scalable.
5. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que ledit au moins un paramètre d'adaptation est une contrainte d'adaptation.
6. Procédé selon l'une quelconques des revendications précédentes caractérisé en ce que ladite scène multimédia est codée selon un langage de type XML, SVG, LASeR, BIFS ou VRML.
7. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que ledit au moins un objet comprend au moins un élément parmi le groupe d'éléments constitué de séquences vidéo, d'images, d'audio et de graphiques.
8. Procédé de présentation de séquences vidéo ou d'images selon un mode image dans l'image comprenant chacune des étapes du procédé selon l'une quelconque des revendications précédentes.
9. Programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé selon l'une quelconque des revendications 1 à 7.
10. Dispositif pour accéder à une partie d'un contenu multimédia à partir d'une scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce dispositif étant caractérisé en ce qu'il comprend les moyens suivants,
- des moyens d'identification dans ladite scène multimédia d'une source dudit au moins un objet selon ladite au moins une référence audit au moins un objet ;
- des moyens d'identification dans ladite scène multimédia d'au moins une instruction liée à ladite au moins une référence comprenant au moins un paramètre d'adaptation dudit au moins un objet ; - des moyens de transmission à ladite source d'au moins une indication relative à ladite au moins une instruction ; et,
- des moyens d'accès à au moins un flux de données représentant au moins une partie dudit objet, ledit au moins un flux de données étant adapté selon ladite au moins une indication.
1 1. Dispositif selon la revendication 10 caractérisé en ce qu'il comprend en outre des moyens pour accéder audit au moins un objet mémorisé dans des moyens de stockage locaux ou distants.
12. Dispositif pour modifier dynamiquement une scène multimédia de présentation d'un contenu multimédia, ladite scène multimédia comprenant au moins une référence à au moins un objet pouvant être transmis sous forme de flux de données, ce dispositif étant caractérisé en ce qu'il comprend les moyens suivants,
- des moyens d'identification dans ladite scène multimédia de ladite au moins une référence audit au moins un objet ;
- des moyens de réception d'au moins une instruction comprenant au moins un paramètre d'adaptation dudit au moins un objet ; et,
- des moyens d'insertion dans ladite scène multimédia d'au moins une indication relative à ladite au moins une instruction comprenant ledit au moins un paramètre d'adaptation dudit au moins un objet, permettant à une source dudit au moins un objet d'adapter ledit flux de données selon ledit au moins un paramètre.
13. Dispositif selon l'une quelconque des revendications 10 à 12 caractérisé en ce qu'il comprend en outre des moyens de décodage adaptés à décoder un objet codé selon un codage scalable.
PCT/FR2007/052192 2006-10-18 2007-10-17 Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias WO2008047054A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0654353 2006-10-18
FR0654353 2006-10-18

Publications (2)

Publication Number Publication Date
WO2008047054A2 true WO2008047054A2 (fr) 2008-04-24
WO2008047054A3 WO2008047054A3 (fr) 2008-05-29

Family

ID=38268729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2007/052192 WO2008047054A2 (fr) 2006-10-18 2007-10-17 Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias

Country Status (1)

Country Link
WO (1) WO2008047054A2 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105722250A (zh) * 2014-12-03 2016-06-29 中国移动通信集团公司 一种数据传输与反向控制方法、设备及系统
WO2016143304A1 (fr) * 2015-03-12 2016-09-15 Sony Corporation Dispositif de traitement d'informations, système de communication, procédé de traitement d'informations et support non transitoire lisible par ordinateur
US10958950B2 (en) 2016-03-22 2021-03-23 Interdigital Vc Holdings, Inc. Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1239646A2 (fr) * 2001-03-09 2002-09-11 Kabushiki Kaisha Toshiba Procédé et dispositif de reproduction de contenus
US20030046691A1 (en) * 2001-08-31 2003-03-06 Toshiyuki Nakagawa Data processing apparatus and method
US20040098753A1 (en) * 2002-03-20 2004-05-20 Steven Reynolds Video combiner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1239646A2 (fr) * 2001-03-09 2002-09-11 Kabushiki Kaisha Toshiba Procédé et dispositif de reproduction de contenus
US20030046691A1 (en) * 2001-08-31 2003-03-06 Toshiyuki Nakagawa Data processing apparatus and method
US20040098753A1 (en) * 2002-03-20 2004-05-20 Steven Reynolds Video combiner

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105722250A (zh) * 2014-12-03 2016-06-29 中国移动通信集团公司 一种数据传输与反向控制方法、设备及系统
CN105722250B (zh) * 2014-12-03 2019-04-16 中国移动通信集团公司 一种数据传输与反向控制方法、设备及系统
WO2016143304A1 (fr) * 2015-03-12 2016-09-15 Sony Corporation Dispositif de traitement d'informations, système de communication, procédé de traitement d'informations et support non transitoire lisible par ordinateur
JP2016171428A (ja) * 2015-03-12 2016-09-23 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
US10477268B2 (en) 2015-03-12 2019-11-12 Sony Corporation Information processing apparatus, communication system, information processing method and non-transitory computer readable medium
TWI686067B (zh) * 2015-03-12 2020-02-21 日商新力股份有限公司 資訊處理設備、通訊系統、資訊處理方法、及程式
RU2718117C2 (ru) * 2015-03-12 2020-03-30 Сони Корпорейшн Устройство обработки информации, система связи, способ обработки информации и энергонезависимый считываемый компьютером носитель информации
US10958950B2 (en) 2016-03-22 2021-03-23 Interdigital Vc Holdings, Inc. Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Also Published As

Publication number Publication date
WO2008047054A3 (fr) 2008-05-29

Similar Documents

Publication Publication Date Title
CN108476324B (zh) 增强视频流的视频帧中的感兴趣区域的方法、计算机和介质
Li et al. Fundamentals of multimedia
TWI323126B (en) Method to transmit and receive font information in streaming systems
Avaro et al. MPEG-4 systems: overview
FR2823942A1 (fr) Dispositif pour une conversion d&#39;un format bifs textuel vers un format bifs binaire
EP1952636A1 (fr) Procede d&#39;optimisation de rendu d&#39;une scene multimedia, programme, signal, support de donnees, terminal et procede de reception correspondants
Zampoglou et al. Adaptive streaming of complex Web 3D scenes based on the MPEG-DASH standard
Dufourd et al. An MPEG standard for rich media services
US20190208281A1 (en) User device pan and scan
FR2912275A1 (fr) Procede de transmission d&#39;au moins un contenu representatif d&#39;un service, depuis un serveur vers un terminal, dispositif et produit programme d&#39;ordinateur correspondants
WO2008047054A2 (fr) Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias
GB2567485A (en) Method and device for exchanging data between a web application and an associated web engine
EP1623578B1 (fr) Procede et systeme pour securiser l embrouillage, le desembrouillage et la distribution de sequences visuelles vectorielles
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
KR20010093190A (ko) 폰트 대체 시스템
EP1383336B1 (fr) Procédé de décompression et de restitution d&#39;un flux de données multimédia numériques compressées comprenant une pluralité d&#39;entités encodées. Dispositif, système et signal correspondants
Dufourd LASeR: The lightweight rich media representation standard [Standards in a Nutshell]
Lim et al. Semantic transcoding of video based on regions of interest
Lugmayr et al. Face customization in a real-time digiTV stream
WO2024015222A1 (fr) Signalisation d&#39;incrustation d&#39;image dans un fichier de conteneur multimédia et dans un manifeste de diffusion en continu
Lim et al. MPEG Multimedia Scene Representation
Concolato et al. Timed-fragmentation of SVG documents to control the playback memory usage
CN117256136A (zh) 用于处理备选媒体表示描述的方法、设备和计算机可读介质
Arsov A framework for distributed 3D graphics applications based on compression and streaming
Chiariglione Moving picture experts group (mpeg)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07858615

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07858615

Country of ref document: EP

Kind code of ref document: A2