WO2003013146A1 - Procede et dispositif de codage d'une scene - Google Patents

Procede et dispositif de codage d'une scene Download PDF

Info

Publication number
WO2003013146A1
WO2003013146A1 PCT/FR2002/002640 FR0202640W WO03013146A1 WO 2003013146 A1 WO2003013146 A1 WO 2003013146A1 FR 0202640 W FR0202640 W FR 0202640W WO 03013146 A1 WO03013146 A1 WO 03013146A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
scene
composition
textures
Prior art date
Application number
PCT/FR2002/002640
Other languages
English (en)
Inventor
Paul Kerbiriou
Gwenaël KERVELLA
Laurent Blonde
Michel Kerdranvat
Original Assignee
Thomson Licensing S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing S.A. filed Critical Thomson Licensing S.A.
Priority to US10/484,891 priority Critical patent/US20040258148A1/en
Priority to EP02791510A priority patent/EP1433333A1/fr
Priority to JP2003518188A priority patent/JP2004537931A/ja
Publication of WO2003013146A1 publication Critical patent/WO2003013146A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the invention relates to a method and a device for coding and decoding a scene composed of objects whose textures come from different video sources.
  • Multimedia broadcasting systems are generally based on the transmission of video information, either via separate elementary streams, or via a transport stream multiplexing the different elementary streams, or a combination of the two.
  • This video information is received by a terminal or receiver made up of a set of elementary decoders simultaneously performing the decoding of each of the elementary streams received or demultiplexed.
  • the final image is composed from the decoded information. This is for example the case of the transmission of streams of MPEG 4 coded video data.
  • This type of advanced multimedia system attempts to offer great flexibility to the end user by offering them possibilities for composing several flows and interactivity at the terminal level.
  • the extra processing is actually quite significant if we consider the complete chain, from. the generation of simple flows to the restitution of a final image. It concerns all the levels of the chain: coding, addition of inter-stream synchronization elements and packetization, multiplexing, demultiplexing, taking into account of inter-stream synchronization elements and depacketization, decoding.
  • composition system upon reception, which produces the final image of the scene to be viewed according to the information defined by the content creator.
  • a great complexity of management at the system level or at the processing level is therefore generated.
  • the first systems therefore require the management of numerous data flows both at the transmission and reception levels. It is not possible to achieve in a simple way, a local composition or "scene" from several videos. Expensive devices such as decoders and complex management of these decoders must be put in place for the exploitation of these streams.
  • the number of decoders can be a function of the different types of coding used for the data received corresponding to each of the streams, but also the number of video objects that can compose the scene.
  • the processing time of the received signals due to centralized management of the decoders, is not optimized. The management and processing of the images obtained, because of their multitude, are complex.
  • the invention aims to overcome the aforementioned drawbacks.
  • Its subject is a method of coding a scene made up of objects whose textures are defined from images or parts of images from different video sources, characterized in that it comprises the steps:
  • auxiliary data comprising information relating to the composition of the composed image and information relating to the textures of the objects.
  • the composite image is obtained by spatial multiplexing of the images or parts of images.
  • the video sources from which the images or parts of images composing the same composed image are selected have the same coding standards.
  • the composite image may also include a still image not from a video source.
  • the dimensioning is a reduction in size obtained by subsampling.
  • the composed image is coded according to the MPEG 4 standard and the information relating to the composition of the image are the texture coordinates.
  • the invention also relates to a method for decoding a scene composed of objects, coded from a composite video image grouping images or parts of images from different video sources and from auxiliary data which is information of composition of the composite video image and of information relating to the textures of the objects, characterized in that it performs the steps of:
  • the method is characterized in that the extraction of the textures is carried out by spatial demultiplexing of the decoded image. •.
  • the method is characterized in that a texture is processed by oversampling and spatial interpolation to obtain the texture to be displayed in the final image viewing the scene.
  • the invention also relates to a device for coding a scene composed of objects whose textures are defined from images or parts of images from different video sources, characterized in that it comprises:
  • a video editing circuit receiving the different video sources for dimensioning and positioning on an image, images or parts of images originating from these video sources, for producing a composite image
  • an auxiliary data generation circuit connected to the video editing circuit to supply information relating to the composition of the composed image and information relating to the textures of the objects, a coding circuit for the composed image,
  • the invention also relates to a device for decoding a scene composed of objects, coded from a composite video image grouping together images or parts of images from different video sources and from auxiliary data which is information. of composition of the composite video image and of information relating to the textures of the objects, characterized in that it comprises:
  • auxiliary data a circuit for decoding the auxiliary data - a processing circuit receiving the auxiliary data and the decoded image for extracting textures from the decoded image from the auxiliary data for composing the image and for applying textures to objects of the scene from the auxiliary data relating to the textures.
  • the idea of the invention is to group, on an image, elements or texture elements which are images or parts of images coming from: different video sources and necessary for the construction of the scene to be visualized, so to "transport" this video information on a single image or a limited number of images.
  • a spatial composition of these elements is therefore produced and it is the overall composite image obtained which is coded instead of coding separate from each video image from video sources.
  • a scene . overall, the construction of which usually requires several video streams can be constructed from a more limited number of video streams and even from a single video stream transmitting the composed image.
  • the decoding circuits are simplified and the construction of the scene carried out in a more flexible manner .
  • QCIF format an English expression Quarter Common Intermediate Format
  • GIF Common Intermediate Format
  • the image On reception, the image is not simply presented. It is recomposed using transmitted composition information. This makes it possible to present the user with a less frozen image, potentially including an animation resulting from the composition, and to offer him further interactivity, each recomposed object being able to be active.
  • Management at the receiver is simplified, the data to be transmitted can be more compressed due to the grouping of video data on an image, the number of circuits necessary for decoding is reduced. Optimizing the number of streams minimizes the resources required in relation to the content transmitted.
  • FIG. 1 a coding device according to the invention
  • FIG. 1 represents a coding device according to the invention.
  • the circuits at 1 n symbolize the generation of: various video signals, available to the encoder for the coding of a scene to be viewed by the receiver. These signals are transmitted to a composition circuit 2 which has the function of composing an overall image from those corresponding to the signals received. The overall image obtained is called the composite image or mosaic.
  • This composition is defined on the basis of information exchanged with an auxiliary data generation circuit 4.
  • composition information making it possible to define the composed image and thus to extract, at the receiver, the various elements or sub- images composing this image, for example position and shape information in the image such as the coordinates of the vertices of rectangles if the elements constituting the transmitted image are of rectangular shape or shape descriptors.
  • This composition information makes it possible to extract textures and it is thus possible to define a library of textures for the composition of the final scene.
  • auxiliary data relate to the image composed by the circuit 2 but also to the final image representing the scene to be viewed at the receiver.
  • graphic information for example relating to geometric shapes, appearances, the composition of the scene making it possible to configure a scene represented by the final image.
  • This information defines the elements to be associated with graphic objects for the mapping of textures. They also define the possible interactivities making it possible to reconfigure the final image from these interactivities ...
  • the composition of the image to be transmitted can be optimized according to the textures necessary for the construction of the final scene.
  • the composite image generated by the composition circuit 2 is transmitted to a coding circuit 3 which performs coding of this image.
  • Auxiliary data 1 from circuit 4. are i transmitted to a coding circuit 5 which realizes, .coding of these data:
  • the outputs of coding circuits 3 and 5 are transmitted to the inputs of a multiplexing circuit 6 which multiplexes the received data, ie video data relating to the composed image and auxiliary data
  • the output of the multiplexing circuit is transmitted to the input of a transmission circuit 7 for the transmission of the multiplexed data.
  • the composite image is produced from images or parts of images of any shape extracted from video sources but may also contain still images or, in general, any type of representation. Depending on the number of sub-images to be transmitted, one or more composed images can be produced for the same instant, that is to say for a final image of the scene. In the case where the video signals use different standards, these signals can be grouped by standard of the same type for the composition of a composite image.
  • a first composition is made from all the elements to be coded according to the MPEG-2 standard, a second composition from all the elements to be coded according to the MPEG-4 standard, another from the elements to be coded according to the standard JPEG or GIF images or other, so that a single stream is emitted per type of coding and / or by media type.
  • the image composed may be a regular mosaic consisting for example of rectangles or sub-images of the same size or else an irregular mosaic.
  • the auxiliary flow transmits the data corresponding to the composition of the mosaic.
  • the composition circuit can perform the composition of the overall image 0 from enclosing rectangles or limitation windows defining the elements.
  • a choice of the elements necessary for the final scene is made by the composer.
  • These elements are extracted from images available to the composer from different video streams.
  • a spatial composition is then produced from the selected elements 5 - ; by "placing" them on a global image constituting a single video.
  • V The information about the positioning. these various elements, coordinates, dimensions, etc., are transmitted to the auxiliary data generation circuit which processes them to transmit them, on the stream.
  • composition circuit is in the known field; This is for example 0 a professional video editing tool, of the "Adobe premiere" type (Adobe
  • - .. - is a registered trademark). Thanks to such a circuit, objects can be extracted ... from video sources, for example by selecting parts of images, the images of these objects can be resized and positioned on a global image. A spatial multiplexing is for example carried out to obtain the composite image.
  • the means of constructing a scene, from which a part of the auxiliary data is generated, are also in the known field.
  • the MPEG4 standard uses the VRML language (Virtual Reality Modeling Language) or more precisely the binary language BIFS 0 (BInary Format for Scenes) which allows to define the presentation of a scene, to change it, to update it .
  • the BIFS description of a scene makes it possible to modify the properties of objects and to define their conditional behavior. It follows a hierarchical structure which is a tree description. 5
  • the data necessary for the description of a scene concern, among other things, the construction rules, the animation rules for an object, interactivity rules for another object ... They describe the final scenario. Some or all of this data constitutes the auxiliary data for the construction of the scene.
  • FIG. 2 represents a receiver for such a coded data stream.
  • the signal received at the input of the receiver 8 is transmitted to a demultiplexer 9 which separates the video stream from the auxiliary data.
  • the video stream is transmitted to a video decoding circuit 10 which decodes the overall image as it was composed at the level of the coder.
  • the auxiliary data at the output of the demultiplexer 9 are transmitted to a decoding circuit 11 which performs decoding of the auxiliary data.
  • a processing circuit 12 processes the video data and the auxiliary data coming respectively from the circuits 10 and 11 to extract the elements, the textures necessary for the
  • the recomposition information then extracting only these elements from the composed image: - -
  • the elements are extracted; - for example, by spatial demultiplexing.
  • the construction information therefore makes it possible to select only a part of the elements constituting the composed image. They also allow the user to "navigate" in the constructed scene in order to view objects of interest.
  • the navigation information from the user is for example transmitted to an input of the circuit 12 (not shown in the figure) which modifies the composition of the scene accordingly.
  • the textures transported by the composed image may not be used directly in the scene. They can, for example, be memorized by the receiver for use in offset time or for the constitution of a library used for the construction of the scene.
  • An application of the invention relates to the transmission of video data in MPEG4 standard corresponding to several programs from a single video stream or more generally the optimization of the number of streams in an MPEG4 configuration, for example for a program guide application. If, in a classic MPEG-4 configuration, it is necessary to transmit as many streams as there are videos that can be viewed at the terminal, the method described makes it possible to send a global image containing several videos and to use texture coordinates to build a new scene upon arrival.
  • FIG. 3 represents an example of a composite scene constructed from elements of a composite image.
  • the global image 14, also called composite texture is composed of several sub-images or elements or sub-textures 15, 16, 17, 18, 19.
  • the image 20, at the bottom of the figure, corresponds to the scene at view.
  • the positioning of the objects to construct this scene corresponds to the graphic image 21 which represents the graphic objects. . •
  • each of MPEG ⁇ 4 coding and according to the prior art each
  • video or still image corresponding to elements. 15 to 19 is transmitted in 1 a video or still image stream.
  • the graphic data is transmitted in the graphic stream. • ' . • • ; .
  • a global image is composed from the images relating to the different videos or still images to " form the composite image 14 represented at the top of the figure. This global image is coded.
  • Auxiliary data relating to the composition of the overall image and defining the geometric shapes are transmitted in parallel allowing the elements to be separated. The texture coordinates at the vertices, when these fields are used, allow these shapes to be textured from the composite image.
  • Auxiliary data relating to the construction of the scene and defining the graphic image 21 are transmitted.
  • the composite texture image is transmitted over the video stream.
  • the elements are coded as video objects and their geometric shapes 22, 23 and texture coordinates at the vertices (in the composite image or the composite texture) are transmitted over the graphic stream.
  • the texture coordinates are the composition information of the composed image.
  • the stream which is transmitted can be coded to the MPEG-2 standard and in this case, it is possible to exploit the functionalities of the circuits of existing platforms integrating the receivers.
  • elements supplementing the main programs can be transmitted on an additional video stream
  • MPEG-2 or MPEG-4 This flow can contain several visual elements such as logos, advertising banners, animated or not, which can be combined with one or other of the programs broadcast, at the choice of the broadcaster. These items can also be displayed based on user preferences or profile. An associated interaction can be expected.
  • Two decoding circuits are used, one for the program, one for the composite image and the auxiliary data. A spatial multiplexing is then possible of the program being broadcast with additional information coming from the composed image. . : '.
  • a single annex video stream can be used for a program package, to complete - several programs or several user profiles.

Abstract

Le procédé de codage d'une scène composée d'objets dont les textures sont définies ô partir d'images ou parties d'images provenant de différentes sources vidéo (11, 1n) est caractérisé en ce qu'il comporte les étapes: - de composition spatiale (2) d'une image en dimensionnant et positionnant sur une image, les dites images ou parties d'images provenant des différentes sources vidéo, pour obtenir une image composée, - de codage (3) de l'image composée, - de calcul et codage de données auxiliaires (4) comprenant des informations relatives ô la composition de l'image composée et des informations relatives aux textures des objets.

Description

PROCEDE ET DISPOSITIF DE CODAGE D'UNE SCENE
L'invention concerne un procédé et un dispositif de codage et de décodage d'une scène composée d'objets dont les textures proviennent de différentes sources vidéo.
De plus en plus d'applications multimédia nécessitent l'exploitation d'informations vidéo en un même instant.
Les systèmes de diffusion multimédia sont généralement basés sur la transmission d'informations vidéo, soit par l'intermédiaire de flux élémentaires séparés, soit par l'intermédiaire d'un flux de transport multiplexant les différents flux élémentaires, soit une combinaison des deux.
Ces informations vidéo sont reçues par un terminal ou récepteur constitué d'un ensemble de décodeurs élémentaires réalisant simultanément le décodage de chacun des flux élémentaires reçus ou démultiplexés. L'image finale est composée à partir des informations décodées. C'est par exemple le , cas de la transmission de flux de données vidéo codées MPEG 4.
Ce type de système avancé multimédia tente d'offrir une grande souplesse à l'utilisateur final en lui proposant des possibilités de composition de plusieurs flux et d'interactivité au niveau du terminal. Le surplus de traitement est en fait assez important si l'on considère la chaîne complète, de . la génération des flux simples à la restitution d'une image finale. Il concerne tous les niveaux de la chaîne: codage, ajout des éléments de synchronisation inter flux et paquétisation, multiplexage, démultiplexage, prise en compte des éléments de synchronisation inter flux et dé- paquétisation, décodage.
Au lieu d'avoir une seule image vidéo, il faut transmettre tous les éléments qui composeront l'image finale, chacun dans un flux élémentaire.
C'est le système de composition, à la réception, qui fabrique l'image finale de la scène à visualiser en fonction des informations définies par le créateur de contenu. Une grande complexité de gestion au niveau système ou au niveau traitement (préparation du contexte et des données, présentation des résultats...) est donc générée.
D'autres systèmes sont basés sur la génération de mosaïques d'images en post-production, c'est à dire avant leur transmission. C'est par exemple le cas pour des services tels que les guides de programmes. L'image ainsi obtenue est codée et diffusée, par exemple au standard MPEG2.
Les premiers systèmes imposent donc la gestion de nombreux flux de données aussi bien au niveau émission que réception. Il n'est pas possible de réaliser de manière simple, une composition locale ou "scène" à partir de plusieurs vidéos. Des dispositifs coûteux tels que décodeurs et une gestion complexe de ces décodeurs doivent être mis en place pour l'exploitation de ces flux. Le nombre de décodeurs peut être fonction des différents types de codages exploités pour les données reçues correspondant à chacun des flux mais également du nombre d'objets vidéo pouvant composer la scène. Le temps de traitement des signaux reçus, du fait d'une gestion centralisée des décodeurs, n'est pas optimisé. La gestion et traitement des images obtenues, du fait de leur multitude, sont complexes.
Quant à la technique de mosaïque d'image sur laquelle sont basés les autres systèmes, elle offre peu de possibilités de composition et d'interaction au niveau du terminal et conduit à une trop grande rigidité.
L'invention a pour but de pallier les inconvénients précités.
Elle a pour objet un procédé de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenante différentes sources vidéo, caractérisé en ce qu'il comporte les étapes:
- de composition spatiale d'une image en dimensionnant et positionnant sur une image, les dites images ou parties d'images provenant des différentes sources vidéo, pour obtenir une image composée,
- de codage de l'image composée,
- de calcul et codage de données auxiliaires comprenant des informations relatives à la composition de l'image composée et des informations relatives aux textures des objets. Selon une mise en oeuvre particulière, l'image composée est obtenue par multiplexage spatial des images ou parties d'images.
Selon une mise en œuvre particulière, les sources vidéo à partir desquelles sont sélectionnés les images ou parties d'images composant une même image composée, ont les mêmes normes de codage. L'image composée peut comporter également une image fixe ne provenant pas d'une source vidéo. Selon une mise en œuvre particulière, le dimensionnement est une réduction de taille obtenue par sous-échantillonnage.
Selon une mise en œuvre particulière, l'image composée est codée selon la norme MPEG 4 et les informations relatives à la composition de l'image sont les coordonnées de textures.
L'invention concerne également un procédé de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée et des informations relatives aux textures des objets, caractérisé en ce qu'il effectue les étapes de :
- décodage de l'image vidéo pour obtenir une image décodée
- décodage des données auxiliaires,
- extraction de textures de l'image décodée à. partir des données auxiliaires de composition de l'image., :' . : . : - : . ...
- plaquage des textures sur des objets de la scène à partir des données auxiliaires relatives aux textures.
Selon une mise en. œuvre particulière, le procédé est caractérisé en ce que l'extraction des textures est effectuée par démultiplexage spatial de l'image décodée. ;.• .
Selon une mise en œuvre particulière, le procédé est caractérisé en ce qu'une texture est traitée par suréchantillonnage et interpolation spatiale pour obtenir la texture à afficher dans l'image finale visualisant la scène.
L'invention concerne également un dispositif de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenant de différentes sources vidéo, caractérisé en ce qu'il comprend:
- un circuit de montage vidéo recevant les différentes sources vidéo pour dimensionner et positionner sur une image, des images ou parties d'images provenant de ces sources vidéo, pour réaliser une image composée,
- un circuit de génération de données auxiliaires relié au circuit de montage vidéo pour fournir des informations relatives à la composition de l'image composée et des informations relatives aux textures des objets, - un circuit de codage de l'image composée,
-un circuit de codage des données auxiliaires. L'invention concerne également un dispositif de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images provenant de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée et des informations relatives aux textures des objets, caractérisé en ce qu'il comporte :
- un circuit de décodage de l'image vidéo composée pour obtenir une image décodée,
- un circuit de décodage des données auxiliaires - un circuit de traitement recevant les données auxiliaires et l'image décodée pour extraire des textures de l'image décodée à partir des données auxiliaires de composition de l'image et pour plaquer des textures sur des objets de la scène à partir des données auxiliaires relatives aux textures.
L'idée de l'invention est dé regrouper, sur une image, des éléments ou éléments de texture qui sont des images ou parties d'images provenant de: différentes sources vidéo et nécessaires à la construction de la scène à' visualiser, de manière à "transporter" ces informations vidéo sur une seule image ou un nombre limité .d'images... Une composition spatiale de ces éléments est donc réalisée et c'est l'image composée globale obtenue qui est codée au lieu d'un codage séparé de chaque' image vidéo provenant des sources vidéo. Une scène . globale dont / la construction nécessite habituellement plusieurs flux vidéo peut être construite à partir d'un nombre plus limité de flux vidéo et même à partir d'un seul flux vidéo transmettant l'image composée.
Grâce à l'émission d'une image composée de manière simple et la transmission de données associées décrivant à la fois cette composition et la construction de la scène finale, les circuits de décodage sont simplifiés et la construction de la scène réalisée de manière plus souple. En prenant un exemple simple, si au lieu de coder et de transmettre séparément 4 images au format QCIF (acronyme de l'expression anglaise Quarter Common Intermediate Format), c'est à dire de coder et de transmettre sur un flux élémentaire chacune des 4 images au format QCIF, on ne transmet qu'une seule image au format GIF (Common Intermediate Format) regroupant ces quatre images, le traitement au niveau du codage et du décodage est simplifié et plus rapide, pour des images de complexité de codage identique.
A la réception, l'image n'est pas simplement présentée. Elle est recomposée en utilisant des informations de composition transmises. Cela permet de présenter à l'utilisateur une image moins figée, incluant potentiellement une animation résultant de la composition, et de lui offrir une interactivité plus poussée, chaque objet recomposé pouvant être actif.
La gestion au niveau du récepteur est simplifiée, les données à transmettre peuvent être davantage comprimées du fait du regroupement de données vidéo sur une image, le nombre de circuits nécessaires au décodage est réduit. L'optimisation du nombre de flux permet de minimiser les ressources nécessaires par rapport au contenu transmis.
D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif. . et faite en regard des figures annexées qui représentent : >
- la figure 1 un dispositif de codage selon l'invention,
- la figure 2 un récepteur selon l'invention, - ~
- la'figure 3 un exemple de scène composite:. !
' ' : ;' La figure 1 représente un dispositif de codage selon l'invention. Les circuits \ à 1n symbolisent la génération des: différents signaux vidéos, disponibles au codeur pour le codage .d'une scène à visualiser par le récepteur. Ces signaux sont transmis à un circuit de composition 2 qui a pour fonction de composer une image globale à partir de celles correspondant aux signaux reçus. L'image globale obtenue est appelée image composée ou mosaïque. Cette composition est définie à partir d'informations échangées avec un circuit de génération de données auxiliaires 4. Il s'agit des informations de composition permettant de définir l'image composée et ainsi d'extraire, au récepteur, les différents éléments ou sous-images composant cette image, par exemple des informations de position et de forme dans l'image telles que les coordonnées des sommets de rectangles si les éléments constituant l'image transmise sont de forme rectangulaire ou des descripteurs de forme. Ces informations de composition permettent d'extraire des textures et il est ainsi possible de définir une bibliothèque de textures pour la composition de la scène finale. Ces données auxiliaires sont relatives à l'image composée par le circuit 2 mais également à l'image finale représentant la scène à visualiser au récepteur. Il s'agit alors d'informations graphiques, par exemple relatives aux formes géométriques, aux apparences, à la composition de la scène permettant de configurer une scène représentée par l'image finale. Ces informations définissent les éléments à associer aux objets graphiques pour le plaquage des textures. Elles définissent également les interactivités possibles permettant de reconfigurer l'image finale à partir de ces interactivités ... La composition de l'image à transmettre peut être optimisée en fonction des textures nécessaires à la construction de la scène finale.
L'image composée générée par le circuit de composition 2 est transmise à un circuit de codage 3 qui réalise un codage de cette image. Il
". s'agit par. exemple d'un codage de type MPEG de l'image globale alors . . découpée en macroblocs. Des limitations peuvent être prévues pour l'estimation de mouvement en réduisant les fenêtres de recherches à la
. dimension des sous-images, ou à l'intérieur des zones dans lesquelles sont positionnés les éléments d'une image à l'autre, ceci afin d'imposer aux vecteurs mouvement de pointer dans la même sous-image ou zone de v codage de l'élément. Les données 1 auxiliaires provenant du circuit 4 . sont i transmises à un circuit de codage 5 qui réalise, tin .codage de ces données:
..".-•'Les sorties des circuits de codage 3 et 5 sont transmises aux entrées d'un circuit de multiplexage 6 qui effectue un multiplexage des données reçues, c'est à dire des données vidéo relatives à l'image composée et des données auxiliaires. La sortie du circuit de multiplexage est transmise à l'entrée d'un circuit de transmission 7 pour la transmission des données multiplexées.
L'image composée est réalisée à partir d'images ou parties d'image de formes quelconques extraites de sources vidéo mais peut également contenir des images fixes ou, d'une manière générale, tout type de représentation. Selon le nombre de sous-images à transmettre, une ou plusieurs images composées peuvent être réalisées pour un même instant, c'est à dire pour une image finale de la scène. Dans le cas où les signaux vidéo exploitent des standards différents, ces signaux peuvent être regroupés par standard du même type pour la composition d'une image composée. Par exemple, une première composition est réalisée à partir de tous les éléments à coder selon la norme MPEG-2, une deuxième composition à partir de tous les éléments à coder selon la norme MPEG-4, une autre à partir des éléments à coder selon la norme JPEG ou GIF images ou autre, de telle sorte que l'on émette un seul flux par type de codage et / ou par type de média. 5 L'image composée peut-être une mosaïque régulière constituée par exemple de rectangles ou sous-images de même taille ou bien une mosaïque irrégulière. Le flux auxiliaire transmet les données correspondant à la composition de la mosaïque.
Le circuit de composition peut effectuer la composition de l'image 0 globale à partir de rectangles englobant ou fenêtres de limitation définissant les éléments. Ainsi un choix des éléments nécessaires à la scène finale est effectué par le compositeur. Ces éléments sont extraits d'images à disposition du compositeur provenant de différents flux vidéo. Une composition spatiale est ensuite réalisée à partir des éléments sélectionnés 5 - ; en des "plaçant" sur une image globale constituant une seule vidéo. Les v informations relatives au positionnement de . ces différents éléments, coordonnées, dimensions, etc., sont transmises au circuit de génération de- données auxiliaires qui les traitent pour les transmettre, sur le flux.
Le circuit.de composition est du domaine connu; Il s'agit par exemple 0 d'un outil de montage vidéo professionnel, du type "Adobe première" (Adobe
- .. - est une marque déposée). Grâce à un tel circuit, des objets peuvent être extraits ...des sources vidéo, par exemple en sélectionnant des parties d'images, les images de ces objets peuvent être redimensionnées et positionnées sur une image globale. Un multiplexage spatial est par exemple 5 effectué pour obtenir l'image composée.
Les moyens de construction d'une scène, à partir desquels est générée une partie des données auxiliaires, sont également du domaine connu. Par exemple, la norme MPEG4 fait appel au langage VRML (Virtual Reality Modeling Language) ou plus précisément au langage binaire BIFS 0 (BInary Format for Scènes) qui permet de définir la présentation d'une scène, de la changer, de l'actualiser. La description BIFS d'une scène permet de modifier les propriétés des objets et de définir leur comportement conditionnel. Elle suit une structure hiérarchique qui est une description arborescente. 5 Les données nécessaires à la description d'une scène concernent, entre autres, les règles de construction, les règles d'animation pour un objet, les règles d'interactivité pour un autre objet... Elles décrivent le scénario final. Une partie ou la totalité de ces données constitue les données auxiliaires pour la construction de la scène.
La figure 2 représente un récepteur pour un tel flux de données codé.
Le signal reçu à l'entrée du récepteur 8 est transmis à un démultiplexeur 9 qui sépare le flux vidéo des données auxiliaires. Le flux vidéo est transmis à un circuit de décodage vidéo 10 qui décode l'image globale telle qu'elle a été composée au niveau du codeur. Les données auxiliaires en sortie du démultiplexeur 9 sont transmises à un circuit de décodage 11 qui réalise un décodage des données auxiliaires. Enfin un circuit de traitement 12 traite les données vidéo et les données auxiliaires provenant respectivement des circuits 10 et 11 pour extraire les éléments, les textures nécessaires à la
.scène1, puis construire cette scène, l'image représentant celle-ci étant alors .- transmise à l'afficheur 13. Soit les éléments constituant l'image composée
.sont systématiquement extraits de l'image pour être exploités ou non, soit les
- informations de construction .de la scène finale désignent les éléments
. nécessaires à la construction de cette scène finale,} les informations de recomposition extrayant alors- ces seuls éléments de l'image composée: - - Les éléments sont extraits;- par exemple, par démultiplexage spatial.
Ils sont' redimensionnés, si nécessaire, par suréchantillonnage et interpolation spatiale.
Les informations de construction permettent donc de ne sélectionner qu'une partie des éléments constituant l'image composée. Elles permettent également d'autoriser l'utilisateur à "naviguer" dans la scène construite afin de visualiser des objets l'intéressant. Les informations de navigation provenant de l'utilisateur sont par exemple transmises en une entrée du circuit 12 (non représentée sur la figure) qui modifie la composition de la scène en conséquence. Bien évidemment, les textures transportées par l'image composée peuvent ne pas être exploitées directement dans la scène. Elles peuvent, par exemple, être mémorisées par le récepteur pour une exploitation en temps décalé ou pour la constitution d'une bibliothèque utilisée pour la construction de la scène. Une application de l'invention concerne la transmission des données vidéo au standard MPEG4 correspondant à plusieurs programmes à partir d'un seul flux vidéo ou plus généralement l'optimisation du nombre de flux dans une configuration MPEG4, par exemple pour une application guide de programmes. Si, dans une configuration classique MPEG-4, il est nécessaire de transmettre autant de flux que de vidéos pouvant être visualisées au niveau du terminal, le procédé décrit permet d'envoyer une image globale contenant plusieurs vidéos et d'utiliser les coordonnées de texture pour construire une nouvelle scène à l'arrivée.
La figure 3 représente un exemple de scène composite construite à partir d'éléments d'une image composée. L'image globale 14, aussi appelée texture composite, est composée de plusieurs sous-images ou éléments ou sous-textures 15, 16, 17, 18, 19. L'image 20, en bas de la figure, correspond à la scène à visualiser. Le positionnement des objets pour construire cette scène correspond à l'image graphique 21 qui représente les objets graphiques. . • Dans le cas d'un codage MPEGΓ4 et selon 'art antérieur, chaque
, vidéo ou image fixe correspondant aux éléments.15 à 19 est transmise dans1 un flux vidéo ou d'image fixe. Les données graphiques sont transmises dans le flux graphique. • ' .• •; . Dans notre invention, une image globale est composée à partir des images relatives aux différentes vidéo ou images fixes pour «former l'image composée 14 représentée en haut de la figure. Cette image globale , est codée. Des données, auxiliaires relatives à la composition de l'image globale et définissant les formes géométriques (seulement deux formes 22 et 23 sont représentées sur la figure) sont transmises en parallèle permettant de séparer les éléments. Les coordonnées de texture aux sommets, lorsque ces champs sont exploités, permettent de texturer ces formes à partir de l'image composée. Des données auxiliaires relatives à la construction de la scène et définissant l'image graphique 21 sont transmises.
Dans le cas d'un codage MPEG-4 de l'image composée et selon l'invention, l'image texture composite est transmise sur le flux vidéo. Les éléments sont codés comme objets vidéo et leurs formes géométrique 22, 23 et coordonnées de texture aux sommets (dans l'image composée ou la texture composite) sont transmises sur le flux graphique. Les coordonnées de texture sont les informations de composition de l'image composée. Le flux qui est transmis peut être codé au standard MPEG-2 et dans ce cas, il est possible d'exploiter les fonctionnalités des circuits de plateformes existantes intégrant les récepteurs.
Dans le cas d'une plate-forme pouvant décoder plus d'un programme MPEG-2 à un instant donné, des éléments complétant les programmes principaux peuvent être transmis sur un flux vidéo annexe
MPEG-2 ou MPEG-4. Ce flux peut contenir plusieurs éléments visuels tels que des logos, des bannières publicitaires, animés ou non, qui peuvent être recombinés avec l'un ou l'autre des programmes diffusés, au choix du diffuseur. Ces éléments peuvent également être affichés en fonction des préférences ou du profil de l'utilisateur. Une interaction associée peut être prévue. Deux circuits de décodage sont exploités, un pour le programme, un pour l'image composée et les données auxiliaires. Un multiplexage spatial est alors possible du programme en cours de diffusion avec des informations supplémentaires provenant de l'image composée. . : ' .
:Un .seul flux vidéo annexe peut être utilisé pour un bouquet de programme, pour compléter - plusieurs programmes ou plusieurs profils d'utilisateurs.

Claims

REVENDICATIONS
1 Procédé de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenant de différentes sources vidéo (1 ι, ...1n), caractérisé en ce qu'il comporte les étapes:
- de composition spatiale (2) d'une image en dimensionnant et positionnant sur une image, les dites images ou parties d'images provenant des différentes sources vidéo, pour obtenir une image composée,
- de codage (3) de l'image composée,
- de calcul et codage de données auxiliaires (4) comprenant des informations relatives à la composition de l'image composée, aux textures des objets et à la composition de la scène.
2 Procédé selon la revendicatio -1 , caractérisé en ce que l'image composée est obtenue par multiplexage spatial des images ou parties d'images.
3 Procédé selon la revendication 1 , caractérisé en ce que les sources vidéo à partir desquelles sont sélectionnés les images ou parties d'images composant une même image composée, ont les mêmes normes de codage.
4 Procédé selon la revendication 1 , caractérisé en ce que l'image composée comporte également une image fixe ne provenant pas d'une source vidéo.
5 Procédé selon la revendication 1 , caractérisé en ce que le dimensionnement est une réduction de taille obtenue par sous- échantillonnage.
6 Procédé selon la revendication 1 , caractérisé en ce que l'image composée est codée selon la norme MPEG 4 et en ce que les informations relatives à la composition de l'image sont les coordonnées de textures.
7 Procédé de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée, des informations relatives aux textures des objets et à la composition de la scène, caractérisé en ce qu'il effectue les étapes de : - décodage de l'image vidéo (10) pour obtenir une image décodée
- décodage des données auxiliaires (11),
- extraction (12) de textures de l'image décodée à partir des données auxiliaires de composition de l'image,
- plaquage des textures (12) sur des objets de la scène à partir des données auxiliaires relatives aux textures et à la composition de la scène.
8 Procédé de décodage selon la revendication 7, caractérisé en ce que l'extraction des textures est effectuée par démultiplexage spatial de l'image décodée.
9 Procédé de décodage selon la revendication 7, caractérisé en ce qu'une texture est traitée par suréchantillonnage et interpolation spatiale pour obtenir la texture à afficher dans l'image finale visualisant la scène. «
10 Dispositif de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenant de différentes' sources vidéo (1 -ι, ...1n), caractérisé en ce qu'il comprend:
- un circuit de montage vidéo (2) recevant les différentes sources vidéo pour dimensionner et positionner sur une image, des images ou parties d'images provenant de ces sources vidéo, pour réaliser une image composée,
- un circuit de génération de données auxiliaires (4) relié au circuit de montage vidéo (2) pour fournir des informations relatives à la composition de l'image composée, aux textures des objets et à la composition de la scène,
- un circuit de codage (3) de l'image composée, -un circuit de codage (5) des données auxiliaires.
11 Dispositif de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images provenant de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée et des informations relatives aux textures des objets et à la composition de la scène, caractérisé en ce qu'il comporte :
- un circuit de décodage de l'image vidéo composée pour obtenir une image décodée (10), - un circuit de décodage des données auxiliaires (11 )
- un circuit de traitement (12) recevant les données auxiliaires et l'image décodée pour extraire des textures de l'image décodée à partir des données auxiliaires de composition de l'image et pour plaquer des textures sur des objets de la scène à partir des données auxiliaires relatives aux textures et à la composition de la scène.
PCT/FR2002/002640 2001-07-27 2002-07-24 Procede et dispositif de codage d'une scene WO2003013146A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/484,891 US20040258148A1 (en) 2001-07-27 2002-07-24 Method and device for coding a scene
EP02791510A EP1433333A1 (fr) 2001-07-27 2002-07-24 Procede et dispositif de codage d'une scene
JP2003518188A JP2004537931A (ja) 2001-07-27 2002-07-24 シーンを符号化する方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0110086A FR2828054B1 (fr) 2001-07-27 2001-07-27 Procede et dispositif de codage d'une scene
FR0110086 2001-07-27

Publications (1)

Publication Number Publication Date
WO2003013146A1 true WO2003013146A1 (fr) 2003-02-13

Family

ID=8866006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2002/002640 WO2003013146A1 (fr) 2001-07-27 2002-07-24 Procede et dispositif de codage d'une scene

Country Status (5)

Country Link
US (1) US20040258148A1 (fr)
EP (1) EP1433333A1 (fr)
JP (1) JP2004537931A (fr)
FR (1) FR2828054B1 (fr)
WO (1) WO2003013146A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007143981A2 (fr) * 2006-06-12 2007-12-21 Attag Gmbh Procédé et dispositif de production d'un flux de transport numérique pour un programme vidéo

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2438004B (en) 2006-05-08 2011-08-24 Snell & Wilcox Ltd Creation and compression of video data
JP2008131569A (ja) * 2006-11-24 2008-06-05 Sony Corp 画像情報伝送システム、画像情報送信装置、画像情報受信装置、画像情報伝送方法、画像情報送信方法、画像情報受信方法
TWI382358B (zh) * 2008-07-08 2013-01-11 Nat Univ Chung Hsing 虛擬實境資料指示方法
US9602814B2 (en) 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
JP5805665B2 (ja) 2010-01-22 2015-11-04 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Ｅｘａｍｐｌｅ−ｂａｓｅｄ超解像を用いたビデオ圧縮のためのデータプルーニング
WO2012033972A1 (fr) 2010-09-10 2012-03-15 Thomson Licensing Procédés et appareil destinés à l'optimisation des décisions d'élagage dans la compression par élagage de données basée sur des exemples
WO2012033971A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Récupération d'une version élaguée d'une image dans une séquence vidéo pour un élagage de données par l'exemple à l'aide d'une similarité de correctifs intra-trames
US8724696B2 (en) * 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996024219A1 (fr) * 1995-02-02 1996-08-08 Digi-Media Vision Limited Systeme de transmission
US5657096A (en) * 1995-05-03 1997-08-12 Lukacs; Michael Edward Real time video conferencing system and method with multilayer keying of multiple video images
JPH1040357A (ja) * 1996-07-24 1998-02-13 Nippon Telegr & Teleph Corp <Ntt> 映像作成方法
FR2786353A1 (fr) * 1998-11-25 2000-05-26 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes
US6075567A (en) * 1996-02-08 2000-06-13 Nec Corporation Image code transform system for separating coded sequences of small screen moving image signals of large screen from coded sequence corresponding to data compression of large screen moving image signal
EP1107605A2 (fr) * 1999-12-02 2001-06-13 Canon Kabushiki Kaisha Procédé de codage d'animation dans un fichier d'image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
US6405095B1 (en) * 1999-05-25 2002-06-11 Nanotek Instruments, Inc. Rapid prototyping and tooling system
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6791574B2 (en) * 2000-08-29 2004-09-14 Sony Electronics Inc. Method and apparatus for optimized distortion correction for add-on graphics for real time video
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
WO2003003720A1 (fr) * 2001-06-28 2003-01-09 Omnivee Inc. Procede et dispositif de commande et de traitement d'images video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996024219A1 (fr) * 1995-02-02 1996-08-08 Digi-Media Vision Limited Systeme de transmission
US5657096A (en) * 1995-05-03 1997-08-12 Lukacs; Michael Edward Real time video conferencing system and method with multilayer keying of multiple video images
US6075567A (en) * 1996-02-08 2000-06-13 Nec Corporation Image code transform system for separating coded sequences of small screen moving image signals of large screen from coded sequence corresponding to data compression of large screen moving image signal
JPH1040357A (ja) * 1996-07-24 1998-02-13 Nippon Telegr & Teleph Corp <Ntt> 映像作成方法
FR2786353A1 (fr) * 1998-11-25 2000-05-26 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes
EP1107605A2 (fr) * 1999-12-02 2001-06-13 Canon Kabushiki Kaisha Procédé de codage d'animation dans un fichier d'image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOYER D G ET AL: "Multimedia information associations in the Personal Presence System", BELLCORE, 311 NEWMAN SPRINGS RD, RED BANK, NJ 07701 USA, XP010232363 *
LOUI A ET AL: "VIDEO COMBINING FOR MULTIPOINT VIDEOCONFERENCING", PROCEEDINGS OF IS&T ANNUAL CONFERENCE, XX, XX, 7 May 1995 (1995-05-07), pages 48 - 50, XP000791051 *
MON-SONG CHEN ET AL: "Multiparty talks", IMAGE PROCESSING, EUROPEAN TECHNOLOGY PUBLISHING, LONDON, GB, vol. 5, no. 3, 1993, pages 23 - 25, XP002101200, ISSN: 1464-1089 *
PATENT ABSTRACTS OF JAPAN vol. 1998, no. 06 30 April 1998 (1998-04-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007143981A2 (fr) * 2006-06-12 2007-12-21 Attag Gmbh Procédé et dispositif de production d'un flux de transport numérique pour un programme vidéo
WO2007143981A3 (fr) * 2006-06-12 2008-02-28 Attag Gmbh Procédé et dispositif de production d'un flux de transport numérique pour un programme vidéo

Also Published As

Publication number Publication date
JP2004537931A (ja) 2004-12-16
US20040258148A1 (en) 2004-12-23
FR2828054A1 (fr) 2003-01-31
EP1433333A1 (fr) 2004-06-30
FR2828054B1 (fr) 2003-11-28

Similar Documents

Publication Publication Date Title
EP1233614B1 (fr) Système de transmission et de traitement vidéo pour générer une mosaique utilisateur
US20080101456A1 (en) Method for insertion and overlay of media content upon an underlying visual media
EP2338278B1 (fr) Méthode pour présenter une application de vidéo / multimédia interactive utilisant des métadonnées tenant compte du contenu
US20070005795A1 (en) Object oriented video system
EP1255409A1 (fr) Conversion d&#39;un format BIFS textuel vers un format BIFS binaire
WO2003013146A1 (fr) Procede et dispositif de codage d&#39;une scene
EP2382756B1 (fr) Procédé de modélisation par macroblocs de l&#39;affichage d&#39;un terminal distant à l&#39;aide de calques caractérisés par un vecteur de mouvement et des données de transparence
JP4272891B2 (ja) 相互的な測光効果を発生させる、装置、サーバ、システム及び方法
WO2021109412A1 (fr) Procédés et appareil de traitement de supports visuels volumétriques
US7439976B2 (en) Visual communication signal
EP1236352B1 (fr) Procede de diffusion de television numerique, signal numerique et equipement associes
EP1354479B1 (fr) Procede et equipement pour la gestion des interactions dans la norme mpeg-4
CN115002470A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
Bove Object-oriented television
US20120019621A1 (en) Transmission of 3D models
Deshpande et al. Omnidirectional MediA Format (OMAF): toolbox for virtual reality services
KR20030005178A (ko) 여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치
Kauff et al. The MPEG-4 standard and its applications in virtual 3D environments
FR2780843A1 (fr) Procede de traitement de donnees video destinees a etre visualisees sur ecran et dispositif mettant en oeuvre le procede
FR2940703B1 (fr) Procede et dispositif de modelisation d&#39;un affichage
EP4078971A1 (fr) Procédés et appareils permettant de coder, de décoder et de restituer un contenu à six degrés de liberté (6dof) à partir d&#39;éléments composés à trois degrés de liberté (3dof) +
Arsov A framework for distributed 3D graphics applications based on compression and streaming
Lim et al. MPEG Multimedia Scene Representation
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质
Olaizola et al. MHP Oriented Interactive Augmented Reality System for Sports Broadcasting Environments

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BY BZ CA CH CN CO CR CU CZ DE DM DZ EC EE ES FI GB GD GE GH HR HU ID IL IN IS JP KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NO NZ OM PH PL PT RU SD SE SG SI SK SL TJ TM TN TR TZ UA UG US UZ VN YU ZA ZM

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ UG ZM ZW AM AZ BY KG KZ RU TJ TM AT BE BG CH CY CZ DK EE ES FI FR GB GR IE IT LU MC PT SE SK TR BF BJ CF CG CI GA GN GQ GW ML MR NE SN TD TG

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2003518188

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2002791510

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWP Wipo information: published in national office

Ref document number: 2002791510

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10484891

Country of ref document: US