WO2010023213A1 - Procede d'identification d'un objet dans une archive video - Google Patents

Procede d'identification d'un objet dans une archive video Download PDF

Info

Publication number
WO2010023213A1
WO2010023213A1 PCT/EP2009/060960 EP2009060960W WO2010023213A1 WO 2010023213 A1 WO2010023213 A1 WO 2010023213A1 EP 2009060960 W EP2009060960 W EP 2009060960W WO 2010023213 A1 WO2010023213 A1 WO 2010023213A1
Authority
WO
WIPO (PCT)
Prior art keywords
identified
semantic feature
archive
images
video archive
Prior art date
Application number
PCT/EP2009/060960
Other languages
English (en)
Inventor
Marc Sturzel
Frédéric FURIE
Original Assignee
European Aeronautic Defence And Space Company - Eads France
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by European Aeronautic Defence And Space Company - Eads France filed Critical European Aeronautic Defence And Space Company - Eads France
Priority to US13/059,962 priority Critical patent/US8594373B2/en
Priority to EP09809332A priority patent/EP2316082A1/fr
Priority to CN200980133643.0A priority patent/CN102187336B/zh
Publication of WO2010023213A1 publication Critical patent/WO2010023213A1/fr
Priority to IL211129A priority patent/IL211129A0/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47Detecting features for summarising video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Definitions

  • the invention relates to the search for information in a video archive and relates more specifically to a method and a device for identifying an object in a video archive comprising a plurality of images acquired on a network of cameras. .
  • the invention also relates to a computer program stored on a recording medium and adapted, when executed on a computer, to implement the method according to the invention.
  • the main drawback of this representation comes from the fact that the access point to the information is unique and is constituted by the root of the hierarchical tree, hence problems in the search for information.
  • the data can also be organized according to a network model in the form of a graph where the archived entities are connected to each other by means of logical pointers.
  • Object-oriented databases are also known which are capable of storing a multitude of information in objects such as, for example, an individual form, a machine, a resource ... to which values and attributes are associated.
  • a fundamental problem is that it is particularly difficult to quickly identify an object in a video archive of a database containing a large number of images, particularly when the there is very little information on the object sought. Such a situation arises for example when searching, from a simple report, an unidentified individual in a video surveillance archive containing thousands of hours of recording. In this context, it is currently necessary to manually view all recorded video archives.
  • An object of the invention is to optimize the navigation in such a database by automating the analysis to speed up the search procedure in a video archive.
  • Another object of the invention is to enable a human operator to have access to structured visual summaries of the objects present in a heterogeneous video database.
  • Another object of the invention is to provide the human operator with optimized tools for navigating the database through an interactive search strategy.
  • a method of identifying an object in a video archive comprising a plurality of images acquired on a camera network, including a characterization phase of the object to be identified and a search phase.
  • said object in said archive said phase characterizing method for defining for said object at least one extractable semantic feature of said video archive, even on low resolution images, and directly interpretable by an operator, said search phase consisting in filtering the images of said video archive according to the semantic feature defined above, to automatically extract from said archive the images containing an object having said semantic feature, to define a group of objects comprising all the objects present in the video archive having said semantic feature, and to measure the similarity of the object to be identified with any other object of the previously defined group as a function of visual characteristics and space-time constraints on the path of the object to be identified in the space covered by the camera network.
  • the step of measuring similarity comprises the following steps:
  • the method according to the invention further comprises a step of assigning to each similarity measure a likelihood coefficient.
  • the method according to the invention comprises a step of merging the results of the steps of the similarity measurement so as to define a single unified measure of similarity, for defining a distance in the space of the objects to be identified.
  • the method according to the invention comprises a dynamic structuring of this space of the objects of interest, by means of the distance defined above, so as to be able to browse interactively in the video archive according to a hierarchical tree.
  • the invention applies in the search for a human person in which said object to be identified is a human person for whom there is only a summary report.
  • the semantic feature of said human person consists of a visible physical characteristic and / or a visible accessory.
  • the invention is particularly advantageous for searching for a suspect in a video archive comprising several video sequences taken by several cameras distributed in a space covered by a network of remote surveillance cameras.
  • the method according to the invention is implemented by a device for identifying an object in a video archive comprising a plurality of images acquired on a network of cameras, characterized in that it comprises a characterization module of the object to be identified and a search module of said object in said archive, said characterization module comprising means for defining for said object at least one extractable semantic feature of said video archive, even on low resolution images, and directly interpretable by an operator, said search module comprising means for filtering the images of said video archive according to the semantic feature defined above, means for automatically extracting from said archive the images containing an object having said semantic feature, means for defining a group of objects comprising all the objects present in the video archive having said semantic feature, and means for measuring the similarity of the object to be identified with any other object of the gr oupe defined above according to visual characteristics and spatio ⁇ time constraints on the path of the object to be identified in the space covered by the camera network.
  • said similarity measuring means comprise: a first calculation module configured to estimate the compatibility of the semantic feature of the object to be identified with the semantic feature extracted from the images of the other objects of the group defined above, and / or, a second calculation module configured to estimate the spatio-temporal compatibility of the path of the object to be identified with the path of another object of the previously defined group having a semantic characteristic similar to that of the object to be identified.
  • the method according to the invention is implemented in said device by a computer program stored on a recording medium and adapted, when it is executed on a computer, to identify an object in a video archive comprising a plurality of images acquired on a network of cameras, said computer program comprising instructions for performing a characterization phase of the object to be identified and instructions for carrying out a search phase of said object in said archive, said characterization phase consisting in defining for said object has at least one extractable semantic feature of said video archive, even on low resolution images, and directly interpretable by an operator, said search step of filtering the images of said video archive according to the semantic feature defined above, to extract automatically from said archive the images cont by having an object having said semantic feature, defining a group of objects having all the objects present in the video archive having said semantic feature, and measuring the similarity of the object to be identified with any other object of the group defined previously in function of visual characteristics and constraints on the spatio- time of the object to be identified in the space covered by the camera network.
  • the goal is to quickly find images of the incident, if they exist, and find the complete route of the suspect in the area covered by the network of cameras to determine the path spatio-temporal and identify it.
  • the conventional approach is to view the images taken by the cameras near the indicated location of the incident and at times similar to that indicated by the witnesses to identify the incident in the video archive filmed.
  • the approach proposed by the present invention consists in exploiting the reports given by the witnesses to systematize the research of the suspect and to filter the data before optimizing the search for images in the CCTV archive.
  • the description of the suspect provided by the witnesses is used to define semantic information about the suspect.
  • the latter can for example be tall, very thin, wear a long black coat and sunglasses, with a beard and long hair.
  • these characteristics some are exploitable by the method according to the invention and programmed directly into the system.
  • This pretreatment comprises the following steps:
  • the detection of the movements is carried out by modeling the scene by gaussian mixtures (the background being fixed), and the tracking is performed by means of a Kalman filter, and then completed. by local analysis using local descriptors of the SIFT or SURF type, for example, or even simpler and more punctual modeling, in order to solve ambiguities due to occlusions.
  • the detection of the persons is obtained for example by detecting the faces by using the techniques based on cascades of classifiers such as Adaboost ® and Haar filters, then possibly going back to the complete body envelope by shape analyzes with, possibly, postulates on physiognomic ratios or detectors of individuals based on learning techniques.
  • the specialized algorithms used to characterize each of the persons are, for example, classifiers capable of indicating whether an individual has long or short hair, beard or not, has a very rounded or rather elongated face, is overweight. or has a slender figure, etc.
  • a measure of reliability of the response is provided for each of the extracted information.
  • These characterizations (or descriptors extracted from the images) are directly interpretable by a human operator and can be directly related to the semantic information collected during a testimony. In addition, they are calculated even on low resolution images. It is indeed not necessary to have hundreds of pixels wide on a face to determine if a person is wearing glasses.
  • the classifiers are obtained according to the method described below:
  • - Descriptors images are extracted locally on the thumbnails extracted (for example, to determine if a person wears a beard, one is interested in the lower half of the mask of detection of the face); these descriptors can be, for example, histograms of colors, gradients, spatial distribution properties characterizing the textures, responses to filters (Gabor for example), etc .; - classifiers are then constructed by machine learning to indicate which faces have the characteristic "beard"; an alternative approach is to learn distance measurements specific to these characteristics and then use these specific distances to determine the proximity or difference between two faces on certain semantic aspects.
  • the reliability measure can be provided directly by the classifier. It can also be modeled a posteriori by translating for example the previous outputs into probabilities.
  • Spatio Temporal ⁇ compatibility constraints may be binary (a person can not be in two places at once) or fuzzy (floating confidence value, ie more or less likely). Thanks to these constraints, observations between several cameras can be matched, more or less complex and reliable relationships are established between all the entities of the database.
  • the video surveillance archive is represented by a semantic database associated with each individual seen in at least one of the videos.
  • the structuring of the semantic database consists of the following steps:
  • This report transmitted by the witnesses is exploited.
  • This report includes semantic characterizations, possibly with associated confidence measures based on the witnesses' memories and the consistency of the statements;
  • the database is filtered from said semantic features while retaining only the individuals having these characteristic features by removing all the individuals that do not have these features;
  • the structuring of the database can be dynamic. For this purpose, it suffices to add, delete or adapt semantic criteria for the hierarchical structuring can be updated to reflect the expectations of the operator. Thus, it is possible to qualify the reliability of body information or add new information on the shape of the face and the wearing of a cap. It is also possible to automatically propose new structuring to the user.
  • the user can navigate the database efficiently according to the individuals and their characteristics and no longer according to the cameras and the scrolling of the time.
  • the corresponding video sequence can be viewed; this designation makes it possible to specify more precisely the visual appearance, which makes it possible to complete the similarity measurements.
  • it provides spatiotemporal information on the location of the individual.
  • the already filtered database is again filtered to remove all individuals whose positions and acquisition dates do not correspond with the spatio-temporal constraints of the normal displacement of the designated individual; The remaining individuals are ordered according to a combination of semantic factors, appearance characteristics, and the probability that this is the designated individual, due to spatio-temporal constraints on movement (a distance that can be estimated, a probable speed that can be calculated and a defined maximum speed).
  • the user can then browse this ordered list and very effectively and very quickly perform the tracking and back-tracking of the designated individual, by browsing the archive via the spatio constraints. ⁇ temporal, semantic properties and appearance criteria, without having to worry about the selection of cameras or the timestamp of data.
  • images of a scene are recorded (step 2) by a camera network 4 comprising several cameras distributed geographically over a monitored area.
  • step 6 a time range is selected during which the recorded images will be analyzed.
  • phase T2 describes the operation by an operator 20 of the database constituted during the phases Tl to T3.
  • step 22 the operator designates the time range of the filmed event.
  • step 24 the operator provides, via a user interface, attributes of the desired individual.
  • the system displays (step 26) the filtered images from the structured database generated in the previous steps.

Abstract

L'invention concerne un procédé d'identification d'un objet dans une archive vidéo comprenant une pluralité d'images acquises sur un réseau de caméras comportant une phase de caractérisation de l'objet à identifier et une phase de recherche dudit objet dans ladite archive, ladite phase de caractérisation consistant à définir pour ledit objet au moins une caractéristique sémantique extractible, même sur des images à basse résolution, de ladite archive vidéo.

Description

PROCEDE D'IDENTIFICATION D'UN OBJET DANS UNE ARCHIVE
VIDEO
DESCRIPTION
DOMAINE TECHNIQUE
L' invention se situe dans la recherche d' informations dans une archive vidéo et se rapporte plus spécifiquement à un procédé et à un dispositif d'identification d'un objet dans une archive vidéo comprenant une pluralité d' images acquises sur un réseau de caméras. L'invention concerne également un programme d'ordinateur mémorisé sur un support d'enregistrement et adapté, lorsqu'il est exécuté sur un ordinateur, pour mettre en œuvre le procédé selon l'invention.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE Les bases de données modernes permettent d'archiver de plus en plus d'informations de différents types (données, texte, audio, vidéo...) . L'efficacité de l'exploitation d'une base dépend, notamment, du modèle utilisé pour structurer les données dans la base. Dans un modèle hiérarchique, l'information est organisée de manière arborescente selon une hiérarchie, accessible uniquement à partir de la racine de cette arborescence.
Le défaut principal de cette représentation provient du fait que le point d'accès à l'information est unique et est constitué par la racine de l'arbre hiérarchique, d'où des problèmes dans la recherche d' informations . Les données peuvent également être organisées selon un modèle réseau sous forme de graphe où les entités archivées sont reliées entre elles à l'aide de pointeurs logiques. On connaît également des bases de données orientées objets qui sont capables de stocker une multitude d'informations dans des objets tels que par exemple une fiche individuelle, une machine, une ressource... à laquelle on associe des valeurs et des attributs.
Plusieurs recherches ont proposé un modèle sémantique pour les bases de données dans lequel les données sont organisées selon un schéma conceptuel (concept map en anglais) consistant en une représentation d'un ensemble de concepts reliés sémantiquement entre eux. Toutefois, aucun modèle sémantique n'est encore disponible.
Quel que soit le type de base de données, un problème fondamental provient du fait qu' il est particulièrement difficile d'identifier rapidement un objet dans une archive vidéo d'une base de données contenant un grand nombre d'images, particulièrement lorsque l'on dispose de très peu d'informations sur l'objet recherché. Une telle situation se présente par exemple lors de la recherche, à partir d'un simple signalement, d'un individu non préalablement identifié, dans une archive de vidéosurveillance contenant des milliers d'heures d'enregistrement. Dans ce contexte, il est actuellement nécessaire de visionner manuellement toutes les archives vidéo enregistrées.
Outre le fait que ce mode opératoire soit excessivement fastidieux et le deviendra d'autant plus avec la multiplication des caméras dans les réseaux de caméras de télésurveillance et la densification de ces réseaux, il est inadapté aux situations d'urgence en cas de recherche d'un individu en fuite. De plus, il implique des temps d'analyse prohibitifs incompatibles avec la nécessité de faire rapidement progresser les enquêtes .
Un but de l'invention est d'optimiser la navigation dans une telle base de données en automatisant le dépouillement afin d'accélérer la procédure de recherche dans une archive vidéo.
Un autre but de l'invention est de permettre à un opérateur humain d' avoir accès à des résumés visuels structurés des objets présents dans une base de données vidéo hétérogène.
Un autre but de l'invention est de fournir à l'opérateur humain des outils optimisés de navigation dans la base de données grâce à une stratégie de recherche interactive.
EXPOSÉ DE L'INVENTION
Ces buts sont atteints au moyen d'un procédé d'identification d'un objet dans une archive vidéo comprenant une pluralité d' images acquises sur un réseau de caméras, comportant une phase de caractérisation de l'objet à identifier et une phase de recherche dudit objet dans ladite archive, ladite phase de caractérisation consistant à définir pour ledit objet au moins une caractéristique sémantique extractible de ladite archive vidéo, même sur des images à basse résolution, et directement interprétable (s) par un opérateur, ladite phase de recherche consistant à filtrer les images de ladite archive vidéo en fonction de la caractéristique sémantique définie précédemment, à extraire automatiquement de ladite archive les images contenant un objet ayant ladite caractéristique sémantique, à définir un groupe d'objets comportant tous les objets présents dans l'archive vidéo présentant ladite caractéristique sémantique, et à mesurer la similitude de l'objet à identifier avec tout autre objet du groupe défini précédemment en fonction de caractéristiques visuelles et de contraintes spatio-temporelles sur le parcours de l'objet à identifier dans l'espace couvert par le réseau de caméras.
Selon une autre caractéristique de l'invention, l'étape de mesure de similitude comporte les étapes suivantes :
- estimer la compatibilité de la caractérisation sémantique de l'objet à identifier avec la caractéristique sémantique extraite des images des autres objets du groupe défini précédemment, et/ou,
- estimer la compatibilité spatio¬ temporelle du parcours de l'objet à identifier avec le parcours d'un autre objet du groupe défini précédemment ayant une caractéristique sémantique similaire et n'ayant aucune caractéristique incompatible à celle de l'objet à identifier, Préférentiellement , le procédé selon l'invention comporte en outre une étape consistant à affecter à chaque mesure de similitude un coefficient de vraisemblance. En outre, le procédé selon l'invention comporte une étape consistant à fusionner les résultats des étapes de la mesure de similitude de manière à définir une mesure unique unifiée de similitude, permettant de définir une distance dans l'espace des objets à identifier.
De plus, le procédé selon l'invention comporte une structuration dynamique de cet espace des objets d'intérêt, au moyen de la distance définie précédemment, de manière à pouvoir naviguer de façon interactive dans l'archive vidéo selon un arbre hiérarchique .
L'invention s'applique dans la recherche d'une personne humaine dans laquelle ledit objet à identifier est une personne humaine pour laquelle on dispose uniquement d'un signalement sommaire. Dans cette application, la caractéristique sémantique de ladite personne humaine consiste en une caractéristique physique visible et/ou en un accessoire visible.
L' invention est particulièrement avantageuse pour rechercher un suspect dans une archive vidéo comportant plusieurs séquences vidéo prises par plusieurs caméras réparties dans un espace couvert par un réseau de caméras de télésurveillance.
Le procédé selon l'invention est mis en œuvre par un dispositif d'identification d'un objet dans une archive vidéo comprenant une pluralité d'images acquises sur un réseau de caméras, caractérisé en ce qu' il comporte un module de caractérisation de l'objet à identifier et un module de recherche dudit objet dans ladite archive, ledit module de caractérisation comportant des moyens pour définir pour ledit objet au moins une caractéristique sémantique extractible de ladite archive vidéo, même sur des images à basse résolution, et directement interprétable par un opérateur, ledit module de recherche comportant des moyens pour filtrer les images de ladite archive vidéo en fonction de la caractéristique sémantique définie précédemment, des moyens pour extraire automatiquement de ladite archive les images contenant un objet ayant ladite caractéristique sémantique, des moyens pour définir un groupe d'objets comportant tous les objets présents dans l'archive vidéo présentant ladite caractéristique sémantique, et des moyens pour mesurer la similitude de l'objet à identifier avec tout autre objet du groupe défini précédemment en fonction de caractéristiques visuelles et de contraintes spatio¬ temporelles sur le parcours de l'objet à identifier dans l'espace couvert par le réseau de caméras.
Préférentiellement , lesdits moyens de mesure de similitude comportent : - un premier module de calcul configuré pour estimer la compatibilité de la caractéristique sémantique de l'objet à identifier avec la caractéristique sémantique extraite des images des autres objets du groupe défini précédemment, et/ou, - un deuxième module de calcul configuré pour estimer la compatibilité spatio-temporelle du parcours de l'objet à identifier avec le parcours d'un autre objet du groupe défini précédemment ayant une caractéristique sémantique similaire à celle de l'objet à identifier. Le procédé selon l'invention est implémenté dans ledit dispositif par un programme d'ordinateur mémorisé sur un support d'enregistrement et adapté, lorsqu' il est exécuté sur un ordinateur, pour identifier un objet dans une archive vidéo comprenant une pluralité d'images acquises sur un réseau de caméras, ledit programme d'ordinateur comportant des instructions pour réaliser une phase de caractérisation de l'objet à identifier et des instructions pour réaliser une phase de recherche dudit objet dans ladite archive, ladite phase de caractérisation consistant à définir pour ledit objet au moins une caractéristique sémantique extractible de ladite archive vidéo, même sur des images à basse résolution, et directement interprétable par un opérateur, ladite phase de recherche consistant à filtrer les images de ladite archive vidéo en fonction de la caractéristique sémantique définie précédemment, à extraire automatiquement de ladite archive les images contenant un objet ayant ladite caractéristique sémantique, à définir un groupe d'objets comportant tous les objets présents dans l'archive vidéo présentant ladite caractéristique sémantique, et à mesurer la similitude de l'objet à identifier avec tout autre objet du groupe défini précédemment en fonction de caractéristiques visuelles et de contraintes sur le parcours spatio- temporel de l'objet à identifier dans l'espace couvert par le réseau de caméras.
BRÈVE DESCRIPTION DES DESSINS
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui suit, prise à titre d'exemple non limitatif, en référence à la figure annexée.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L' invention sera décrite dans la cadre d'une application particulière dans laquelle on considère un réseau étendu de caméras de vidéosurveillance existant, comme par exemple celui d'un réseau de transport urbain ou celui d'un aéroport.
On se place dans le cadre typique d'une enquête suite à un incident (agression, vol, acte terroriste) .
On considère également que plusieurs témoins fournissent une description d'un suspect.
L'objectif est alors de retrouver rapidement des images de l'incident, si elles existent, et de retrouver le parcours complet du suspect dans la zone couverte par le réseau de caméras pour en déterminer le parcours spatio-temporel et pour l'identifier.
L'approche classique consiste à visionner les images prises par les caméras proches du lieu indiqué de l'incident et à des instants proches de celui indiqué par les témoins afin de repérer l'incident dans l'archive vidéo filmé.
L'approche proposée par la présente invention consiste à exploiter les signalements donnés par les témoins pour systématiser la recherche du suspect et pour filtrer les données avant d'optimiser la recherche des images dans l'archive de vidéosurveillance .
A cet effet, la description du suspect fournie par les témoins est exploitée pour définir des informations sémantiques sur le suspect. Ainsi, ce dernier peut par exemple être grand, très mince, porter un long manteau noir et des lunettes de soleil, avec une barbe et les cheveux longs. Parmi ces caractéristiques, certaines sont exploitables par le procédé selon l'invention et programmées directement dans le système.
Ce dernier effectue automatiquement un prétraitement de l'ensemble des données vidéo présentes dans l'archive. Ce prétraitement comporte les étapes suivantes :
- analyser tous les objets en mouvement et les pister en prenant notamment en compte les occlusions et les arrêts ; - détecter les personnes dans les images de l'archive,
- caractériser chacune des personnes identifiées grâce à des algorithmes spécialisés qui, à partir d'une entrée spécifiée, donnent en sortie une liste d'attributs sémantiques et pour chaque attribut une mesure de confiance, de probabilité et/ou de plausibilité .
Dans un mode préféré de réalisation de l'invention, la détection des mouvements est réalisée par modélisation de la scène par des mélanges de gaussiennes (le fond étant fixe) , et le pistage est réalisé au moyen d'un filtre de Kalman, puis complété par une analyse locale en utilisant des descripteurs locaux de type SIFT ou SURF par exemple, voire des modélisations plus simples et plus ponctuelles, afin de résoudre les ambiguïtés dues aux occlusions. Dans ce mode de réalisation, la détection des personnes est obtenue par exemple en détectant les visages par utilisation des techniques à base de cascades de classifieurs telle que Adaboost® et de filtres de Haar, puis éventuellement en remontant à l'enveloppe corporelle complète par des analyses de formes avec, éventuellement, des postulats sur des ratios physionomiques ou détecteurs d' individus à base de techniques d'apprentissage.
Préférentiellement , les algorithmes spécialisés utilisés pour caractériser chacune des personnes sont par exemple des classifieurs capables d' indiquer si un individu a des cheveux longs ou courts, porte ou non une barbe, présente un visage très arrondi ou plutôt allongé, affiche de l'embonpoint ou dispose d'une silhouette svelte, etc.
Avantageusement, une mesure de fiabilité de la réponse est fournie pour chacune des informations extraites. Ces caractérisations (ou descripteurs extraits des images) sont directement interprétables par un opérateur humain et peuvent être mises directement en relation avec les informations sémantiques recueillies lors d'un témoignage. En outre, elles sont calculées même sur des images à basse résolution. IiI n'est en effet pas nécessaire d'avoir des centaines de pixels de large sur un visage pour déterminer si une personne porte des lunettes .
Dans le mode préféré de réalisation, les classifieurs sont obtenus selon la méthode décrite ci-après:
- on extrait des descripteurs images localement sur les vignettes extraites (par exemple, pour déterminer si une personne porte une barbe, on s'intéresse à la moitié inférieure du masque de détection du visage) ; ces descripteurs peuvent être par exemple des histogrammes de couleurs, de gradients, des propriétés de répartition spatiale caractérisant les textures, des réponses à des filtres (de Gabor par exemple) , etc; - on construit ensuite des classifieurs par apprentissage statistique (machine learning) afin d' indiquer quels visages disposent de la caractéristique « barbe » ; une approche alternative consiste à apprendre des mesures de distance spécifiques à ces caractéristiques, puis à exploiter ces distances spécifiques pour déterminer la proximité ou la différence entre deux visages sur certains aspects sémantiques. La mesure de fiabilité peut être fournie directement par le classifieur. Elle peut également être modélisée a posteriori en traduisant par exemple les sorties précédentes en probabilités. De plus, il est également possible de faire intervenir des critères sur la qualité des images de l'archive pour déterminer si l'estimation du trait sémantique sur une vignette est fiable ou pas. Ainsi, une image très bruitée ou très altérée par des artefacts de compression est beaucoup plus délicate à analyser, et dans ce cas les estimations sont naturellement moins sûres et moins fiables. - Lorsque l'on dispose d'informations spatio- temporelles permettant de relier des caméras, celles- ci sont exploitées pour établir des premiers liens entre les observations faites dans diverses caméras.
Ainsi, si l'on connaît les positionnements relatifs des différentes caméras et des emprises des champs de vision, il est possible de mettre en place des critères de compatibilités spatiales et temporelles entre les mouvements dans les différentes caméras ; cela permet notamment de dire qu'une entité dont on a mesuré la vitesse globalement constante ne peut pas apparaître avant une certaine date dans une vidéo et apparaîtra vraisemblablement autour d'une date prévisible, de part la connaissance de la vitesse de déplacement. Les contraintes de compatibilité spatio¬ temporelles peuvent être binaires (une personne ne peut pas être en deux endroits en même temps) ou floues (valeur flottante de confiance, i.e. plus ou moins de probabilité) . Grâce à ces contraintes, des observations entre plusieurs caméras peuvent être mises en correspondance, des relations plus ou moins complexes et fiables sont donc mises en place entre toutes les entités de la base.
A partir de ce point, l'archive de vidéosurveillance est représentée par une base de données sémantiques associées à chaque individu vu dans au moins l'une des vidéos. La structuration de la base de données sémantiques comporte les étapes suivantes :
- On exploite le signalement transmis par les témoins. Ce signalement comporte des caractérisations sémantiques, avec éventuellement des mesures de confiance associées en fonction des souvenirs des témoins et de la cohérence des déclarations ;
- on filtre, la base de données, à partir desdites caractéristiques sémantiques en ne conservant que les individus présentant ces traits caractéristiques en supprimant tous les individus ne présentant pas ces traits;
- on regroupe de manière hiérarchique tous les individus ayant des apparences semblables, en d'autres termes, on regroupe les individus sur des critères de similarité en établissant pour chaque groupe et pour chaque sous-groupe une caractérisation commune des individus du groupe. Etant donné que les mesures de similarité entre individus se basent sur des critères sémantiques, le regroupement hiérarchique peut également être qualifié de sémantique. Ainsi deux images ne sont pas groupées uniquement du fait qu'elles se ressemblent (deux individus portant exactement les mêmes vêtements) mais aussi parce qu'elles présentent une ou plusieurs informations descriptives communes (deux individus portant une barbe et des lunettes de soleil, par exemple) . Avantageusement, la structuration de la base de données peut être dynamique. A cet effet, il suffit d'ajouter, supprimer ou d'adapter des critères sémantiques pour que la structuration hiérarchique puisse être mise à jour pour refléter les attentes de l'opérateur. Ainsi, il est possible de nuancer la fiabilité d'une information de corpulence ou ajouter une nouvelle information sur la forme du visage et le port d'une casquette. Il est par ailleurs envisageable de proposer automatiquement de nouvelles structuration à l'utilisateur.
Une fois la base de données structurée, l'utilisateur peut naviguer efficacement dans la base de données en fonction des individus et de leurs caractéristiques et non plus en fonction des caméras et du défilement du temps.
Lorsqu'un individu est désigné, la séquence vidéo correspondante peut être visualisée ; cette désignation permet de spécifier plus précisément l'apparence visuelle, qui permet de compléter les mesures de similarité. Par ailleurs, elle fournit une information spatio-temporelle sur la localisation de l'individu. Ainsi, la base de données déjà filtrée est à nouveau filtrée pour supprimer tous les individus dont les positionnements et les dates d'acquisition ne correspondent pas avec les contraintes spatio-temporelles du déplacement normal de l'individu désigné ; Les individus restants sont ordonnés selon une combinaison de facteurs sémantiques, de caractéristiques d'apparence et de la probabilité qu'il s'agisse bien de l'individu désigné, grâce aux contraintes spatio-temporelles sur le déplacement (une distance pouvant être estimée, une vitesse probable pouvant être calculée et une vitesse maximale définie) . L'utilisateur peut alors parcourir cette liste ordonnée et effectuer très efficacement et très rapidement le pistage (tracking) et le back-tracking (qui consiste à revenir dans le temps) de l'individu désigné, en parcourant l'archive via les contraintes spatio¬ temporelles, les propriétés sémantiques et les critères d'apparence, sans avoir à se préoccuper de la sélection des caméras ou de l'horodatage des données.
La figure annexée décrit les étapes principales du procédé selon l'invention dans le cadre de l'application décrites ci-dessus.
Au cours de la phase Tl des images d'une scène sont enregistrées (étape 2) par un réseau de caméra 4 comportant plusieurs caméras réparties géographiquement sur une zone surveillée.
A l'étape 6, on sélectionne une plage temporelle au cours de laquelle les images enregistrées seront analysées.
Au cours de la phase T2, on détecte les individus dans les images enregistrées (étape 8) et on génère (étape 10) des imagettes des individus détectés. Au cours de la phase T3, on extrait (étape 12) des caractéristiques sémantiques desdites imagettes. Celles-ci sont ensuite codées et indexées. A l'étape 14, les imagettes présentant une ou plusieurs informations descriptives communes sont groupées. Un fichier comportant un résumé visuel des images est généré à l'étape 16, puis affiché à l'étape 18. La phase T4 décrit l'exploitation par un opérateur 20 de la base de données constituée au cours des phases Tl à T3.
A l'étape 22, l'opérateur désigne la plage temporelle de l'événement filmé.
A l'étape 24, l'opérateur fournit, via une interface utilisateur, des attributs de l'individu recherché. Le système affiche (étape 26) les images filtrées à partir de la base de données structurée générées au cours des étapes précédentes.
Le mode de réalisation particulière décrite ci-dessus est appliqué aux individus. Le concept est généralisable à d'autres entités tels que des véhicules par exemple.

Claims

REVENDICATIONS
1. Procédé d'identification d'un objet dans une archive vidéo comprenant une pluralité d' images acquises sur un réseau de caméras, caractérisé en ce qu'il comporte une phase de caractérisation de l'objet à identifier et une phase de recherche dudit objet dans ladite archive, ladite phase de caractérisation consistant à définir pour ledit objet au moins une caractéristique sémantique extractible de ladite archive vidéo, même sur des images à basse résolution, et directement interprétable par un opérateur, ladite phase de recherche consistant à filtrer les images de ladite archive vidéo en fonction de la caractéristique sémantique définie précédemment, à extraire automatiquement de ladite archive les images contenant un objet ayant ladite caractéristique sémantique, à définir un groupe d'objets comportant tous les objets présents dans l'archive vidéo présentant ladite caractéristique sémantique, et à mesurer la similitude de l'objet à identifier avec tout autre objet du groupe défini précédemment en fonction de caractéristiques visuelles et de contraintes spatio-temporelles sur le parcours de l'objet à identifier dans l'espace couvert par le réseau de caméras.
2. Procédé selon la revendication 1, dans lequel ladite mesure de similitude comporte les étapes suivantes : - estimer la compatibilité de la caractérisation sémantique de l'objet à identifier avec la caractéristique sémantique extraite des images des autres objets du groupe défini précédemment, et/ou, estimer la compatibilité spatio¬ temporelle du parcours de l'objet à identifier avec le parcours d'un autre objet du groupe défini précédemment ayant une caractéristique sémantique similaire et n'ayant aucune caractéristique incompatible à celle de l'objet à identifier.
3. Procédé selon la revendication 2, comportant en outre une étape consistant à affecter à chaque mesure de similitude un coefficient de vraisemblance .
4. Procédé selon la revendication 3, comportant en outre une étape consistant à fusionner les résultats des étapes de la mesure de similitude de manière à définir une mesure unique unifiée de similitude, permettant de définir une distance dans l'espace des objets à identifier.
5. Procédé selon la revendication 3, comportant en outre une étape consistant à réaliser une structuration dynamique de l'espace des objets à identifier au moyen de ladite distance de manière à pouvoir naviguer de façon interactive dans l'archive vidéo selon un arbre hiérarchique.
6. Procédé selon la revendication 5, dans lequel ledit objet à identifier est une personne humaine .
7. Procédé selon la revendication 6, dans lequel la caractéristique sémantique de ladite personne humaine consiste en une caractéristique physique visible.
8. Procédé selon la revendication 6, dans lequel la caractéristique sémantique de ladite personne humaine consiste en un accessoire vestimentaire visible.
9. Dispositif d'identification d'un objet dans une archive vidéo comprenant une pluralité d'images acquises sur un réseau de caméras, caractérisé en ce qu'il comporte un module de caractérisation de l'objet à identifier et un module de recherche dudit objet dans ladite archive, ledit module de caractérisation comportant des moyens pour définir pour ledit objet au moins une caractéristique sémantique extractible de ladite archive vidéo même sur des images à basse résolution, et directement interprétable par un opérateur, ledit module de recherche comportant des moyens pour filtrer les images de ladite archive vidéo en fonction de la caractéristique sémantique définie précédemment, des moyens pour extraire automatiquement de ladite archive les images contenant un objet ayant ladite caractéristique sémantique, des moyens pour définir un groupe d'objets comportant tous les objets présents dans l'archive vidéo présentant ladite caractéristique sémantique, et des moyens pour mesurer la similitude de l'objet à identifier avec tout autre objet du groupe défini précédemment en fonction de caractéristiques visuelles et de contraintes spatio¬ temporelles sur le parcours de l'objet à identifier dans l'espace couvert par le réseau de caméras.
10. Dispositif selon la revendication 9, dans lequel lesdits moyens de mesure de similitude comportent : un premier module de calcul configuré pour estimer la compatibilité de la caractéristique sémantique de l'objet à identifier avec la caractéristique sémantique extraite des images des autres objets du groupe défini précédemment, et/ou,
- un deuxième module de calcul configuré pour estimer la compatibilité spatio-temporelle du parcours de l'objet à identifier avec le parcours d'un autre objet du groupe défini précédemment ayant une caractéristique sémantique similaire à celle de l'objet à identifier.
11. Programme d'ordinateur mémorisé sur un support d'enregistrement et adapté, lorsqu'il est exécuté sur un ordinateur, pour identifier un objet dans une archive vidéo comprenant une pluralité d'images acquises sur un réseau de caméras, ledit programme d'ordinateur étant caractérisé en ce qu'il comporte des instructions pour réaliser une phase de caractérisation de l'objet à identifier et des instructions pour réaliser une phase de recherche dudit objet dans ladite archive, ladite phase de caractérisation consistant à définir pour ledit objet au moins une caractéristique sémantique extractible à basse résolution de ladite archive vidéo et directement interprétable par un opérateur, ladite phase de recherche consistant à filtrer les images de ladite archive vidéo en fonction de la caractéristique sémantique définie précédemment, à extraire automatiquement de ladite archive les images contenant un objet ayant ladite caractéristique sémantique, à définir un groupe d'objets comportant tous les objets présents dans l'archive vidéo présentant ladite caractéristique sémantique, et à mesurer la similitude de l'objet à identifier avec tout autre objet du groupe défini précédemment en fonction de caractéristiques visuelles et de contraintes sur le parcours spatio- temporel de l'objet à identifier dans l'espace couvert par le réseau de caméras.
PCT/EP2009/060960 2008-08-27 2009-08-26 Procede d'identification d'un objet dans une archive video WO2010023213A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/059,962 US8594373B2 (en) 2008-08-27 2009-08-26 Method for identifying an object in a video archive
EP09809332A EP2316082A1 (fr) 2008-08-27 2009-08-26 Procede d'identification d'un objet dans une archive video
CN200980133643.0A CN102187336B (zh) 2008-08-27 2009-08-26 用于识别视频档案中的对象的方法
IL211129A IL211129A0 (en) 2008-08-27 2011-02-08 Method for identifying an object in a video archive

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0855737A FR2935498B1 (fr) 2008-08-27 2008-08-27 Procede d'identification d'un objet dans une archive video.
FR0855737 2008-08-27

Publications (1)

Publication Number Publication Date
WO2010023213A1 true WO2010023213A1 (fr) 2010-03-04

Family

ID=40467086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/060960 WO2010023213A1 (fr) 2008-08-27 2009-08-26 Procede d'identification d'un objet dans une archive video

Country Status (6)

Country Link
US (1) US8594373B2 (fr)
EP (1) EP2316082A1 (fr)
CN (1) CN102187336B (fr)
FR (1) FR2935498B1 (fr)
IL (1) IL211129A0 (fr)
WO (1) WO2010023213A1 (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012013706A1 (fr) * 2010-07-28 2012-02-02 International Business Machines Corporation Faciliter une recherche de personnes dans une surveillance vidéo
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
FR3140725A1 (fr) * 2022-10-10 2024-04-12 Two - I système de surveillance

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
GB2492450B (en) * 2011-06-27 2015-03-04 Ibm A method for identifying pairs of derivative and original images
US10242099B1 (en) * 2012-04-16 2019-03-26 Oath Inc. Cascaded multi-tier visual search system
GB2519348B (en) 2013-10-18 2021-04-14 Vision Semantics Ltd Visual data mining
CN104866538A (zh) * 2015-04-30 2015-08-26 北京海尔广科数字技术有限公司 一种动态更新语义告警库的方法、网络及系统
US9912838B2 (en) * 2015-08-17 2018-03-06 Itx-M2M Co., Ltd. Video surveillance system for preventing exposure of uninteresting object
US11294949B2 (en) 2018-09-04 2022-04-05 Toyota Connected North America, Inc. Systems and methods for querying a distributed inventory of visual data
CN110647804A (zh) * 2019-08-09 2020-01-03 中国传媒大学 一种暴力视频识别方法、计算机系统和存储介质
US20220147743A1 (en) * 2020-11-09 2022-05-12 Nvidia Corporation Scalable semantic image retrieval with deep template matching
CN112449249A (zh) * 2020-11-23 2021-03-05 深圳市慧鲤科技有限公司 视频流处理方法及装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260934A2 (fr) * 2001-05-22 2002-11-27 Matsushita Electric Industrial Co., Ltd. Dispositif et procédé d'enregistrement de données de surveillance
WO2007140609A1 (fr) * 2006-06-06 2007-12-13 Moreideas Inc. Procédé et système pour l'analyse, l'amélioration et l'affichage d'images et de films vidéo, à des fins de communication

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0804774B1 (fr) * 1995-09-15 2003-05-21 Interval Research Corporation Procede de compression de plusieurs images video
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
EP1472869A4 (fr) * 2002-02-06 2008-07-30 Nice Systems Ltd Systeme et procede de detection, surveillance et gestion d'alarme fondes sur l'analyse de contenus video
US20050232574A1 (en) * 2002-07-02 2005-10-20 Fumi Kawai Video generation device, video generation method, and video storage device
JP4013684B2 (ja) * 2002-07-23 2007-11-28 オムロン株式会社 個人認証システムにおける不正登録防止装置
US20040095377A1 (en) * 2002-11-18 2004-05-20 Iris Technologies, Inc. Video information analyzer
US7606425B2 (en) * 2004-09-09 2009-10-20 Honeywell International Inc. Unsupervised learning of events in a video sequence
US20060274949A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
US7519588B2 (en) * 2005-06-20 2009-04-14 Efficient Frontier Keyword characterization and application
US8433103B2 (en) * 2006-09-15 2013-04-30 Identix Incorporated Long distance multimodal biometric system and method
US20080140523A1 (en) * 2006-12-06 2008-06-12 Sherpa Techologies, Llc Association of media interaction with complementary data
CN101201822B (zh) * 2006-12-11 2010-06-23 南京理工大学 基于内容的视频镜头检索方法
JP5355422B2 (ja) * 2007-02-01 2013-11-27 イッサム・リサーチ・デヴェロップメント・カンパニー・オヴ・ザ・ヘブルー・ユニヴァーシティ・オヴ・イェルサレム ビデオの索引付けとビデオシノプシスのための、方法およびシステム
US8229227B2 (en) * 2007-06-18 2012-07-24 Zeitera, Llc Methods and apparatus for providing a scalable identification of digital video sequences
JP4982410B2 (ja) * 2008-03-10 2012-07-25 株式会社東芝 空間移動量算出装置及びその方法
US8804005B2 (en) * 2008-04-29 2014-08-12 Microsoft Corporation Video concept detection using multi-layer multi-instance learning
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5505723B2 (ja) * 2010-03-31 2014-05-28 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260934A2 (fr) * 2001-05-22 2002-11-27 Matsushita Electric Industrial Co., Ltd. Dispositif et procédé d'enregistrement de données de surveillance
WO2007140609A1 (fr) * 2006-06-06 2007-12-13 Moreideas Inc. Procédé et système pour l'analyse, l'amélioration et l'affichage d'images et de films vidéo, à des fins de communication

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2316082A1 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012013706A1 (fr) * 2010-07-28 2012-02-02 International Business Machines Corporation Faciliter une recherche de personnes dans une surveillance vidéo
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
US8588533B2 (en) 2010-07-28 2013-11-19 International Business Machines Corporation Semantic parsing of objects in video
US8774522B2 (en) 2010-07-28 2014-07-08 International Business Machines Corporation Semantic parsing of objects in video
US9002117B2 (en) 2010-07-28 2015-04-07 International Business Machines Corporation Semantic parsing of objects in video
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
TWI505200B (zh) * 2010-07-28 2015-10-21 Ibm 用於判定視訊中之一物件之部位及屬性的方法、系統、電腦程式產品及程序
US9245186B2 (en) 2010-07-28 2016-01-26 International Business Machines Corporation Semantic parsing of objects in video
US9330312B2 (en) 2010-07-28 2016-05-03 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
CN103703472B (zh) * 2010-07-28 2016-12-07 国际商业机器公司 用于确定视频中的对象的部位及相关属性的方法和系统
US9679201B2 (en) 2010-07-28 2017-06-13 International Business Machines Corporation Semantic parsing of objects in video
US10424342B2 (en) 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
FR3140725A1 (fr) * 2022-10-10 2024-04-12 Two - I système de surveillance
WO2024079119A1 (fr) 2022-10-10 2024-04-18 Two - I Système de surveillance

Also Published As

Publication number Publication date
US20120039506A1 (en) 2012-02-16
CN102187336A (zh) 2011-09-14
EP2316082A1 (fr) 2011-05-04
US8594373B2 (en) 2013-11-26
IL211129A0 (en) 2011-04-28
CN102187336B (zh) 2014-06-11
FR2935498B1 (fr) 2010-10-15
FR2935498A1 (fr) 2010-03-05

Similar Documents

Publication Publication Date Title
WO2010023213A1 (fr) Procede d'identification d'un objet dans une archive video
US20120148149A1 (en) Video key frame extraction using sparse representation
KR100956159B1 (ko) 라이프로그 장치 및 정보 자동 태그 입력 방법
FR3073312A1 (fr) Procede d'estimation de pose d'une camera dans le referentiel d'une scene tridimensionnelle, dispositif, systeme de realite augmentee et programme d'ordinateur associe
WO2020065177A1 (fr) Procede, programme d'ordinateur et systeme de detection et localisation d'objet dans une scene tridimensionnelle
EP3496000A1 (fr) Extraction automatique d'attributs d'un objet au sein d'un ensemble d'images numeriques
US20140133753A1 (en) Spectral scene simplification through background subtraction
FR3011960A1 (fr) Procede d'identification a partir d'un modele spatial et spectral d'objet
EP1543444A2 (fr) Procede et dispositif de mesure de similarite entre images
EP0863488A1 (fr) Procédé de détection de contours de relief dans une paire d'images stéréoscopiques
CN105930459B (zh) 一种有效的基于内容的人体皮肤图像分类检索方法
CN202306549U (zh) 一种基于光流方法的视频检索系统
WO2006032799A1 (fr) Système d'indexation de vidéo de surveillance
FR2936627A1 (fr) Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video.
Möller et al. Tracking sponge size and behaviour with fixed underwater observatories
Guldogan et al. Personalized representative image selection for shared photo albums
US8891870B2 (en) Substance subtraction in a scene based on hyperspectral characteristics
EP2149099B1 (fr) Dispositif et methode de traitement d'images pour determiner une signature d'un film
FR3094815A1 (fr) Procédé, programme d’ordinateur et système pour l’identification d’une instance d’objet dans une scène tridimensionnelle
EP0550101A1 (fr) Procédé de recalage d'images
WO2024079119A1 (fr) Système de surveillance
Chu et al. Travel video scene detection by search
FR2872326A1 (fr) Procede de detection d'evenements par videosurveillance
Tapu et al. Multiresolution median filtering based video temporal segmentation
Li Learning and mining from personal digital archives

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980133643.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09809332

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 211129

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: 265/MUMNP/2011

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2009809332

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13059962

Country of ref document: US