WO2010037704A1 - Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video - Google Patents

Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video Download PDF

Info

Publication number
WO2010037704A1
WO2010037704A1 PCT/EP2009/062507 EP2009062507W WO2010037704A1 WO 2010037704 A1 WO2010037704 A1 WO 2010037704A1 EP 2009062507 W EP2009062507 W EP 2009062507W WO 2010037704 A1 WO2010037704 A1 WO 2010037704A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
stream
phase
scenes
scene
Prior art date
Application number
PCT/EP2009/062507
Other languages
English (en)
Inventor
Denis Marraud
Benjamin Cepas
Original Assignee
European Aeronautic Defence And Space Company - Eads France
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by European Aeronautic Defence And Space Company - Eads France filed Critical European Aeronautic Defence And Space Company - Eads France
Priority to EP09783466A priority Critical patent/EP2332079A1/fr
Priority to US13/120,340 priority patent/US9275140B2/en
Priority to JP2011528355A priority patent/JP5548202B2/ja
Publication of WO2010037704A1 publication Critical patent/WO2010037704A1/fr
Priority to IL211768A priority patent/IL211768A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing

Definitions

  • the invention relates to a method for optimizing the search for a scene from an image stream archived in a video database.
  • the invention also relates to software stored on a recording medium and intended, when executed by a computer, to implement the method, and a device adapted to implement the method.
  • Video images are increasingly used in industrial applications for process control and monitoring and in video surveillance applications of public or private sites. These applications typically use a network of cameras wisely arranged to provide reliable images at different points in the monitored space. The images provided by the different cameras are compressed and then stored in a video database for later use. In most applications, especially in the field of video surveillance, this operation requires the processing of a large volume of video images, especially when the network has a large number of cameras scattered in a large area such as a city for example. The quantity of stored images quickly becomes too important for an operator to perform a fast and efficient analysis of the images in order to extract facts or objects relevant to the intended application.
  • an investigation may require the viewing and / or processing of several tens of thousands of hours of video. It is then difficult to find the information sought if no prior indexing of the videos was undertaken as soon as the acquisition. Moreover, the videos available during the investigation are the ones that have been stored, thus compressed and no longer have the optimal image quality for a richest possible information extraction.
  • events and indications that generate alarms may be insufficient to navigate the archives quickly and efficiently in search of objects (individuals, vehicles) that may provide relevant information. This is the case, for example, of finding suspicious individuals in a crowd at different points in an area monitored by cameras.
  • a disadvantage of current CCTV systems is that they focus exclusively on current events and generate alarms for predefined events.
  • the notion of "memory" of such a system is limited to recorded videos and detected alarms.
  • the systems do not allow to find an event that did not generate an alarm when it occurred, but which became determinant in the context of a subsequent investigation.
  • a first object of the invention is to organize the memory of such systems so that they allow an effective investigation by limiting the amount of data to be analyzed by the operator, and by systematically annotating the streams of images obtained by the cameras to allow a quick selection of video sequences relevant to the investigation.
  • a second object of the invention and to provide hardware and software tools enabling the operator to navigate quickly and efficiently in video archives by means of systematic indexing to extract the information on the stream before compression to benefit from a maximum image quality.
  • the invention provides a method of assisting the investigation into a video archive based on the generic and systematic annotation of the streams, on the filtering of uninteresting videos from generic queries, and on the selection of the relevant videos. from a targeted search.
  • the process according to the invention comprises: a first pretreatment phase, prior to archiving said images, comprising the following steps:
  • a third search phase among the pre-selected video segments of a particular scene from at least one additional feature not forming part of the annotations associated with the preselected video segments.
  • said third phase comprises a learning step allowing the recognition of said additional characteristic in the preselected video segments.
  • the third search phase of a particular scene is executed by means of a generic request including said additional feature and the annotations associated with the preselected video segments.
  • additional information retrieval processes are applied. on the pre-selected segments, and said additional information is compared with information contained in the learning models of the specific characteristic sought.
  • the generic information extracted from said images is defined according to the intended application of the desired scene.
  • a possible application of the method according to the invention relates to the search for a particular scene in a stream of images obtained by a network of CCTV cameras.
  • the annotation of the scenes of the stream of images obtained by the cameras is carried out independently, flow by stream, on each of the streams obtained by each camera of the CCTV network.
  • the annotation of said scenes is performed by processing the annotations associated with several distinct streams, either by the preprocessing unit or by the processing unit.
  • the annotation of said scenes can be achieved by merging the annotations associated with several distinct streams.
  • This embodiment is particularly suitable for a video surveillance application made by a system comprising several cameras for example.
  • the first pretreatment phase is performed during the acquisition of the images.
  • the first preprocessing phase is performed during the archiving of the images.
  • the method is implemented by software stored on a recording medium and capable of being executed by a computer.
  • This software includes:
  • a first module comprising instructions for carrying out a pretreatment phase prior to the archiving of said images comprising the following steps: extracting generic information from the images of said stream,
  • a second module comprising instructions for carrying out an investigation phase by preselecting video segments in the image stream comprising annotations indications associated with said images, and,
  • a third module comprising instructions for carrying out a search phase of a particular scene from at least one additional feature that is not part of annotations associated with the preselected video segments.
  • Said software is capable of being implemented in a device for optimizing the search for a scene from an image stream archived in a video database comprising:
  • a first unit intended to perform a pretreatment of the images of the stream prior to the archiving of said images, said first unit comprising:
  • a third unit intended to perform a search phase of a particular scene from at least one additional feature not forming part of the annotations associated with the preselected video segments.
  • FIG. 1 schematically illustrates a general architecture of an acquisition system and of images in which is implemented the method according to the invention
  • - Figure 2 shows a block diagram illustrating the essential steps of video segment search according to the invention.
  • FIG. 1 schematically illustrates a system for acquiring and processing images obtained by a network of cameras 2 in a video surveillance network for example.
  • the output of each camera 2 is connected to a first preprocessing unit 4 comprising an annotation module 6 and a compression module 8.
  • the output of each pretreatment unit 4 is connected to a second preprocessing unit 10 comprising a module annotation merging 12 and a memory 14.
  • the output of the second pretreatment unit 10 is connected to an indexing unit 16 which can be central or distributed and communicating with a search unit 18.
  • the search unit 18 is also related to a postprocessing module 19 which supports learning and searching for the specific characteristic sought.
  • the images obtained by a camera 2 are transmitted, before compression, to the first preprocessing unit 4 associated with it.
  • the annotation module 6 of the processing unit 4 comprises software whose functions are adaptable to the application envisaged for adding generic annotations to the images received from the camera.
  • a video surveillance application it may be to detect and characterize moving objects (pedestrians, vehicles).
  • Generic annotations are for example "pedestrians", “vehicles”, object-related trajectories, characterization attributes, etc. In an industrial process monitoring application, this may be the detection and characterization of objects parading on a treadmill.
  • the generic annotations are for example the shape or the color of the objects.
  • the annotation of the scenes is done by processing the annotations associated with several distinct streams. It can be done independently by stream or by merging the annotations made on each stream, by means of the annotation merge module 12, annotations of several streams (multi-camera tracking video surveillance for example).
  • the annotations can be extracted locally as close as possible to the cameras (within the preprocessing unit 4) or before indexing in the processing unit 12.
  • the stored images then undergo systematic indexing in the indexing unit 16.
  • This indexing makes it possible to quickly eliminate the images that do not correspond to the search criteria specified by the operator during the investigation phase.
  • we are interested in a pedestrian in a video archive all the sequences presenting only cars will be automatically eliminated from the search.
  • the navigation in the database can be optimized by a non-generic characteristics recognition learning phase applied to the software of the preprocessing unit 4.
  • the post-processing unit 19 can be configured to automatically select sequences of pedestrians carrying a red backpack among preselected segments from generic features (ie pedestrian sequences).
  • this search is preceded by a step of indexing and preselecting the shots containing human beings, etc.
  • Figure 2 schematically illustrates the steps of searching a video segment from a database.
  • step 20 the operator initiates a search request of the video segment by means of the search unit 18.
  • This request essentially comprises generic criteria associated with the object sought during the preprocessing phase.
  • step 22 the indexing unit 16 searches for the object or objects corresponding to said generic criteria among the preselected segments during the preprocessing phase and transmits the segments found to the post-processing unit 19
  • the search is then optimized by means of a model obtained from a modeling unit 26 included in the post-processing unit 19.
  • the modeling unit 26 constructs models taking into account generic annotations and additional specific criteria.
  • the invention can be implemented in intelligent video surveillance systems that can be used in the context of investigations and in a more general way for all targeted research in a database of videos (industrial vision, multimedia, ).
  • the method makes it possible to considerably reduce the number of necessary operators and the search times for particular individuals, vehicles or events.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Procédé de recherche d'une scène à partir d'un flux d'images archivées dans une base de données vidéosurveillance comportant: - une première phase de prétraitement préalablement à l'archivage desdites images comportant les étapes suivantes : • extraire des informations génériques des images dudit flux, • annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques, • indexer les scènes desdites images à partir d' informations extraites desdites indications en provenance d'un ou de plusieurs flux, - une deuxième phase d' investigation par présélection de segments vidéo dans le flux d'images comportant les indications annotations associées auxdites images, et - une troisième phase de recherche d'une scène particulière à partir d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnées.

Description

PROCEDE D'OPTIMISATION DE LA RECHERCHE D'UNE SCENE A PARTIR D'UN FLUX D'IMAGES ARCHIVEES DANS UNE BASE DE
DONNEES VIDEO
DESCRIPTION
DOMAINE TECHNIQUE
L' invention concerne un procédé d'optimisation de la recherche d'une scène à partir d'un flux d'images archivées dans une base de données vidéo .
L' invention concerne également un logiciel mémorisé sur un support d'enregistrement et destiné, lorsqu'il est exécuté par un ordinateur, à mettre en œuvre le procédé, et un dispositif adapté pour mettre en œuvre le procédé.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
Les images vidéo sont de plus en plus utilisées dans des applications industrielles pour le contrôle et la supervision de processus et dans des applications de vidéosurveillance de sites publics ou privés. Ces applications utilisent généralement un réseau de caméras judicieusement agencées de manière à fournir des images fiables à différents points de l'espace surveillé. Les images fournies par les différentes caméras sont compressées puis stockées dans une base de données vidéo en vue d'une exploitation ultérieure. Dans la plupart des applications, notamment dans le domaine de vidéosurveillance, cette exploitation nécessite le traitement d'un grand volume d'images vidéo, particulièrement lorsque le réseau comporte un nombre important de caméras dispersées dans une zone étendue telle qu'une ville par exemple. La quantité d' images stockées devient très vite trop importante pour qu'un opérateur puisse effectuer une analyse rapide et efficace des images afin d'en extraire des faits ou objets pertinents pour l'application envisagée.
En pratique, une investigation peut nécessiter le visionnage et/ou le traitement de plusieurs dizaines de milliers d'heures de vidéo. Il est alors difficile de retrouver l'information recherchée si aucune indexation préalable des vidéos n'a été entreprise dès l'acquisition. Par ailleurs, les vidéos disponibles lors de l'investigation sont celles qui ont été stockées, donc compressées et ne disposent plus de la qualité image optimale pour une extraction d'information la plus riche possible.
Il existe dans l'art antérieur des systèmes générant des alarmes sur des événements ou des indications prédéfinis. Cependant, dans certaines applications, les événements et les indications générant les alarmes peuvent s'avérer insuffisants pour naviguer rapidement et efficacement dans les archives à la recherche d'objets (individus, véhicules) susceptibles de fournir des informations pertinentes. C'est le cas par exemple de la recherche d'individus suspects dans une foule à différents points d'une zone surveillée par des caméras.
Un inconvénient des systèmes de vidéosurveillance actuels provient du fait qu'ils s'intéressent exclusivement aux événements courants et génèrent des alarmes pour des événements prédéfinis. La notion de « mémoire » d'un tel système est limitée aux vidéos enregistrées et aux alarmes détectées.
Les systèmes ne permettent pas de retrouver un événement qui n'a pas généré d'alarme lors de son occurrence, mais qui est devenu déterminant dans le cadre d'une investigation ultérieure.
Un premier but de l'invention est d'organiser la mémoire de tels systèmes afin qu'ils permettent une investigation efficace en limitant la quantité de données à analyser par l'opérateur, et en annotant systématiquement les flux d' images obtenues par les caméras afin de permettre une sélection rapide des séquences vidéos pertinentes pour l'investigation. Un deuxième but de l'invention et de fournir des outils matériels et logiciels permettant à l'opérateur de naviguer rapidement et efficacement dans des archives vidéo au moyen d'une indexation systématique permettant d'extraire les informations sur le flux avant compression pour bénéficier d'une qualité d'image maximale.
EXPOSÉ DE L'INVENTION
L' invention propose un procédé d' aide à l'investigation dans une archive vidéo s' appuyant sur l'annotation générique et systématique des flux, sur le filtrage des vidéos sans intérêt à partir de requêtes génériques, et sur la sélection des vidéos pertinentes à partir d'une recherche ciblée.
Le procédé selon l'invention comporte : - une première phase de prétraitement, préalablement à l'archivage desdites images, comportant les étapes suivantes :
• extraire des informations génériques des images dudit flux,
• annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques,
• indexer les scènes desdites images à partir d'informations extraites desdites indications en provenance d'un ou de plusieurs flux,
- une deuxième phase d' investigation par présélection de segments vidéo dans le flux d' images comportant les indications des annotations associées auxdites images, et,
- une troisième phase de recherche parmi les segments vidéo pré-sélectionnés d'une scène particulière à partir d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnés.
Préférentiellement , ladite troisième phase comporte une étape d'apprentissage permettant la reconnaissance de ladite caractéristique supplémentaire dans les segments vidéo présélectionnés. Selon l'invention, la troisième phase de recherche d'une scène particulière est exécutée au moyen d'une requête générique comportant ladite caractéristique supplémentaire et les annotations associées aux segments vidéo présélectionnés. Dans cette phase de recherche, sont appliqués des traitements d'extraction d'informations supplémentaires sur les segments pré-sélectionnés, et lesdites informations supplémentaires sont comparées à des informations contenues dans les modèles d'apprentissage de la caractéristique spécifique recherchée. Selon une autre caractéristique de l'invention, les informations génériques extraites desdites images sont définies en fonction de l'application envisagée de la scène recherchée.
Une application possible du procédé selon l'invention concerne la recherche d'une scène particulière dans un flux d' images obtenues par un réseau de caméras de vidéosurveillance .
Dans ce cas, l'annotation des scènes du flux d' images obtenues par les caméras est réalisée indépendamment, flux par flux, sur chacun des flux obtenu par chaque caméra du réseau de vidéosurveillance .
Dans un mode de réalisation, l'annotation desdites scènes est réalisée par traitement des annotations associées à plusieurs flux distincts, soit par l'unité de prétraitement, soit par l'unité de traitement .
Dans un autre mode de réalisation de l'invention, l'annotation desdites scènes peut être réalisée par fusion des annotations associées à plusieurs flux distincts. Ce mode de réalisation est particulièrement adapté à une application de vidéosurveillance réalisée par un système comportant plusieurs caméras par exemple. Dans une première variante de réalisation de l'invention, la première phase de prétraitement est réalisée lors de l'acquisition des images.
Dans une deuxième variante de réalisation de l'invention la première phase de prétraitement est réalisée lors de l'archivage des images.
Le procédé est mis en œuvre par un logiciel mémorisé sur un support d'enregistrement et susceptible d'être exécuté par un ordinateur. Ce logiciel comporte :
- un premier module comportant des instructions pour réaliser une phase de prétraitement préalablement à l'archivage desdites images comportant les étapes suivantes : • extraire des informations génériques des images dudit flux,
• annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques, • indexer les scènes desdites images à partir d' informations extraites desdites indications en provenance d'un ou de plusieurs flux,
- un deuxième module comportant des instructions pour réaliser une phase d' investigation par présélection de segments vidéo dans le flux d' images comportant les indications annotations associées auxdites images, et,
- un troisième module comportant des instructions pour réaliser une phase de recherche d'une scène particulière à partir d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnés .
Ledit logiciel est susceptible d'être implémenté dans un dispositif d'optimisation de la recherche d'une scène à partir d'un flux d'images archivées dans une base de données vidéo comportant :
- une première unité destinée à réaliser un prétraitement des images du flux préalablement à l'archivage desdites images, ladite première unité comportant :
• des moyens pour extraire des informations génériques des images dudit flux,
• des moyens pour annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques,
• des moyens pour indexer les scènes desdites images à partir d' informations extraites desdites indications en provenance d'un ou de plusieurs flux, - une deuxième unité destinée à réaliser une phase d' investigation par présélection de segments vidéo dans le flux d' images comportant les indications annotations associées auxdites images, et,
- une troisième unité destinée à réaliser une phase de recherche d'une scène particulière à partir d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnés. BREVE DESCRIPTION DES DESSINS
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, prise à titre d'exemple non limitatif, en référence aux figures annexées dans lesquelles : la figure 1 illustre schématiquement une architecture générale d'un système d'acquisition et d' images dans lequel est mis en œuvre le procédé selon l'invention, - la figure 2 représente un schéma-bloc illustrant les étapes essentielles de recherche de segments vidéo selon l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
La figure 1 illustre schématiquement un système d'acquisition et de traitement d'images obtenues par un réseau de caméras 2 dans un réseau de vidéo surveillance par exemple. La sortie de chaque caméra 2 est reliée à une première unité de prétraitement 4 comportant un module d' annotation 6 et un module de compression 8. La sortie de chaque unité de prétraitement 4 est reliée à une deuxième unité de prétraitement 10 comportant un module de fusion d'annotation 12 et une mémoire 14. La sortie de la deuxième unité de prétraitement 10 est reliée à une unité d'indexation 16 qui peut être centrale ou répartie et communiquant avec une unité de recherche 18. L'unité de recherche 18 est également liée à un module de post-traitement 19 qui prend en charge l'apprentissage et la recherche de la caractéristique spécifique recherchée. En fonctionnement, les images obtenues par une caméra 2 sont transmises, avant compression, à la première unité de prétraitement 4 qui lui est associée.
Le module d'annotation 6 de l'unité de traitement 4 comporte un logiciel dont les fonctions sont adaptables à l'application envisagée pour ajouter des annotations génériques aux images reçues de la caméra .
Ainsi, dans une application de vidéosurveillance il pourra s'agir de détecter et caractériser des objets mobiles (piétons, véhicules) . Les annotations génériques sont par exemple « piétons », « véhicules », les trajectoires associées aux objets, des attributs de caractérisation, etc Dans une application de surveillance de processus industriel, il pourra s'agir de la détection et de la caractérisation d'objets défilant sur un tapis roulant. Dans ce cas, les annotations génériques sont par exemple la forme ou la couleur des objets. L'annotation des scènes est réalisée par traitement des annotations associées à plusieurs flux distincts. Elle peut se faire indépendamment flux par flux ou par fusion des annotations faites sur chaque flux, au moyen du module de fusion d'annotation 12, des annotations de plusieurs flux (tracking multi caméras en vidéosurveillance par exemple) . Les annotations peuvent être extraites localement au plus près des caméras (au sein de l'unité de pré-traitement 4) ou avant indexation dans l'unité de traitement 12. Une fois l'annotation définie et associée aux images, celles-ci sont compressées puis stockées dans la mémoire 14.
Les images stockées subissent ensuite une indexation systématique dans l'unité d'indexation 16. Cette indexation permet d'éliminer rapidement les images ne correspondant pas aux critères de recherche spécifiés par l'opérateur lors de la phase d'investigation. Ainsi, si par exemple on s'intéresse à un piéton dans une archive vidéo, toutes les séquences ne présentant que des voitures seront éliminées automatiquement de la recherche. La navigation dans la base de données peut être optimisée par une phase d'apprentissage de reconnaissance de caractéristiques non génériques appliquées au logiciel de l'unité de prétraitement 4.
Ainsi par exemple si on recherche un individu présentant une caractéristique supplémentaire n'ayant pas un caractère générique, par exemple, « l'individu recherché porte un sac à dos rouge », l'unité de post-traitement 19 peut être configurée pour sélectionner automatiquement les séquences de piétons portant un sac à dos rouge parmi les segments présélectionnés à partir des caractéristiques génériques (i.e. les séquences de piétons) .
Cette configuration est obtenue par un apprentissage de la notion «présence d'un sac à dos rouge» et sera alors réalisé et appliqué aux vidéos présélectionnées . Dans une application multimédia, il pourra s'agir de la découpe des scènes en plans et de la caractérisation de chacun des plans, ...) .
Ainsi, lors de la recherche des séquences d'un acteur donné dans une archive cinéma, cette recherche est précédée par une étape d' indexation et de présélection des plans contenant des êtres humains, etc .
La figure 2 illustre schématiquement les étapes de recherche d'un segment vidéo à partir d'une base de données.
A l'étape 20, l'opérateur lance une requête de recherche du segment vidéo au moyen de l'unité de recherche 18. Cette requête comporte essentiellement des critères génériques associés à l'objet recherché lors de la phase de prétraitement.
A l'étape 22, l'unité d'indexation 16 recherche l'objet ou les objets répondant auxdits critères génériques parmi les segments présélectionnés lors de la phase de prétraitement et transmet les segments trouvés à l'unité de post-traitement 19
Si l'objet recherché présente d'autres caractéristiques non génériques, la recherche est alors optimisée au moyen d'un modèle obtenu à partir d'une unité de modélisation 26 incluse dans l'unité de posttraitement 19. L'unité de modélisation 26 construit les modèles en tenant compte des annotations génériques et des critères spécifiques supplémentaires.
L' invention peut être mise en œuvre dans les systèmes de vidéosurveillance intelligente pouvant être utilisés dans le cadre d' investigations et de manière plus générale pour toute recherche ciblée dans une base de données de vidéos (vision industrielle, multimédia, ...) .
Le procédé permet de réduire considérablement le nombre d'opérateurs nécessaires et les temps de recherche d'individus, véhicules ou événements particuliers.

Claims

REVENDICATIONS
1. Procédé d'optimisation de la recherche d'une scène à partir d'un flux d'images archivées dans une base de données vidéo, caractérisé en ce qu' il comporte :
- une première phase de prétraitement préalablement à l'archivage desdites images comportant les étapes suivantes : • extraire des informations génériques des images dudit flux,
• annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques, • indexer les scènes desdites images à partir d' informations extraites desdites indications en provenance d'un ou de plusieurs flux,
- une deuxième phase d' investigation par présélection de segments vidéo dans le flux d' images comportant les indications annotations associées auxdites images,
- une étape d'apprentissage permettant la reconnaissance d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnés, et,
- une troisième phase de recherche d'une scène particulière à partir de ladite caractéristique supplémentaire .
2. Procédé selon la revendication 1 dans lequel ladite troisième phase de recherche d'une scène particulière est exécutée au moyen d'une requête générique comportant les annotations associées aux segments vidéo présélectionnés et ladite caractéristique supplémentaire.
3. Procédé selon la revendication 1 dans lequel les informations génériques extraites desdites images sont définies en fonction de l'application envisagée de la scène recherchée.
4. Procédé selon la revendication 3, consistant à rechercher une scène particulière dans un flux d' images obtenues par un réseau de caméras de vidéosurveillance .
5. Procédé selon la revendication 5 dans lequel l'annotation desdites scènes est réalisée indépendamment, flux par flux, sur chacun des flux obtenus par chaque caméra du réseau de vidéosurveillance.
6. Procédé selon la revendication 4 dans lequel l'annotation desdites scènes est réalisée par traitement des annotations associées à plusieurs flux distincts, soit par l'unité de pré-traitement (4), soit par l'unité de traitement (12) .
7. Procédé selon la revendication 2, caractérisé en ce que la première phase de prétraitement est réalisée lors de l'acquisition des images .
8. Procédé selon la revendication 2, caractérisé en ce que la première phase de prétraitement est réalisée lors de l'archivage des images.
9. Logiciel mémorisé sur un support d'enregistrement destiné, lorsqu'il est exécuté par un ordinateur, à mettre en œuvre le procédé selon l'une des revendications 1 à 9, caractérisé en ce qu'il comporte :
- un premier module comportant des instructions pour réaliser une phase de prétraitement préalablement à l'archivage desdites images comportant les étapes suivantes :
• extraire des informations génériques des images dudit flux,
• annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques,
• indexer les scènes desdites images à partir d' informations extraites desdites indications en provenance d'un ou de plusieurs flux,
- un deuxième module comportant des instructions pour réaliser une phase d'investigation par présélection de segments vidéo dans le flux d' images comportant les indications annotations associées auxdites images, et une phase d'apprentissage permettant la reconnaissance d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnés, et,
- un troisième module comportant des instructions pour réaliser une troisième phase de recherche d'une scène particulière à partir de ladite caractéristique supplémentaire.
10. Dispositif d'optimisation de la recherche d'une scène à partir d'un flux d'images archivées dans une base de données vidéo, caractérisé en ce qu' il comporte :
- une première unité (4) destinée à réaliser un prétraitement des images du flux préalablement à l'archivage desdites images, ladite première unité comportant :
• des moyens pour extraire des informations génériques des images dudit flux,
• des moyens (6) pour annoter systématiquement les scènes desdites images par au moins une indication définie en fonction desdites informations génériques,
• des moyens pour indexer les scènes desdites images à partir d' informations extraites desdites indications en provenance d'un ou de plusieurs flux,
- une deuxième unité (16) destinée à réaliser une phase d' investigation par présélection de segments vidéo dans le flux d' images comportant les indications annotations associées auxdites images, et, une phase d'apprentissage permettant la reconnaissance d'au moins une caractéristique supplémentaire ne faisant pas partie des annotations associées aux segments vidéo présélectionnés, et,
- une troisième unité (18) destinée à réaliser une troisième phase de recherche d'une scène particulière à partir de ladite caractéristique supplémentaire .
PCT/EP2009/062507 2008-09-30 2009-09-28 Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video WO2010037704A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09783466A EP2332079A1 (fr) 2008-09-30 2009-09-28 Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video
US13/120,340 US9275140B2 (en) 2008-09-30 2009-09-28 Method of optimizing the search for a scene on the basis of a stream of images archived in a video database
JP2011528355A JP5548202B2 (ja) 2008-09-30 2009-09-28 ビデオデータベース中にアーカイブ化された画像のストリームに基づくシーン検索の最適化方法
IL211768A IL211768A (en) 2008-09-30 2011-03-16 A method for streamlining scene search based on an archived image stream in a video data repository

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0856581 2008-09-30
FR0856581A FR2936627B1 (fr) 2008-09-30 2008-09-30 Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video.

Publications (1)

Publication Number Publication Date
WO2010037704A1 true WO2010037704A1 (fr) 2010-04-08

Family

ID=40521950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/062507 WO2010037704A1 (fr) 2008-09-30 2009-09-28 Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video

Country Status (6)

Country Link
US (1) US9275140B2 (fr)
EP (1) EP2332079A1 (fr)
JP (1) JP5548202B2 (fr)
FR (1) FR2936627B1 (fr)
IL (1) IL211768A (fr)
WO (1) WO2010037704A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11677905B2 (en) 2020-01-22 2023-06-13 Nishant Shah System and method for labeling networked meetings and video clips from a main stream of video
US11380359B2 (en) 2020-01-22 2022-07-05 Nishant Shah Multi-stream video recording system using labels
US11818461B2 (en) 2021-07-20 2023-11-14 Nishant Shah Context-controlled video quality camera system
CN113420733B (zh) * 2021-08-23 2021-12-31 北京黑马企服科技有限公司 一种高效分布式大数据数据采集实现方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0026353D0 (en) * 2000-10-27 2000-12-13 Canon Kk Apparatus and a method for facilitating searching
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP2006120018A (ja) * 2004-10-22 2006-05-11 Ricoh Co Ltd 映像データ処理装置、映像データ処理方法、プログラム及び記録媒体
JP4906274B2 (ja) * 2005-05-20 2012-03-28 日本放送協会 メタデータ統合装置及びメタデータ統合プログラム
JP2007272463A (ja) * 2006-03-30 2007-10-18 Toshiba Corp 情報検索装置、情報検索方法および情報検索プログラム
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NIELS HAERING ET AL: "The evolution of video surveillance: an overview", MACHINE VISION AND APPLICATIONS, SPRINGER, BERLIN, DE, vol. 19, no. 5-6, 19 June 2008 (2008-06-19), pages 279 - 290, XP019651736, ISSN: 1432-1769 *
THI-LAN LE ET AL: "A framework for surveillance video indexing and retrieval", CONTENT-BASED MULTIMEDIA INDEXING, 2008. CBMI 2008. INTERNATIONAL WORKSHOP ON, IEEE, PISCATAWAY, NJ, USA, 18 June 2008 (2008-06-18), pages 338 - 345, XP031286384, ISBN: 9781424420438 *
VADAKKEVEEDU K; PENG XU; FERNANDES R; MAYER R J: "A content based video retrieval method for surveillance and forensic applications", PROCEEDINGS OF THE SPIE 2007, vol. 6560, 9 April 2007 (2007-04-09), pages 1 - 11, XP002524620, ISSN: 0277-786X *

Also Published As

Publication number Publication date
US9275140B2 (en) 2016-03-01
JP2012504265A (ja) 2012-02-16
FR2936627B1 (fr) 2016-07-22
FR2936627A1 (fr) 2010-04-02
JP5548202B2 (ja) 2014-07-16
IL211768A (en) 2017-06-29
EP2332079A1 (fr) 2011-06-15
US20110228095A1 (en) 2011-09-22
IL211768A0 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
EP3830714B1 (fr) Systèmes et procédés de génération de métadonnées décrivant des objets de données non structurés dans un dispositif périphérique de stockage
EP2923487B1 (fr) Extraction de métadonnées de système de suivi automatique basé sur des caméras maîtres-esclaves
US20150264296A1 (en) System and method for selection and viewing of processed video
US20100287161A1 (en) System and related techniques for detecting and classifying features within data
US20140214885A1 (en) Apparatus and method for generating evidence video
Chen et al. Intelligent urban video surveillance system for automatic vehicle detection and tracking in clouds
US20080080743A1 (en) Video retrieval system for human face content
EP2316082A1 (fr) Procede d'identification d'un objet dans une archive video
US11620335B2 (en) Method for generating video synopsis through scene understanding and system therefor
KR101821989B1 (ko) 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
GB2414615A (en) Object detection, scanning and labelling
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
EP2332079A1 (fr) Procede d'optimisation de la recherche d'une scene a partir d'un flux d'images archivees dans une base de donnees video
EP3496000A1 (fr) Extraction automatique d'attributs d'un objet au sein d'un ensemble d'images numeriques
Hampapur et al. Searching surveillance video
US20210089784A1 (en) System and Method for Processing Video Data from Archive
Agarwal et al. Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network
WO2023192996A1 (fr) Détection d'anomalie à peu de coups
WO2006032799A1 (fr) Système d'indexation de vidéo de surveillance
Hampapur et al. Video analytics in urban environments
Zhu et al. Person re-identification in the real scene based on the deep learning
Schindler et al. Multi-modal video forensic platform for investigating post-terrorist attack scenarios
Pranali et al. Inhalt based video recuperation system using OCR and ASR technologies
Asghar et al. PakVehicle-ReID: a multi-perspective benchmark for vehicle re-identification in unconstrained urban road environment
DeAngelus et al. On-demand Forensic Video Analytics for Large-Scale Surveillance Systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09783466

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011528355

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2009783466

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13120340

Country of ref document: US