WO2022260505A1 - Self-contained distributed video surveillance method and platform for real-time event detection and tracking by means of low-cost interconnected smart cameras - Google Patents

Self-contained distributed video surveillance method and platform for real-time event detection and tracking by means of low-cost interconnected smart cameras Download PDF

Info

Publication number
WO2022260505A1
WO2022260505A1 PCT/MA2022/050008 MA2022050008W WO2022260505A1 WO 2022260505 A1 WO2022260505 A1 WO 2022260505A1 MA 2022050008 W MA2022050008 W MA 2022050008W WO 2022260505 A1 WO2022260505 A1 WO 2022260505A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitored
tracking
cameras
signature
objects
Prior art date
Application number
PCT/MA2022/050008
Other languages
French (fr)
Inventor
Mohammed AZZAKHNINI
Ahmed AZOUGH
Noureddine EN-NAHNAHI
Original Assignee
Université Sidi Mohamed Ben Abdellah
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Université Sidi Mohamed Ben Abdellah filed Critical Université Sidi Mohamed Ben Abdellah
Publication of WO2022260505A1 publication Critical patent/WO2022260505A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/009—User recognition or proximity detection

Definitions

  • the present invention generally relates to the field of surveillance equipment and technologies, and more particularly wireless video surveillance systems, distributed architectures and computer vision algorithms used for the detection, tracking and identification of moving objects.
  • CCTV cameras are easily found everywhere: in hospitals, shopping malls, parking lots, train stations and even on the street. CCTV applications make it possible to observe many different positions at the same time and quickly recognize abnormal events in a scene.
  • our invention aims to remedy the problems and limitations that existing video surveillance systems have.
  • the proposed method and platform is based on a distributed architecture so that each intelligent camera is autonomous and totally independent of the other elements of our proposed platform.
  • Figure 1 represents the distribution of cameras in the monitored area and their organizations according to their roles in the platform.
  • Figure 2 is a flowchart showing the operations of detection, tracking and identification of moving objects in a smart camera, as well as the synchronization process between neighboring smart cameras and the central server.
  • Figure 3 is a simplified diagram describing the components of the system.
  • Figure 4 is a flowchart showing a processing operation consisting in identifying the object contained in a request and visualizing its path in the monitored area.
  • Figure 5 is a flowchart showing the process of merging the different captures of an object detected from several angles of view in order to build a 3D signature.
  • Figure 6 is a simplified diagram that shows a few daemons running in real time in the smart camera and performing a specific task.
  • This invention describes an autonomous distributed video surveillance method for detecting and monitoring events in real time through low-cost interconnected intelligent cameras.
  • our method of detecting and monitoring events comprises the following steps:
  • the detection step makes it possible to analyze and extract any object present in each video stream.
  • the objects are then classified and their movements are analyzed in order to detect abnormal behavior in order to prevent a dangerous situation.
  • the detected objects are then tracked during their movements in the monitored area using an appropriate computer vision algorithm.
  • the identification step makes it possible to assign each object of interest a unique identifier (ID) which distinguishes it from other objects.
  • ID unique identifier
  • each detected moving object is analyzed to extract a signature that characterizes it according to its visual aspects. This signature represents for an object what the fingerprint represents for a human being.
  • the step of detecting monitored objects comprises the following steps:
  • the Construction step of a multi-view 3D signature is done by • the construction of the characteristic vectors of the detected objects from the visual aspects extracted from different angles of view of each object monitored by each intelligent access camera (1);
  • the tracking step of the different monitored objects in the field of view of each agent smart camera (2) is done by constructing a 2D signature -2DSiD- which uniquely characterizes each object using an appropriate computer vision method , and subsequently following each object monitored by each agent intelligent camera and ensuring the recording of its trajectory traversed in the area monitored by each agent intelligent camera (2);
  • the identification of each monitored object during its passage through the various zones monitored by intelligent agent cameras (2) is done by comparing the 2D signature -2DSiD- of the detected object with all the 2D signatures - 2DSiD- stored locally in the smart camera's local database, and treats them as follows:
  • the 2D signature -2DSiD- is sent to the central server database (3) to compare it with the stored multi-view 3D signatures -3DSiD-;
  • the storage of the complete path traveled by each monitored object is carried out by tracing the trajectory traveled by each monitored object in the area monitored by each intelligent camera and the continuous recording of the trajectory of each monitored object traced by the smart cameras in the database.
  • the updating of the signature and the position of the monitored object is done by comparing the new 2D signature -2DSiD- extracted by the intelligent camera which ensures the monitoring with that already stored and built by another smart camera, and if they are different, the two signatures are merged to obtain a new signature which better represents the object.
  • the search and recovery of monitored objects is done by creating the multi-view 3D signature - 3DSiD - of the object to be searched for from its images given as input to the central server (3), and by comparing, thereafter, this multi-view 3D signature -3DSiD- d with all multi-view 3D signatures -3DSiD- stored in the central database in order to find a match.
  • the unique identifier -ID- of the object in question will be sent, in case of similarity, otherwise a message will be displayed indicating that the object sought does not exist in the database.
  • the sharing of geographic information of monitored objects is done by linking smart cameras to a geographic location system and the storage and sharing of geographic information of each monitored object based on a geographic database shared between all of the smart cameras.
  • the other aspect of the invention relates to a platform comprising low-cost intelligent cameras and a lightweight central server (Fig 3).
  • Each smart camera which performs the method of detecting, identifying and tracking monitored objects, consists of a camera sensor (4), processing units (6) (Central Processing Unit (CPU)/ graphics processor (GPU)/ video processing unit (VPU)), connection entities (7) to ensure connectivity between the different elements of the platform, as well as memory areas (5) which guarantee space for data storage.
  • the camera sensor (4) is capable of recording video scenes in real time, and providing frames in each time lapse which will be processed by the processing units (6).
  • the processing units run appropriate computer vision algorithms for detecting, tracking and identifying moving objects.
  • the memory areas (5) host a local database for each intelligent camera where all the characteristic vectors of each detected object are stored as well as the geolocation information concerning each object.
  • the central server (3) is also composed of a processing unit (6) (CPU/GPU/VPU) making it possible to run the object detection, identification and tracking method, to search for a specific object in the center database, as well as running the various daemons for detecting objects of interest and dangerous behavior, connection entities (7) making it possible to ensure communication between the intelligent cameras and the central server and (5) higher capacity memory compared to smart cameras used as central database, making it possible to store the three-dimensional characteristic vectors of each detected object (3DSiD) as well as the geolocation information concerning each object .
  • a processing unit (6) CPU/GPU/VPU
  • connection entities (7) making it possible to ensure communication between the intelligent cameras and the central server and (5) higher capacity memory compared to smart cameras used as central database, making it possible to store the three-dimensional characteristic vectors of each detected object (3DSiD) as well as the geolocation information concerning each object .
  • Smart cameras play the role of a security guard. They monitor the entire monitored area, identify each new object of interest that has just appeared for the first time, and effectively track it as it moves through the monitored area and through the smart cameras, by exchanging relevant information between all the smart cameras that make up our platform (Fig 1).
  • the different processing operations (Fig 2) that constitute our proposed method as well as the architecture of the platform are described in the following paragraphs:
  • the platform is based on a lightweight central server (3) and a set of lightweight smart cameras (1,2) distributed in the monitored area which aim to monitor objects of interest.
  • monitored object or object of interest in this patent means any object in which the user is interested. It can be living beings, vehicles, robots, luggage or any other object that needs to be monitored.
  • smart cameras are grouped into two main categories: access smart cameras (1) and agent smart cameras (2).
  • Access smart cameras (1) are the main source of information stored in the central database. They are installed in the entry and exit areas of the monitored area (eg in front of doors). Their main purpose is to identify any moving object entering or leaving the monitored area by performing our proposed event detection and tracking method.
  • each object To access a monitored area (for example, an airport, a university campus, a train station, etc.), each object must pass through the zones of 'access. When it does, the smart access cameras (1) detect it using appropriate detection algorithms. This process constitutes the first detection step in our proposed method. Then, the visual characteristics of each detected object are extracted by several angles of view of the monitored object and are merged and used to build a 3D identification signature (3DSiD), as shown in Figure 5.
  • 3DSiD 3D identification signature
  • Such a 3D signature would allow any object of interest to be recognized and subsequently identified by the various smart cameras, regardless of the field of view through which it is filmed.
  • each 3DSiD signature will be stored in the database (local database as well as on the central server) and will be linked to a unique identifier (ID) specific to each monitored object. This ID will be used to uniquely identify monitored objects.
  • ID unique identifier
  • the smart access cameras (1) are used to detect and prevent possible dangerous situations thanks to specific daemons that run permanently in each camera (Fig 6).
  • daemons An example of such daemons is to compare the signature (3DSiD) of each detected object with a set of signatures (3DSiD) stored in the database which contains the different signatures (3DSiD) of forbidden objects (for example, suspicious people or wanted, animals prohibited in certain establishments, etc.) in order to research and find possible similarities. Then, if necessary, an alarm signal is sent to the authorities indicating the source of the danger.
  • the agent smart cameras (2) are distributed throughout the monitored area to ensure optimal coverage of the area.
  • Each agent smart camera (2) performs our event detection and tracking method. It ensures the detection of moving objects and then builds a 2D identification signature (2DSiD) for each monitored object.
  • the 2DSiD represents for a moving object what the fingerprint represents for a human being. It characterizes each moving object in a unique way and enables smart cameras to distinguish between different moving objects in the monitored area.
  • the 2DSiD is stored in the local database of the agent smart camera (2).
  • each signature stored in the database is linked to a unique identifier (ID) and specific to each object. monitored.
  • This ID is used to identify monitored objects (Fig 2).
  • the signature (2DSiD) of each monitored object extracted by the agent smart camera (2) is compared with those stored in the local database of the agent smart camera which monitors the area. If the same signature is present in the local database, the ID corresponding to the 2DSiD extracted from the object is assigned to the latter during its tracking. Otherwise, the camera sends the 2DSiD to the central server (3) which, in turn, performs a search to find a match in the list of 3DSiD signatures.
  • the server compares the 2DSiD sent by the agent smart camera with the 3DSiD stored in the central database using an appropriate comparison method. Once the search for a similar signature in the central database is carried out, the central server sends the corresponding ID to the agent smart camera. If neither the camera nor the server can find a match for the signature extracted from the object monitored, it will be considered as a new object. His signature will be stored in the local and central database, and a new unique identifier (ID) will be assigned to him (
  • the smart cameras are connected to a geographical location system to ensure the recording of the geographical location of each monitored object during its tracking. These cameras work collectively by exchanging relevant information with each other (Fig 2).
  • the 2DSiDs of monitored objects are shared between the set of smart cameras using an appropriate communication protocol.
  • no images are exchanged either between the smart cameras among themselves or between them and the central server. Only the identification signatures are exchanged in order to guarantee a fast and light exchange of information, and to ensure good management of the network bandwidth. The exchange of images is only carried out subsequently for archival and legal purposes.
  • the 3DSiD and 2DSiD signatures are constantly updated each time the object enters the field of view of a new smart camera. This update is done in order to make the signature more robust by gathering more details about the visual appearance of each tracked object.
  • the local database of each smart camera is constantly updated and contains only a specific set of data. Cleanup of the local database will be based on the time factor. The duration of the last appearance of the object in the camera will be calculated; if it exceeds a threshold, which will be set during the experimentation phase, the object data will be deleted from the local database after an archiving phase in the central database by sending the signature and geolocations to the central server.
  • Our described method allows offline searching for specific objects and returns the identifier and full path that an object has traveled over time in the monitored area.
  • the image of the searched object is given as input to the central server, which constructs the 2DSiD which corresponds to it and compares it with the 3DSiDs already present in the database.
  • the platform we offer is designed for use with mobile camera sensors.
  • smart cameras which are connected to a geographical location system, can be installed for example on any vehicle or in the streets and allow shared surveillance of controlled areas (FIG 7).
  • a geographical database shared by all the cameras can thus be accessed and updated in real time by all the intelligent cameras analyzing the monitored area in order to centralize the information on a single system.
  • Such a platform will be a good contribution to the development of smart cities by improving municipal services and citizens' lives.
  • An application would be, for example, the search for free parking spaces in real time thanks to the equipment of private or public transport vehicles by this type of camera, avoiding traffic jams and reporting accidents by sharing the geographical location of traffic jams in the city, or to ensure the security of cities by monitoring and searching for wanted people or cars (FIG 8).
  • the present invention can be applied in wireless video surveillance systems.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention describes a self-contained distributed video surveillance method and platform for detecting and tracking events occurring in an area monitored by a dispersed collection of low-cost, loosely coupled smart cameras. The proposed method and platform relies on appropriate computer vision algorithms to perform the tasks of detecting, tracking and identifying moving objects. Subsequently, each detected object will be represented by a three-dimensional signature that uniquely identifies it. This signature is constructed by combining the visual aspects of the object as viewed from different angles. In this way, every object tracked will be recognised by the other smart cameras regardless of the angle from which it was detected. The various signatures, which are stored in the local database of each camera, are used to search for objects of interest or to establish the complete trajectory of an object in the monitored area.

Description

Titre : Méthode et plateforme de vidéosurveillance distribuée autonome de détection et suivi des événements en temps réel à travers des caméras intelligentes interconnectées à bas coûtTitle: Autonomous distributed video surveillance method and platform for real-time event detection and monitoring through low-cost interconnected smart cameras
Domaine de l'invention : Field of the invention:
La présente invention concerne généralement le domaine des équipements et technologies de surveillance, et plus particulièrement les systèmes de vidéosurveillances sans fil, les architectures distribuées et les algorithmes de vision par ordinateur utilisés pour la détection, le suivi et l'identification des objets en mouvements. The present invention generally relates to the field of surveillance equipment and technologies, and more particularly wireless video surveillance systems, distributed architectures and computer vision algorithms used for the detection, tracking and identification of moving objects.
Etat de l'art antérieur State of the prior art
De nos jours, les caméras de surveillance envahissent le monde. On trouve des caméras partout ; dans les établissements publics, les aéroports, les gares, dans les rues et même installées à l'intérieur des véhicules. Cette explosion dans le nombre de caméras qui gardent un œil sur notre monde exige la nécessité de concevoir des systèmes de vidéosurveillance automatisés. Un exemple d'un tel système est divulgué dans le brevet américain intitulé "Cognitive Tracker -- Appliance for Enabling Camera-to- Camera Object Tracking in Multi-Camera Surveillance Systems" (US20180308243). Ce brevet divulgue un système de suivi cognitif des objets d'intérêt observés dans les systèmes de surveillance à caméras multiples, qui calcule en permanence les caractéristiques saillantes des objets détectés dans chaque trame de données, et leurs attribuent un identifiant unique pendant une durée prédéterminée. Chaque fois qu'un objet suivi apparaît ou disparaît des systèmes de caméras, le registre de transfert, qui contient des informations sur les objets suivis avec leurs identifiants, est mis à jour. Un message est partagé par un ensemble de caméras voisines bien définies afin de provoquer une mise à jour de leur registre de transfert. Nowadays, surveillance cameras are taking over the world. There are cameras everywhere; in public establishments, airports, stations, in the streets and even installed inside vehicles. This explosion in the number of cameras keeping an eye on our world demands the need to design automated video surveillance systems. An example of such a system is disclosed in the US patent entitled "Cognitive Tracker -- Appliance for Enabling Camera-to-Camera Object Tracking in Multi-Camera Surveillance Systems" (US20180308243). This patent discloses a system for cognitive tracking of objects of interest observed in multi-camera surveillance systems, which continuously calculates the salient characteristics of the objects detected in each frame of data, and assigns them a unique identifier for a predetermined duration. Each time a tracked object appears or disappears from the camera systems, the transfer register, which contains information about the tracked objects with their identifiers, is updated. A message is shared by a set of well-defined neighboring cameras in order to cause an update of their transfer register.
Toutefois, le système décrit ci-dessus est encore insuffisant et n'offre pas de solution idéale. Parmi ses limites, on peut citer le calcul des caractéristiques saillantes à effectuer en continu pour chaque image, ce qui peut causer une détérioration du temps de réponse et des performances, et nécessiter des unités de traitement très puissantes puisqu'il s'agit d'un système de vidéosurveillance en temps réel. De plus, le retrait des objets de la base de données dès qu'ils quittent la zone surveillée ne permet pas de retracer le chemin parcouru par chaque objet détecté. However, the system described above is still insufficient and does not offer an ideal solution. Among its limitations, we can cite the calculation of the salient features to be carried out continuously for each image, which can cause a deterioration in response time and performance, and require very powerful processing units since it is a question of a real-time video surveillance system. In addition, the removal of objects from the database as soon as they leave the monitored area does not make it possible to retrace the path traveled by each detected object.
Un autre système de suivi d'objet dans un environnement multi caméras est décrit dans le brevet intitulé "Method and System for tracking object of interest in real-time in multi-camera environment " (US20200175697A1). Ce système décrit dans ledit brevet, et qui se compose d'un module client et un module serveur, permet de suivre un objet d'intérêt à travers un ensemble de caméras. Le module serveur détermine à chaque fois un sous-réseau de caméras voisines qui communiquent l'une avec l'autre en se basant sur l'apparition de l'objet d'intérêt dans la zone surveillée. Une fois l'objet détecté dans une caméra par l'intermédiaire du module client, le module serveur définit un ensemble de caméras voisines adjacentes qui communiquent entre elles afin d'assurer un suivi de cet objet dans la zone surveillée. Cependant, un tel système montre ses limites à plusieurs égards. Le partage des informations concernant la configuration du sous-réseau de caméras adjacentes à chaque fois entre le module serveur et le module client augmente la quantité de données qui circulent dans le réseau, ce qui surcharge la bande passante du réseau et alourdit les traitements. De plus, ce système repose dans son traitement sur le module serveur qui doit à chaque fois réinitialiser le sous-réseau de caméras qui communiquent ensemble en se basant sur la dernière apparition de l'objet. Un tel traitement centralisé présente des problèmes au cas où le module serveur plante. Another object tracking system in a multi-camera environment is described in the patent entitled “Method and System for tracking object of interest in real-time in multi-camera environment” (US20200175697A1). This system described in said patent, and which consists of a client module and a server module, makes it possible to follow an object of interest through a set of cameras. The server module each time determines a subnet of neighboring cameras that communicate with each other. the other based on the appearance of the object of interest in the monitored area. Once the object has been detected in a camera via the client module, the server module defines a set of adjacent neighboring cameras which communicate with each other in order to ensure tracking of this object in the monitored area. However, such a system shows its limits in several respects. The sharing of information concerning the configuration of the sub-network of adjacent cameras each time between the server module and the client module increases the quantity of data which circulates in the network, which overloads the bandwidth of the network and weighs down the processing. In addition, this system relies in its processing on the server module which must each time reinitialize the sub-network of cameras which communicate together based on the last appearance of the object. Such centralized processing presents problems in case the server module crashes.
Exposé de l'invention : Description of the invention:
Le domaine de la vidéosurveillance s'est considérablement développé ces dernières années. Aujourd'hui, on trouve facilement des caméras de vidéosurveillance partout : dans les hôpitaux, les centres commerciaux, les parkings, les gares et même dans la rue. Les applications de vidéosurveillance permettent d'observer de nombreuses positions différentes en même temps et de reconnaître rapidement des événements anormaux dans une scène. The field of video surveillance has developed considerably in recent years. Today, CCTV cameras are easily found everywhere: in hospitals, shopping malls, parking lots, train stations and even on the street. CCTV applications make it possible to observe many different positions at the same time and quickly recognize abnormal events in a scene.
Cependant, la prolifération des caméras installées dans les espaces publics ou privés rend de plus en plus difficile, pour les opérateurs humains, l'utilisation et l'analyse d'une telle quantité de données produites par ces systèmes. However, the proliferation of cameras installed in public or private spaces makes it increasingly difficult for human operators to use and analyze such a quantity of data produced by these systems.
De nombreuses techniques d'analyse vidéo automatique ont été étudiées dans une perspective de recherche, et certaines sont même commercialisées dans des solutions industrielles. Cependant, la plupart de ces solutions sont basées sur le principe du client/serveur et utilisent des architectures très centralisées avec des serveurs à coût élevé afin de traiter les vidéos en continu envoyées par les différentes caméras qui surveillent une zone précise. Les clients de ces architectures sont uniquement limités à l'acquisition d'images où toutes les tâches de traitement sont effectuées par le serveur central. Many automatic video analysis techniques have been studied from a research perspective, and some are even commercialized in industrial solutions. However, most of these solutions are based on the client/server principle and use very centralized architectures with high-cost servers in order to process the continuous videos sent by the various cameras which monitor a specific area. Clients of these architectures are only limited to image acquisition where all processing tasks are performed by the central server.
Les architectures hautement centralisées ne représentent pas toujours la solution idéale. Les entreprises doivent investir des ressources afin d'acheter et de maintenir des serveurs qui devraient être suffisamment puissants pour traiter des flux vidéos provenant des différentes caméras. En outre, la défaillance du serveur central entraîne la défaillance de l'ensemble du système. L'autre problème est lié à la durée des traitements, qui peut être longue en raison d'une éventuelle surcharge soit sur le serveur soit au niveau de la bande passante du réseau. Les systèmes qui reposent sur des architectures distribuées sont plus efficaces, moins vulnérables aux pannes et moins coûteux. Ce qui en fait la solution idéale à mettre en oeuvre dans un système de vidéosurveillance autonome. Highly centralized architectures are not always the ideal solution. Companies must invest resources in order to buy and maintain servers which should be powerful enough to process video streams from different cameras. Furthermore, the failure of the central server leads to the failure of the entire system. The other problem is linked to the processing time, which can be long due to a possible overload either on the server or on the level of the network bandwidth. Systems based on architectures distributed systems are more efficient, less prone to failure, and less expensive. This makes it the ideal solution to implement in an autonomous video surveillance system.
Notre invention a pour objectif de remédier aux problèmes et limitations que les systèmes de vidéosurveillance existants présentent. En effet, la méthode et plateforme proposée est basée sur une architecture distribuée de façon que chaque caméra intelligente soit autonome et totalement indépendante des autres éléments de notre plateforme proposée. Our invention aims to remedy the problems and limitations that existing video surveillance systems have. Indeed, the proposed method and platform is based on a distributed architecture so that each intelligent camera is autonomous and totally independent of the other elements of our proposed platform.
Brève description des différentes vues des dessins : Brief description of the different views of the drawings:
Figure 1 représente la répartition des caméras dans la zone surveillée et leurs organisations selon leurs rôles dans la plate-forme. Figure 1 represents the distribution of cameras in the monitored area and their organizations according to their roles in the platform.
Figure 2 est un organigramme montrant les opérations de détection, de suivi et d'identification des objets en mouvement dans une caméra intelligente, ainsi que le processus de synchronisation entre les caméras intelligentes voisines et le serveur central. Figure 2 is a flowchart showing the operations of detection, tracking and identification of moving objects in a smart camera, as well as the synchronization process between neighboring smart cameras and the central server.
Figure 3 est un schéma simplifié décrivant les composantes du système. Figure 3 is a simplified diagram describing the components of the system.
Figure 4 est un diagramme de flux montrant une opération de traitement consistant à identifier l'objet contenu dans une requête et à visualiser son cheminement dans la zone surveillée. Figure 4 is a flowchart showing a processing operation consisting in identifying the object contained in a request and visualizing its path in the monitored area.
Figure 5 est un organigramme montrant le processus de fusion des différentes captures d'un objet détecté sous plusieurs angles de vue afin de construire une signature 3D. Figure 5 is a flowchart showing the process of merging the different captures of an object detected from several angles of view in order to build a 3D signature.
Figure 6 est un diagramme simplifié qui montre quelques démons tournant en temps réel dans la caméra intelligente et exécutant une tâche spécifique. Figure 6 is a simplified diagram that shows a few daemons running in real time in the smart camera and performing a specific task.
Description détaillée de l'invention : Detailed description of the invention:
Cette invention décrit une méthode de vidéosurveillance distribuée autonome de détection et suivi des événements en temps réel à travers des caméras intelligentes interconnectées à bas coût. This invention describes an autonomous distributed video surveillance method for detecting and monitoring events in real time through low-cost interconnected intelligent cameras.
D'après la figure 2, notre méthode de détection et suivi des évènements, objet de la présente invention, comporte les étapes suivantes : According to figure 2, our method of detecting and monitoring events, object of the present invention, comprises the following steps:
• Une étape de détection d'objets surveillés dans les zones d'accès de la zone surveillée grâce à des caméras intelligentes d'accès (1) ; • Une étape de construction d'une signature 3D multi-vues -3DSiD- qui modélise chaque objet détecté de manière unique ; • A step of detecting monitored objects in the access areas of the monitored area using intelligent access cameras (1); • A step of building a multi-view 3D signature -3DSiD- which models each detected object in a unique way;
• Une étape de suivi des différents objets surveillés dans le champ de vision de chaque caméra intelligente agente (2) ; • A step of monitoring the various monitored objects in the field of vision of each smart camera agent (2);
• Une étape d'identification de chaque objet lors de son passage à travers les différentes zones surveillées par des caméras intelligentes agentes ; • An identification step for each object as it passes through the different zones monitored by intelligent agent cameras;
• Une étape de stockage du chemin complet parcouru par chaque objet surveillé en regroupant ses différentes positions marquées par les différentes caméras intelligentes ; • A step of storing the complete path traveled by each monitored object by grouping together its different positions marked by the different smart cameras;
• Une étape de mise à jour de la signature et de la position de l'objet surveillé par les caméras au fur et à mesure qu'il se déplace dans la zone surveillée ; • A step of updating the signature and the position of the object monitored by the cameras as it moves in the monitored area;
• Une étape de recherche et récupération des objets d'intérêts, en cas de besoin, par le biais de la base de données centrale ; et • A stage of research and recovery of objects of interest, if necessary, through the central database; and
• Une étape de partage des informations géographiques des objets surveillées en utilisant un système de localisation géographique lié aux caméras intelligentes. • A step of sharing geographical information of monitored objects using a geographical location system linked to smart cameras.
L'étape de détection permet d'analyser et extraire tout objet présent dans chaque flux vidéo. Les objets sont par la suite classifiés et leurs mouvements sont analysés afin de détecter les comportements anormaux afin de prévenir une situation dangereuse. Les objets détectés sont par la suite suivis pendant leurs mouvements dans la zone surveillée en utilisant un algorithme de vision par ordinateur approprié. En fin, l'étape d'identification permet d'attribuer à chaque objet d'intérêt un identifiant unique (ID) qui le distingue des autres objets. En effet, chaque objet en mouvement détecté est analysé pour en extraire une signature qui le caractérise selon ses aspects visuels. Cette signature représente pour un objet ce que l'empreinte digitale représente pour un être humain. Ces signatures sont stockées dans la base de données de notre plateforme et liées aux identifiants (ID). The detection step makes it possible to analyze and extract any object present in each video stream. The objects are then classified and their movements are analyzed in order to detect abnormal behavior in order to prevent a dangerous situation. The detected objects are then tracked during their movements in the monitored area using an appropriate computer vision algorithm. Finally, the identification step makes it possible to assign each object of interest a unique identifier (ID) which distinguishes it from other objects. Indeed, each detected moving object is analyzed to extract a signature that characterizes it according to its visual aspects. This signature represents for an object what the fingerprint represents for a human being. These signatures are stored in our platform database and linked to identifiers (ID).
Selon l'invention, l'étape de détection d'objets surveillés comprend les étapes suivantes : According to the invention, the step of detecting monitored objects comprises the following steps:
• Analyse de chaque objet passant par et à travers les zones d'accès de la zone surveillée par les caméras intelligentes d'accès (1) installées dans les entrées et sorties de la zone surveillée ; et • Analysis of each object passing through and through the access areas of the monitored area by the intelligent access cameras (1) installed in the entrances and exits of the monitored area; and
• détection de chaque objet passant par une caméra intelligente d'accès (1) en utilisant un algorithme de vision par ordinateur approprié exécuté par le système interne de la caméra intelligente d'accès. • detection of each object passing through a smart access camera (1) using an appropriate computer vision algorithm executed by the internal system of the smart access camera.
L'étape de Construction d'une signature 3D multi-vues, quant à elle, se fait par • la construction des vecteurs caractéristiques des objets détectés à partir des aspects visuels extraits de différents angles de vues de chaque objet surveillé par chaque caméra intelligente d'accès (1) ; The Construction step of a multi-view 3D signature, on the other hand, is done by • the construction of the characteristic vectors of the detected objects from the visual aspects extracted from different angles of view of each object monitored by each intelligent access camera (1);
• la fusion des différents vecteurs caractéristiques extraits des différents angles de vues de l'objet surveillé afin de construire une signature 3D multi-vues -3DSiD- qui représente de manière unique chaque objet surveillé ; et • the merging of the different characteristic vectors extracted from the different viewing angles of the monitored object in order to construct a multi-view 3D signature -3DSiD- which uniquely represents each monitored object; and
• le stockage de la signature 3D multi-vues -3DSiD- dans la base de données centrale hébergée dans le serveur centrale (3) et association d'un identifiant unique (ID) à chaque signature stockée. • storage of the multi-view 3D signature -3DSiD- in the central database hosted in the central server (3) and association of a unique identifier (ID) with each stored signature.
L'étape de suivi des différents objets surveillés dans le champ de vision de chaque caméra intelligente agente (2) se fait en construisant une signature 2D -2DSiD- qui caractérise d'une manière unique chaque objet en utilisant une méthode de vision par ordinateur appropriée, et en suivant, par la suite, chaque objet surveillé par chaque caméra intelligente agente et assurant l'enregistrement de son trajectoire parcourue dans la zone surveillée par chaque caméra intelligente agente (2); The tracking step of the different monitored objects in the field of view of each agent smart camera (2) is done by constructing a 2D signature -2DSiD- which uniquely characterizes each object using an appropriate computer vision method , and subsequently following each object monitored by each agent intelligent camera and ensuring the recording of its trajectory traversed in the area monitored by each agent intelligent camera (2);
L'identification de chaque objet surveillé lors de son passage à travers les différentes zones surveillées par des caméras intelligentes agentes (2) se fait par la comparaison de la signature 2D -2DSiD- de l'objet détecté avec l'ensemble des signatures 2D -2DSiD- stockées localement dans la base de données locale de la caméra intelligente, et les traite ainsi : The identification of each monitored object during its passage through the various zones monitored by intelligent agent cameras (2) is done by comparing the 2D signature -2DSiD- of the detected object with all the 2D signatures - 2DSiD- stored locally in the smart camera's local database, and treats them as follows:
• Si aucune correspondance n'est trouvée, la signature 2D -2DSiD- est envoyée à la base de données du serveur central (3) pour la comparer avec les signatures 3D multi-vues -3DSiD- stockées ; • If no match is found, the 2D signature -2DSiD- is sent to the central server database (3) to compare it with the stored multi-view 3D signatures -3DSiD-;
• Si une correspondance est trouvée soit dans la base de données locale soit dans la base de données centrale, l'identifiant unique ID correspondant est attribué à l'objet, sinon, l'objet est marqué comme nouveau et sa signature est ajoutée aux bases de données locale et centrale avec un nouvel identifiant unique ID. • If a match is found either in the local database or in the central database, the corresponding unique identifier ID is assigned to the object, otherwise the object is marked as new and its signature is added to the databases of local and central data with a new unique identifier ID.
Le stockage du chemin complet parcouru par chaque objet surveillé se réalise par le traçage de la trajectoire parcouru par chaque objet surveillé dans la zone surveillée par chaque caméra intelligente et l'enregistrement d'une manière continue de la trajectoire de chaque objet surveillé tracée par les caméras intelligente dans la base de données. The storage of the complete path traveled by each monitored object is carried out by tracing the trajectory traveled by each monitored object in the area monitored by each intelligent camera and the continuous recording of the trajectory of each monitored object traced by the smart cameras in the database.
Selon l'invention, la mise à jour de la signature et de la position de l'objet surveillé se fait en comparant la nouvelle signature 2D -2DSiD- extraite par la caméra intelligente qui assure le suivi avec celle déjà stockée et construite par une autre caméra intelligente, et si elles sont différentes, les deux signatures sont fusionnées pour obtenir une nouvelle signature qui représente mieux l'objet. According to the invention, the updating of the signature and the position of the monitored object is done by comparing the new 2D signature -2DSiD- extracted by the intelligent camera which ensures the monitoring with that already stored and built by another smart camera, and if they are different, the two signatures are merged to obtain a new signature which better represents the object.
La recherche et la récupération des objets surveillés se font en créant la signature 3D multi-vues - 3DSiD- de l'objet à rechercher à partir de ses images données en entrée au serveur centrale (3), et en comparant, par la suite, cette signature 3D multi-vues -3DSiD- d avec toutes les signatures 3D multi- vues -3DSiD- stockées dans la base de données centrale afin de trouver une correspondance. L'identifiant unique -ID- de l'objet en question sera envoyé, en cas de similarité, sinon un message sera affiché indiquant l'inexistence de l'objet recherché dans la base de donnée. The search and recovery of monitored objects is done by creating the multi-view 3D signature - 3DSiD - of the object to be searched for from its images given as input to the central server (3), and by comparing, thereafter, this multi-view 3D signature -3DSiD- d with all multi-view 3D signatures -3DSiD- stored in the central database in order to find a match. The unique identifier -ID- of the object in question will be sent, in case of similarity, otherwise a message will be displayed indicating that the object sought does not exist in the database.
Le partage des informations géographiques des objets surveillées se fait par la liaison des caméras intelligentes à un système de localisation géographique et le stockage et partage des informations géographiques de chaque objet surveillé en s'appuyant sur une base de données géographique partagée entre l'ensemble des caméras intelligentes. The sharing of geographic information of monitored objects is done by linking smart cameras to a geographic location system and the storage and sharing of geographic information of each monitored object based on a geographic database shared between all of the smart cameras.
L'autre volet de l'invention concerne une plateforme comportant des caméras intelligentes à bas coût et un serveur central léger (Fig 3). Chaque caméra intelligente, qui exécute la méthode de détection, d'identification et de suivi d'objets surveillés, est constitué d'un capteur de caméra(4), des unités de traitement (6) (unité centrale de traitement (CPU)/ processeur graphique (GPU)/ unité de traitement de la vidéo (VPU)), des entités de connexion (7) pour assurer la connectivité entre les différents éléments de la plateforme, ainsi que des zones de mémoire (5) qui garantissent un espace pour le stockage de données. Le capteur de caméra (4) est capable d'enregistrer des scènes vidéo en temps réel, et de fournir des frames dans chaque laps de temps qui seront traitées par les unités de traitement (6). Les unités de traitement exécutent des algorithmes de vision par ordinateur appropriés pour la détection, le suivi et l'identification des objets en mouvement. En effet, ces unités permettent de faire tourner la méthode de détection, d'identification et de suivi d'objet, ainsi que faire tourner les différents démons de détection d'objet d'intérêt et comportement dangereux. Les zones de mémoire (5) hébergent une base de données locale pour chaque caméra intelligente où sont stockés tous les vecteurs caractéristiques de chaque objet détecté ainsi que les informations de géolocalisation concernant chaque objet. Le serveur central (3) est également composé d'une unité de traitement (6) (CPU/GPU/VPU) permettant de faire tourner la méthode de détection, d'identification et de suivi d'objet, rechercher un objet spécifique dans la base de données centre, ainsi que faire tourner les différents démons de détection d'objet d'intérêt et comportement dangereux , d'entités de connexion (7) permettant d'assurer la communication entre les caméras intelligentes et le serveur central et de zones de mémoire (5) de plus grande capacité par rapport aux caméras intelligentes utilisées comme base de données centrale, permettant de stocker les vecteurs caractéristiques à trois dimensions de chaque objet détecté (3DSiD) ainsi que les informations de géolocalisation concernant chaque objet .The other aspect of the invention relates to a platform comprising low-cost intelligent cameras and a lightweight central server (Fig 3). Each smart camera, which performs the method of detecting, identifying and tracking monitored objects, consists of a camera sensor (4), processing units (6) (Central Processing Unit (CPU)/ graphics processor (GPU)/ video processing unit (VPU)), connection entities (7) to ensure connectivity between the different elements of the platform, as well as memory areas (5) which guarantee space for data storage. The camera sensor (4) is capable of recording video scenes in real time, and providing frames in each time lapse which will be processed by the processing units (6). The processing units run appropriate computer vision algorithms for detecting, tracking and identifying moving objects. Indeed, these units make it possible to run the method of detection, identification and object tracking, as well as to run the various daemons for detecting objects of interest and dangerous behavior. The memory areas (5) host a local database for each intelligent camera where all the characteristic vectors of each detected object are stored as well as the geolocation information concerning each object. The central server (3) is also composed of a processing unit (6) (CPU/GPU/VPU) making it possible to run the object detection, identification and tracking method, to search for a specific object in the center database, as well as running the various daemons for detecting objects of interest and dangerous behavior, connection entities (7) making it possible to ensure communication between the intelligent cameras and the central server and (5) higher capacity memory compared to smart cameras used as central database, making it possible to store the three-dimensional characteristic vectors of each detected object (3DSiD) as well as the geolocation information concerning each object .
Les caméras intelligentes jouent le rôle d'un agent de sécurité. Elles surveillent l'ensemble de la zone surveillée, identifient chaque nouvel objet d'intérêt qui vient d'apparaître pour la première fois, et assurent un suivi efficace de celui-ci pendant son déplacement dans la zone surveillée et à travers les caméras intelligentes, en échangeant les informations pertinentes entre toutes les caméras intelligentes qui constituent notre plateforme (Fig 1). Les différentes opérations de traitement (Fig 2) qui constituent notre méthode proposée ainsi que l'architecture de la plateforme sont décrites dans les paragraphes suivants : Smart cameras play the role of a security guard. They monitor the entire monitored area, identify each new object of interest that has just appeared for the first time, and effectively track it as it moves through the monitored area and through the smart cameras, by exchanging relevant information between all the smart cameras that make up our platform (Fig 1). The different processing operations (Fig 2) that constitute our proposed method as well as the architecture of the platform are described in the following paragraphs:
La plateforme s'appuie sur un serveur central léger(3) et un ensemble de caméras intelligentes légères (1,2) réparties dans la zone surveillée qui visent à surveiller des objets d'intérêts. La notion d'objet surveillé ou objet d'intérêt dans ce brevet signifie tout objet auquel l'utilisateur s'intéresse. Il peut s'agir d'êtres vivants, de véhicules, de robots, de bagages ou de tout autre objet devant être surveillé.The platform is based on a lightweight central server (3) and a set of lightweight smart cameras (1,2) distributed in the monitored area which aim to monitor objects of interest. The notion of monitored object or object of interest in this patent means any object in which the user is interested. It can be living beings, vehicles, robots, luggage or any other object that needs to be monitored.
Dans notre plateforme, les caméras intelligentes sont regroupées en deux grandes catégories : les caméras intelligentes d'accès (1) et les caméras intelligentes agentes (2). In our platform, smart cameras are grouped into two main categories: access smart cameras (1) and agent smart cameras (2).
Les caméras intelligentes d'accès (1) sont la principale source d'informations stockées dans la base de données centrale. Elles sont installées dans les zones d'entrées et de sorties de la zone surveillée (par exemple devant les portes). Leur but principal est d'identifier tout objet en mouvement entrant ou sortant de la zone surveillée en exécutant notre méthode proposée de détection et de suivi des évènements. Access smart cameras (1) are the main source of information stored in the central database. They are installed in the entry and exit areas of the monitored area (eg in front of doors). Their main purpose is to identify any moving object entering or leaving the monitored area by performing our proposed event detection and tracking method.
Le fonctionnement de ces caméras, qui est décrit dans la figure 5, est le suivant : Pour accéder à une zone surveillée (par exemple, un aéroport, un campus universitaire, une gare, etc.), chaque objet doit passer par les zones d'accès. Lorsqu'il le fait, les caméras intelligentes d'accès (1) le détectent en utilisant des algorithmes de détection appropriés. Ce processus constitue la première étape de détection dans notre méthode proposée. Ensuite, les caractéristiques visuelles de chaque objet détecté sont extraites par plusieurs angles de vues de l'objet surveillé et sont fusionnées et utilisées pour construire une signature d'identification en 3D (3DSiD), comme le montre la figure 5. Une telle signature 3D permettrait de reconnaître et d'identifier ultérieurement tout objet d'intérêt par les différentes caméras intelligentes, quel que soit le champ de vision à travers lequel il est filmé. La haute performance de ces caméras intelligentes d'accès, leurs positions et l'angle sous lequel elles capturent les différents objets entrants leurs donnent une vue plus proche sur les objets et assurent l'extraction de plus de détails, ce qui leurs permet de construire un vecteur caractéristique plus pertinent et robuste qui reste invariant aux différents changements qui peuvent se produire dans l'apparence de l'objet, dus par exemple à des changements de luminosité, pendant son mouvement dans la zone surveillée. Par la suite, chaque signature 3DSiD sera stockée dans la base de données (base de données locale ainsi que sur le serveur central) est sera liée à un identifiant unique (ID) et propre à chaque objet surveillé. Cet ID sera utilisé pour identifier les objets surveillés de manière unique. En outre, les caméras intelligentes d'accès (1) sont utilisées pour détecter et prévenir d'éventuelles situations dangereuses grâce à des démons spécifiques qui tournent de manière permanente dans chaque caméra (Fig 6). Un exemple de tels démons consiste à comparer la signature (3DSiD) de chaque objet détecté avec un ensemble de signatures (3DSiD) stockées dans la base de données qui contient les différentes signatures (3DSiD) des objets interdits (par exemple, les personnes suspectes ou recherchées, les animaux interdits dans certains établissements, etc.) afin de rechercher et trouver d'éventuelles similitudes. Ensuite, si nécessaire, un signal d'alarme est envoyé aux autorités indiquant la source du danger. The operation of these cameras, which is described in Figure 5, is as follows: To access a monitored area (for example, an airport, a university campus, a train station, etc.), each object must pass through the zones of 'access. When it does, the smart access cameras (1) detect it using appropriate detection algorithms. This process constitutes the first detection step in our proposed method. Then, the visual characteristics of each detected object are extracted by several angles of view of the monitored object and are merged and used to build a 3D identification signature (3DSiD), as shown in Figure 5. Such a 3D signature would allow any object of interest to be recognized and subsequently identified by the various smart cameras, regardless of the field of view through which it is filmed. The high performance of these smart access cameras, their positions and the angle from which they capture the various incoming objects give them a closer view of the objects and ensure the extraction of more details, which allows them to build a more relevant characteristic vector and robust which remains invariant to the various changes that may occur in the appearance of the object, due for example to changes in luminosity, during its movement in the monitored area. Subsequently, each 3DSiD signature will be stored in the database (local database as well as on the central server) and will be linked to a unique identifier (ID) specific to each monitored object. This ID will be used to uniquely identify monitored objects. In addition, the smart access cameras (1) are used to detect and prevent possible dangerous situations thanks to specific daemons that run permanently in each camera (Fig 6). An example of such daemons is to compare the signature (3DSiD) of each detected object with a set of signatures (3DSiD) stored in the database which contains the different signatures (3DSiD) of forbidden objects (for example, suspicious people or wanted, animals prohibited in certain establishments, etc.) in order to research and find possible similarities. Then, if necessary, an alarm signal is sent to the authorities indicating the source of the danger.
À leurs tours, les caméras intelligentes agentes (2) sont réparties dans toute la zone surveillée pour assurer une couverture optimale de la zone. Chaque caméra intelligente agente (2) exécute notre méthode de détection et de suivi des évènements. Elle assure la détection des objets en mouvements et construit par la suite une signature d'identification 2D (2DSiD) pour chaque objet surveillé. La 2DSiD représente pour un objet en mouvement ce que l'empreinte digitale représente pour un être humain. Elle caractérise chaque objet en mouvement d'une manière unique et permet aux caméras intelligentes de distinguer les différents objets en mouvement dans la zone surveillée. Une fois construit, le 2DSiD est stocké dans la base de données locale de la caméra intelligente agente (2). Afin de faciliter les taches de recherche et de suivi des objets d'intérêts, chaque signature stockée dans la base de données (base de données locale ainsi que sur le serveur central) est liée à un identifiant unique (ID) et propre à chaque objet surveillé. Cet ID est utilisé pour identifier les objets surveillés (Fig 2). La signature (2DSiD) de chaque objet surveillé extraite par la caméra intelligente agente (2) est comparée avec celles stockées dans la base de données locale de la caméra intelligente agente qui assure la surveillance de la zone. Si la même signature est présente dans la base de données locale, l'ID correspondant au 2DSiD extrait de l'objet est attribué à ce dernier lors de son suivi. Sinon, la caméra envoie le 2DSiD au serveur central (3) qui, de son côté, effectue une recherche pour trouver une correspondance dans la liste des signatures 3DSiD. Le serveur compare le 2DSiD envoyé par la caméra intelligente agente avec les 3DSiD stockées dans la base centrale en utilisant une méthode de comparaison appropriée. Une fois la recherche d'une signature similaire dans la base de données centrale est effectuée, le serveur central envoie l'ID correspondant à la caméra intelligente agente. Si ni la caméra ni le serveur ne peuvent trouver de correspondance pour la signature extraite de l'objet surveillé, celui-ci sera considéré comme un nouvel objet. Sa signature sera stockée dans la base de données locale et centrale, et un nouvel identifiant unique (ID) lui sera attribué (Fig 2). In turn, the agent smart cameras (2) are distributed throughout the monitored area to ensure optimal coverage of the area. Each agent smart camera (2) performs our event detection and tracking method. It ensures the detection of moving objects and then builds a 2D identification signature (2DSiD) for each monitored object. The 2DSiD represents for a moving object what the fingerprint represents for a human being. It characterizes each moving object in a unique way and enables smart cameras to distinguish between different moving objects in the monitored area. Once built, the 2DSiD is stored in the local database of the agent smart camera (2). In order to facilitate the tasks of research and follow-up of objects of interest, each signature stored in the database (local database as well as on the central server) is linked to a unique identifier (ID) and specific to each object. monitored. This ID is used to identify monitored objects (Fig 2). The signature (2DSiD) of each monitored object extracted by the agent smart camera (2) is compared with those stored in the local database of the agent smart camera which monitors the area. If the same signature is present in the local database, the ID corresponding to the 2DSiD extracted from the object is assigned to the latter during its tracking. Otherwise, the camera sends the 2DSiD to the central server (3) which, in turn, performs a search to find a match in the list of 3DSiD signatures. The server compares the 2DSiD sent by the agent smart camera with the 3DSiD stored in the central database using an appropriate comparison method. Once the search for a similar signature in the central database is carried out, the central server sends the corresponding ID to the agent smart camera. If neither the camera nor the server can find a match for the signature extracted from the object monitored, it will be considered as a new object. His signature will be stored in the local and central database, and a new unique identifier (ID) will be assigned to him (Fig 2).
De plus, les caméras intelligentes sont connectées à un système de localisation géographique afin d'assurer l'enregistrement de la localisation géographique de chaque objet surveillé pendant son suivi. Ces caméras fonctionnent d'une manière collective en échangeant les informations pertinentes les unes avec les autres (Fig 2). Les 2DSiD des objets surveillés sont partagés entre l'ensemble de caméras intelligentes en utilisant un protocole de communication approprié. Ainsi, nous assurons un suivi de chaque objet d'une caméra intelligente à l'autre et garantissons un traçage du chemin complet parcouru par chaque objet surveillé dans la zone au fil du temps. Pour les processus d'identification et de suivi, aucun échange d'images n'est effectué ni entre les caméras intelligentes entre elles ni entre ces dernières et le serveur central. Seules les signatures d'identification sont échangées afin de garantir un échange d'informations rapide et léger, et assurer la bonne gestion de la bande passante du réseau. L'échange d'images n'est effectué ultérieurement qu'à des fins d'archivage et à des fins juridiques.In addition, the smart cameras are connected to a geographical location system to ensure the recording of the geographical location of each monitored object during its tracking. These cameras work collectively by exchanging relevant information with each other (Fig 2). The 2DSiDs of monitored objects are shared between the set of smart cameras using an appropriate communication protocol. Thus, we track every object from one smart camera to another and guarantee a plot of the complete path traveled by each monitored object in the area over time. For the identification and tracking processes, no images are exchanged either between the smart cameras among themselves or between them and the central server. Only the identification signatures are exchanged in order to guarantee a fast and light exchange of information, and to ensure good management of the network bandwidth. The exchange of images is only carried out subsequently for archival and legal purposes.
Pour rendre notre système plus évolutif et plus efficace, les signatures 3DSiD et 2DSiD sont constamment mises à jour chaque fois que l'objet entre dans le champ de vision d'une nouvelle caméra intelligente. Cette mise à jour est effectuée afin de rendre la signature plus robuste en recueillant plus de détails sur l'aspect visuel de chaque objet suivi. Pour des raisons de performances et d'éventuels problèmes de stockage, la base de données locale de chaque caméra intelligente est constamment mise à jour et ne contient qu'un ensemble de données spécifique. Le nettoyage de la base de données locale sera basé sur le facteur temporel. La durée de la dernière apparition de l'objet dans la caméra sera calculée ; si elle dépasse un seuil, qui sera fixé pendant la phase d'expérimentation, les données de l'objet seront supprimées de la base de données locale après une phase d'archivage dans la base de données centrale en envoyant les informations de signatures et de géolocalisations au serveur central. To make our system more scalable and efficient, the 3DSiD and 2DSiD signatures are constantly updated each time the object enters the field of view of a new smart camera. This update is done in order to make the signature more robust by gathering more details about the visual appearance of each tracked object. For performance reasons and possible storage issues, the local database of each smart camera is constantly updated and contains only a specific set of data. Cleanup of the local database will be based on the time factor. The duration of the last appearance of the object in the camera will be calculated; if it exceeds a threshold, which will be set during the experimentation phase, the object data will be deleted from the local database after an archiving phase in the central database by sending the signature and geolocations to the central server.
Notre méthode décrite permet la recherche hors ligne d'objets spécifiques et renvoie l'identifiant et le chemin complet qu'a parcouru un objet au fil du temps dans la zone surveillée. L'image de l'objet recherché est donnée en entrée au serveur central, qui construit le 2DSiD qui lui correspond et le compare avec les 3DSiD déjà présents dans la base de données. Our described method allows offline searching for specific objects and returns the identifier and full path that an object has traveled over time in the monitored area. The image of the searched object is given as input to the central server, which constructs the 2DSiD which corresponds to it and compares it with the 3DSiDs already present in the database.
La plateforme que nous proposons est conçue pour être utilisée avec des capteurs de caméras mobiles. Dans ce mode, les caméras intelligentes, qui sont connectées à un système de localisation géographique, peuvent être installées par exemple sur n'importe quel véhicule ou dans les rues et permettent une surveillance partagée des zones contrôlées (FIG 7). Une base de données géographique partagée par toutes les caméras peut ainsi être accessible et alimentée en temps réel par toutes les caméras intelligentes analysant la zone surveillée afin de centraliser les informations sur un seul système. Une telle plateforme sera une bonne contribution au développement des villes intelligentes en améliorant les services municipaux et la vie des citoyens. The platform we offer is designed for use with mobile camera sensors. In this mode, smart cameras, which are connected to a geographical location system, can be installed for example on any vehicle or in the streets and allow shared surveillance of controlled areas (FIG 7). A geographical database shared by all the cameras can thus be accessed and updated in real time by all the intelligent cameras analyzing the monitored area in order to centralize the information on a single system. Such a platform will be a good contribution to the development of smart cities by improving municipal services and citizens' lives.
Une application serait, par exemple, la recherche de places de parking gratuites en temps réel grâce à l'équipement de véhicules de transport privé ou public par ce type de caméras, éviter les embouteillages et signaler les accidents en partageant la localisation géographique des bouchons dans la ville, ou encore pour assurer la sécurité des villes par la surveillance et la recherche de personnes ou de voitures recherchées (FIG 8). An application would be, for example, the search for free parking spaces in real time thanks to the equipment of private or public transport vehicles by this type of camera, avoiding traffic jams and reporting accidents by sharing the geographical location of traffic jams in the city, or to ensure the security of cities by monitoring and searching for wanted people or cars (FIG 8).
Application industrielle : Industrial application:
La présente invention peut être appliquée dans les systèmes de vidéosurveillances sans fil. The present invention can be applied in wireless video surveillance systems.

Claims

Revendications Ce qui est revendiqué, c'est : Claims What is claimed is:
1. Une Méthode de détection, de suivi et d'identification d'objets surveillés à travers une plateforme de vidéosurveillance autonome et distribuée caractérisée en ce qu'elle comporte les étapes suivantes : 1. A method for detecting, tracking and identifying monitored objects through an autonomous and distributed video surveillance platform characterized in that it comprises the following steps:
• Détection d'objets surveillés dans les zones d'accès de la zone surveillée grâce à des caméras intelligentes d'accès ; • Detection of monitored objects in the access areas of the monitored area thanks to intelligent access cameras;
• Construction d'une signature 3D multi-vues -3DSiD- qui modélise chaque objet détecté de manière unique ; • Construction of a multi-view 3D signature -3DSiD- which models each detected object in a unique way;
• Suivi des différents objets surveillés dans le champ de vision de chaque caméra intelligente agente ; • Tracking of the various monitored objects in the field of vision of each agent smart camera;
• Identification de chaque objet lors de son passage à travers les différentes zones surveillées par des caméras intelligentes agentes ; • Identification of each object as it passes through the various zones monitored by intelligent agent cameras;
• Stockage du parcours complet parcouru par chaque objet surveillé en regroupant ses différentes positions marquées par les différentes caméras intelligentes ; • Storage of the complete route traveled by each monitored object by grouping together its different positions marked by the different smart cameras;
• Mise à jour de la signature et de la position de l'objet surveillé par les caméras au fur et à mesure qu'il se déplace dans la zone surveillée ; • Update of the signature and the position of the object monitored by the cameras as it moves in the monitored area;
• Recherche et récupération des objets d'intérêts, en cas de besoin, par le biais de la base de données centrale ; et • Search and recovery of objects of interest, if necessary, through the central database; and
• Partage des informations géographiques des objets surveillées en utilisant un système de localisation géographique lié aux caméras intelligentes. • Sharing geographic information of monitored objects using a geographic location system linked to smart cameras.
2. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de détection d'objets surveillés dans les zones d'accès de la zone surveillée grâce à des caméras intelligentes d'accès comprend les étapes suivantes : 2. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of detecting monitored objects in the access areas of the monitored area using smart cameras access includes the following steps:
• Analyse de chaque objet passant par et à travers les zones d'accès de la zone surveillée par les caméras intelligentes d'accès installées dans entrées et sorties de la zone surveillée ; et • Analysis of each object passing through and through the access areas of the monitored area by the intelligent access cameras installed in the entrances and exits of the monitored area; and
• Détection de chaque objet passant par une caméra intelligente d'accès en utilisant un algorithme de vision par ordinateur approprié exécuté par le système interne de la caméra intelligente d'accès. • Detection of each object passing through a Smart Access Camera using an appropriate computer vision algorithm executed by the Smart Access Camera's internal system.
3. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de Construction d'une signature 3D multi-vues -3DSiD- comprend les étapes suivantes : 3. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of Construction of a multi-view 3D signature -3DSiD- comprises the following steps:
• Construction des vecteurs caractéristiques des objets détectés à partir des aspects visuels extraits de différents angles de vues de chaque objet surveillé par chaque caméra intelligente d'accès ; • Construction of characteristic vectors of detected objects from visual aspects extracted from different angles of view of each object monitored by each smart access camera;
• Fusion des différents vecteurs caractéristiques extraits des différents angles de vues de l'objet surveillé afin de construire une signature 3D multi-vues -3DSiD- qui représente de manière unique chaque objet surveillé ; et • Fusion of the different characteristic vectors extracted from the different viewing angles of the monitored object in order to build a multi-view 3D signature -3DSiD- which uniquely represents each monitored object; and
• Stockage de la signature 3D multi-vues -3DSiD- dans la base de données centrale hébergée dans le serveur centrale et association d'un identifiant unique (ID) à chaque signature stockée. • Storage of the multi-view 3D signature -3DSiD- in the central database hosted in the central server and association of a unique identifier (ID) with each stored signature.
4. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de suivi des différents objets surveillés dans le champ de vision de chaque caméra intelligente agente comprend les étapes suivantes : 4. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of tracking the various monitored objects in the field of view of each intelligent agent camera comprises the following steps:
• Construction d'une signature 2D -2DSiD- qui caractérise d'une manière unique chaque objet en utilisant une méthode de vision par ordinateur appropriée ; • Construction of a 2D signature -2DSiD- which uniquely characterizes each object using an appropriate computer vision method;
• Suivi de chaque objet surveillé par chaque caméra intelligente agente et enregistrement de sa trajectoire parcourue dans la zone surveillée par chaque caméra intelligente agente ; • Tracking of each object monitored by each agent smart camera and recording of its trajectory traveled in the area monitored by each agent smart camera;
5. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape d'identification de chaque objet surveillé lors de son passage à travers les différentes zones surveillées par des caméras intelligentes agentes se fait par la comparaison de la signature 2D -2DSiD- de l'objet détecté avec l'ensemble des signatures 2D - 2DSiD- stockées localement dans la base de données locale de la caméra intelligente, et les traite ainsi : 5. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of identifying each monitored object as it passes through the different areas monitored by smart cameras agentes is done by comparing the 2D signature -2DSiD- of the detected object with all the 2D signatures - 2DSiD- stored locally in the local database of the smart camera, and processes them as follows:
• Si aucune correspondance n'est trouvée, la signature 2D -2DSiD- est envoyée à la base de données du serveur central pour la comparer avec les signatures 3D multi-vues - 3DSiD- stockées ; • If no match is found, the 2D signature -2DSiD- is sent to the central server database to compare it with the stored multi-view 3D signatures - 3DSiD-;
• Si une correspondance est trouvée soit dans la base de données locale soit dans la base de données centrale, l'identifiant unique ID correspondant est attribué à l'objet, sinon, l'objet est marqué comme nouveau et sa signature est ajoutée aux bases de données locale et centrale avec un nouvel identifiant unique ID. • If a match is found either in the local database or in the central database, the corresponding unique identifier ID is assigned to the object, otherwise, the object is marked as new and its signature is added to the local and central databases with a new unique identifier ID.
6. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de stockage du chemin complet parcouru par chaque objet surveillé comprend les étapes suivantes : 6. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of storing the complete path traveled by each monitored object comprises the following steps:
• Traçage de la trajectoire parcouru par chaque objet surveillé dans la zone surveillée par chaque caméra intelligente ; • Tracing of the trajectory traveled by each monitored object in the area monitored by each smart camera;
• Enregistrement d'une manière continue de la trajectoire de chaque objet surveillé tracée par les caméras intelligente dans la base de données. • Continuous recording of the trajectory of each monitored object traced by the intelligent cameras in the database.
7. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de mise à jour de la signature et de la position de l'objet surveillé se fait en comparant la nouvelle signature 2D -2DSiD- extraite par la caméra intelligente qui assure le suivi avec celle déjà stockée et construite par une autre caméra intelligente, et si elles sont différentes, les deux signatures sont fusionnées pour obtenir une nouvelle signature qui représente mieux l'objet. 7. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of updating the signature and the position of the monitored object is done by comparing the new 2D signature -2DSiD- extracted by the smart camera that tracks with the one already stored and constructed by another smart camera, and if they are different, the two signatures are merged to obtain a new signature that better represents the object.
8. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de recherche et de récupération des objets surveillés comprend les étapes suivantes : 8. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of searching for and retrieving the monitored objects comprises the following steps:
• Création de la signature 3D multi-vues -3DSiD- de l'objet à rechercher à partir de ses images données en entrée au serveur centrale ; • Creation of the multi-view 3D signature -3DSiD- of the object to be searched from its images given as input to the central server;
• Comparaison de la signature 3D multi-vues -3DSiD- de l'objet à rechercher générée par le serveur central avec toutes les signatures 3D multi-vues -3DSiD- stockées dans la base de données centrale afin de trouver une correspondance ; et • Comparison of the multi-view 3D signature -3DSiD- of the object to be searched generated by the central server with all the multi-view 3D signatures -3DSiD- stored in the central database in order to find a match; and
• Envoie de l'identifiant unique -ID- de l'objet en question en cas de similarité, sinon un message sera affiché indiquant l'inexistence de l'objet recherché dans la base de donnée. • Sends the unique identifier -ID- of the object in question in case of similarity, otherwise a message will be displayed indicating that the object sought does not exist in the database.
9. Méthode de détection, d'identification et de suivi d'objets surveillés, selon la revendication 1, caractérisée en ce que l'étape de partage des informations géographiques des objets surveillées comprend les étapes suivantes : 9. Method for detecting, identifying and tracking monitored objects, according to claim 1, characterized in that the step of sharing the geographical information of the monitored objects comprises the following steps:
• Liaison des caméras intelligentes à un système de localisation géographique ; et • Stockage et partage des informations géographiques de chaque objet surveillé en s'appuyant sur une base de données géographique partagée entre l'ensemble des caméras intelligentes. • Linking smart cameras to a geographic location system; and • Storage and sharing of geographic information of each monitored object based on a geographic database shared between all smart cameras.
10. Une Plateforme de vidéosurveillance autonome et distribuée qui exécute des méthodes de détection, de suivi et d'identification des objets en mouvements en temps réel, objet de l'une quelconque des revendications précédentes, caractérisée en ce qu'elle comprend les éléments suivants : 10. An autonomous and distributed video surveillance platform which executes methods of detection, tracking and identification of moving objects in real time, object of any one of the preceding claims, characterized in that it comprises the following elements :
• Un ensemble de caméras intelligentes qui exécute la méthode de détection, de suivi et d'identification d'objets surveillés comportant : i. Un capteur de caméra (4) permettant de surveiller la zone et fournir des frames dans chaque laps de temps ; ii. Une zone mémoire (5) utilisée comme base de données locale, permettant de stocker les signatures 3D multi-vues de chaque objet détecté (3DSiD) ainsi que les informations de géolocalisation concernant chaque objet ; iii. Une unité de traitement (6) permettant de faire tourner la méthode de détection, d'identification et de suivi d'objet, ainsi que faire tourner les différents démons de détection d'objet d'intérêt et comportement dangereux ; iv. Une entité de connexion (7) permettant de lier et faire communiquer les différentes caméras entre eux ainsi que d'assurer la communication entre les caméras intelligentes et le serveur central. • A set of intelligent cameras that performs the method of detecting, tracking and identifying monitored objects comprising: i. A camera sensor (4) for monitoring the area and providing frames in each time frame; ii. A memory zone (5) used as a local database, making it possible to store the multi-view 3D signatures of each detected object (3DSiD) as well as the geolocation information concerning each object; iii. A processing unit (6) making it possible to run the object detection, identification and tracking method, as well as running the various daemons for detecting objects of interest and dangerous behavior; iv. A connection entity (7) making it possible to link and communicate the various cameras with each other as well as to ensure communication between the intelligent cameras and the central server.
• Un serveur central qui exécute la méthode de détection, d'identification et de suivi d'objets surveillés, fait tourner des démons en temps réel et communique avec l'ensemble des caméras intelligentes comportant : i. Une unité de traitement (6) permettant de faire tourner la méthode de détection, d'identification et de suivi d'objet, rechercher un objet spécifique dans la base de données centre, ainsi que faire tourner les différents démons de détection d'objet d'intérêt et comportement dangereux ; ii. Une zone mémoire (5) utilisée comme base de données centrale, permettant de stocker les signatures 3D multi-vues de chaque objet détecté (3DSiD) ainsi que les informations de géolocalisation concernant chaque objet ; iii. Une entité de connexion (7) permettant d'assurer la communication entre les caméras intelligentes et le serveur central. • A central server which executes the method of detection, identification and tracking of monitored objects, runs daemons in real time and communicates with all the smart cameras including: i. A processing unit (6) making it possible to run the object detection, identification and tracking method, to search for a specific object in the center database, as well as to run the various object detection daemons interest and dangerous behavior; ii. A memory zone (5) used as a central database, making it possible to store the multi-view 3D signatures of each detected object (3DSiD) as well as the geolocation information concerning each object; iii. A connection entity (7) making it possible to ensure communication between the intelligent cameras and the central server.
PCT/MA2022/050008 2021-06-11 2022-06-09 Self-contained distributed video surveillance method and platform for real-time event detection and tracking by means of low-cost interconnected smart cameras WO2022260505A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
MA53520A MA53520B1 (en) 2021-06-11 2021-06-11 Autonomous distributed video surveillance method and platform for detecting and monitoring events in real time through low-cost interconnected smart cameras
MA53520 2021-06-11

Publications (1)

Publication Number Publication Date
WO2022260505A1 true WO2022260505A1 (en) 2022-12-15

Family

ID=84034107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/MA2022/050008 WO2022260505A1 (en) 2021-06-11 2022-06-09 Self-contained distributed video surveillance method and platform for real-time event detection and tracking by means of low-cost interconnected smart cameras

Country Status (2)

Country Link
MA (1) MA53520B1 (en)
WO (1) WO2022260505A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407881B2 (en) * 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
US20180308243A1 (en) 2017-03-28 2018-10-25 Irvine Sensors Corporation Cognitive Tracker -- Appliance For Enabling Camera-to-Camera Object Tracking in Multi-Camera Surveillance Systems
US20190156496A1 (en) * 2017-11-21 2019-05-23 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
US20200175697A1 (en) 2017-01-23 2020-06-04 GIST(Gwangju Institute of Science and Technology) Method and system for tracking object of interest in real-time in multi-camera environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407881B2 (en) * 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
US20200175697A1 (en) 2017-01-23 2020-06-04 GIST(Gwangju Institute of Science and Technology) Method and system for tracking object of interest in real-time in multi-camera environment
US20180308243A1 (en) 2017-03-28 2018-10-25 Irvine Sensors Corporation Cognitive Tracker -- Appliance For Enabling Camera-to-Camera Object Tracking in Multi-Camera Surveillance Systems
US20190156496A1 (en) * 2017-11-21 2019-05-23 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HU W ET AL: "A Survey on Visual Surveillance of Object Motion and Behaviors", IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS: PART C:APPLICATIONS AND REVIEWS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 34, no. 3, 1 August 2004 (2004-08-01), pages 334 - 352, XP011114887, ISSN: 1094-6977, DOI: 10.1109/TSMCC.2004.829274 *

Also Published As

Publication number Publication date
MA53520B1 (en) 2023-03-31
MA53520A1 (en) 2022-12-30

Similar Documents

Publication Publication Date Title
Elharrouss et al. A review of video surveillance systems
US9251425B2 (en) Object retrieval in video data using complementary detectors
US10037607B2 (en) Topology determination for non-overlapping camera network
CN104040601B (en) Video monitor based on cloud management system
Arroyo et al. Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls
AU2017436901A1 (en) Methods and apparatus for automated surveillance systems
CN104200671A (en) Method and system for managing virtual gate based on big data platform
WO2013101460A2 (en) Clustering-based object classification
WO2014135404A1 (en) Method for tracking a target in an image sequence, taking the dynamics of the target into consideration
US11164007B2 (en) Method and system for detecting the owner of an abandoned object from a surveillance video
EP3506166A1 (en) Prediction of movement and topology for a network of cameras
Li et al. Data fusion for intelligent crowd monitoring and management systems: A survey
US11727580B2 (en) Method and system for gathering information of an object moving in an area of interest
CN114357216A (en) Portrait gathering method and device, electronic equipment and storage medium
Jain et al. Rexcam: Resource-efficient, cross-camera video analytics at scale
CN113596158A (en) Scene-based algorithm configuration method and device
Dimitriou et al. An integrated framework for the timely detection of petty crimes
US20230316763A1 (en) Few-shot anomaly detection
WO2022260505A1 (en) Self-contained distributed video surveillance method and platform for real-time event detection and tracking by means of low-cost interconnected smart cameras
Agarwal et al. Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network
Valera et al. A review of the state-of-the-art in distributed surveillance systems
EP3627389B1 (en) Method and system for automatic analysis of video streams captured by a plurality of surveillance system cameras
Srivastava et al. Anomaly Detection Approach for Human Detection in Crowd Based Locations
Ke Real-time video analytics empowered by machine learning and edge computing for smart transportation applications
Akoma et al. Intelligent video surveillance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22798199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22798199

Country of ref document: EP

Kind code of ref document: A1