WO2020058215A1 - Video surveillance system installed on board a rail vehicle - Google Patents

Video surveillance system installed on board a rail vehicle Download PDF

Info

Publication number
WO2020058215A1
WO2020058215A1 PCT/EP2019/074762 EP2019074762W WO2020058215A1 WO 2020058215 A1 WO2020058215 A1 WO 2020058215A1 EP 2019074762 W EP2019074762 W EP 2019074762W WO 2020058215 A1 WO2020058215 A1 WO 2020058215A1
Authority
WO
WIPO (PCT)
Prior art keywords
cameras
group
video
video surveillance
board
Prior art date
Application number
PCT/EP2019/074762
Other languages
French (fr)
Inventor
Andrei Stoian
Johann MENEUR
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to EP19773017.9A priority Critical patent/EP3853762A1/en
Priority to SG11202102532UA priority patent/SG11202102532UA/en
Publication of WO2020058215A1 publication Critical patent/WO2020058215A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks

Definitions

  • the present invention relates to a video surveillance system on board a railway vehicle, and to an associated video surveillance method.
  • the invention relates to the general field of automated video surveillance, based on video streams from video surveillance cameras, and in particular to the application of video surveillance in the railway sector.
  • the algorithms for processing and analyzing video streams are increasingly complex and consume computing power and energy, to allow analysis and detection of situations on board a vehicle, for example the detection of abnormal behavior or aggressive, falling passengers, or overloading the occupation of a railway vehicle.
  • Such known algorithms are currently implemented on computers located in a ground processing center, which have sufficient computing capacities, on video streams transmitted from video surveillance cameras on board a rail vehicle.
  • the processing in a data center on the ground is limited by the bandwidth capacities of a communication network making it possible to route the video streams to the computers, which induces a time delay and consequently, it is difficult to obtain real-time situation analysis results, which can be critical, especially if a detected situation poses a risk to passenger safety.
  • CCTV cameras from the English "closed-circuit television"
  • CCTV cameras from the English "closed-circuit television”
  • each camera is only able to process the images of the video streams it acquires, and therefore it is not possible in this case to perform a situation analysis by correlating information from several cameras.
  • cameras compatible with railway standards have limited computing power, and therefore can only implement simple processing, for example algorithms for detecting movement in successive images of a video stream. Such processing is insufficient for an analysis of the situation of people and objects present in a part of a railway vehicle, and therefore to detect possible risk situations.
  • the object of the invention is to remedy the drawbacks of the state of the art.
  • the invention provides a video surveillance system on board a rail vehicle, comprising a plurality of video surveillance cameras on board the rail vehicle, each camera having a spatial position and an associated field of view, each camera being adapted to capture a video stream composed of a succession of digital images.
  • This system also comprises an electronic on-board calculation device comprising at least one calculation acceleration device.
  • Each camera is connected to the on-board electronic computing device and is adapted to transmit captured video streams to said electronic computing device, the electronic computing device being adapted to obtain a division of the plurality of CCTV cameras into a series of groups of cameras. to be treated successively over time, according to a circular repetition, and for each group of cameras treated successively:
  • each video stream containing at least one digital image
  • the system of the invention makes it possible to carry out an automatic analysis of video streams captured by groups of cameras, the groups of cameras being treated successively, with a circular repetition, by the same on-board electronic calculation device comprising a calculation accelerator.
  • the railway constraints are respected, and the repetition of the processing of the video streams by groups of cameras allows an automated video surveillance and almost in real time for the whole of the railway vehicle.
  • the video surveillance system according to the invention may also have one or more of the characteristics below, taken independently or in any technically conceivable combination.
  • Digital image analysis implements, in each digital image of a video stream, a detection of people and / or a skeleton extraction associated with a person present in the vehicle.
  • the values of characteristic descriptors include spatial positions, in a frame of reference associated with the digital image, of articulations associated with a person present in the scene.
  • the system is on board a rail vehicle comprising a plurality of cars, each camera group being formed of cameras installed on board a car of the vehicle.
  • the system is adapted to implement several different situation analysis algorithms as a function of a railway vehicle condition.
  • the situation analysis algorithm implements an abnormal event detection, and in the event of positive detection for a current group of cameras, the system is adapted to continue processing images of video streams from the current group of cameras.
  • the system is further adapted to carry out an alert raising after the situation analysis application.
  • the system includes a timing module adapted to select a next group of CCTV cameras to be processed, based on a situation analysis result.
  • the invention relates to a video surveillance method implemented by a video surveillance system as briefly described above. This process includes steps consisting in:
  • the method provides the same advantages as the video surveillance system briefly described above.
  • the method includes a step of selecting a next group of cameras to be processed.
  • the situation analysis algorithm implements an abnormal event detection, and in the event of a positive event detection abnormal for a current group of cameras, the method repeats steps a), b) and c) for the current group of cameras.
  • an alert is also raised in the event of positive detection of an abnormal event.
  • the invention also relates to a computer program comprising software instructions which, when executed by a programmable electronic device, implement a video surveillance method as briefly described above.
  • FIG. 1 is a schematic representation of an on-board video surveillance system according to an embodiment of the invention
  • FIG. 2 is a schematic illustration of a first embodiment of a circular repetition of treatments by groups of cameras
  • FIG. 3 is a schematic illustration of a second embodiment of a circular repetition of treatments by groups of cameras
  • FIG. 4 is a block diagram of the main steps of an automatic video surveillance method according to one embodiment.
  • the invention will be described below in its application in a railway video surveillance system, on board a railway vehicle, for example a train or a metro.
  • FIG. 1 schematically illustrates functional blocks of a video surveillance system 1 in one embodiment, the video surveillance system being carried on a rail vehicle 2, for example a train.
  • the video surveillance system 1 comprises a plurality of on-board cameras 4 I , ..., 4 Î , ... 4 N , the number N being an integer chosen according to various constraints, for example the number N being the number of rail cars 2.
  • the vehicle 2 has 3 cars, and 2 video surveillance cameras are positioned spatially in each car, for example integrated into the ceiling or the side walls of the car and adapted to capture images with a field of view. associated shooting, the shooting field being oriented towards the interior of the car.
  • the system includes 2 to 8 cameras by car of a railway vehicle, their spatial position being chosen so that their combined fields of view cover the interior space of the railway car.
  • each camera is adapted to acquire video of resolution 1080 ⁇ 720 pixels.
  • the cameras are grouped into groups of cameras denoted Gi to G L , forming a series of groups of cameras.
  • L 3 groups of cameras are distinguished in the example of FIG. 1.
  • the order of the groups of cameras in this series of groups of cameras is chosen, for example according to an order of the railway cars.
  • the video surveillance system 1 also includes a programmable electronic device 10 adapted to perform calculations, on board the vehicle 2, simply called calculation device 10 below.
  • Each video surveillance camera 4 comprises a communication module, suitable for implementing a given communication protocol, for example the IP protocol (Internet Protocol), connected by a communication link 8, to the calculation device 10, for example a wired connection.
  • IP protocol Internet Protocol
  • the calculation device 10 also includes communication modules 9i, ..., 9i, ... 9 N enabling a communication connection to be made with each on-board camera 4.
  • the device 10 is capable of acquiring video streams captured by each of the on-board video surveillance cameras, substantially in real time.
  • each video stream composed of a succession of digital images is coded in a compressed format, so as to reduce the amount of binary data to be transmitted to the computing device 10.
  • the H264 compression format is used.
  • the calculation device 10 is suitable for decoding video streams in H264 format.
  • the computing device 10 comprises one or more CPUs (central processing unit), having an operating frequency of at least 1.4 GHz. It also comprises at least one calculation acceleration device 14, adapted materially for carrying out image processing calculations, for example convolutions, in an optimized manner.
  • the calculation acceleration device 14 is for example a GPU processor (“Graphics Processing Unit”), TPU (“tensor procesing unit”), DSP (“digital signal processor”) or FPGA (“Field Programmable Gate Array”).
  • the calculation acceleration device 14 is capable of performing at least one trillion floating point operations per second, while consuming less than 15W.
  • the calculation device 10 also includes a memory 16 capable of storing digital data, in particular software program computer instructions, configuration files and parameter values used by software implementing a video surveillance method as described when executed by the processors 12 and the calculation acceleration device (s) 14.
  • the video surveillance method of the invention is implemented, in one embodiment, by modules 20, 22, 24, 26 of software instructions.
  • the module 20 for obtaining video streams makes it possible to obtain, over a time interval, video streams, preferably time synchronized, originating from all the video surveillance cameras of the same group of video surveillance cameras.
  • Each video stream includes at least one digital image acquired at a time point.
  • the image analysis module 22 implements one or more image processing algorithms, making it possible to calculate characteristic values of objects present in each image.
  • objects is to be understood here in the broad sense, and includes inanimate objects, people, animals. For example, this is a people detection algorithm, and a skeleton detection algorithm, as described in more detail below.
  • the situation analysis module 24 implements one or more situation analysis algorithms as a function of the characteristic values of calculated objects, on several images of all the video streams coming from the video surveillance cameras of the group treated.
  • the timing module 26 allows the selection of a next group of video surveillance cameras, making it possible to successively select all the groups of cameras, and to perform a circular repetition, that is to say again to select the first group of cameras in the suite of camera groups after processing the last group of cameras in this suite.
  • the video streams supplied by the CCTV cameras are processed by groups of video streams, according to a carousel processing.
  • the rate of rotation between successive groups of cameras providing video streams to be processed is chosen, and varies for example depending on the situation analysis to be carried out by the module 24.
  • the analysis of a single image of a video stream by camera is sufficient, while for a detection event, for example aggression, it is necessary to process a number of images, for example equal to 48, of each video stream of a group of cameras before moving on to the next group of cameras.
  • FIG. 2 schematically illustrates a first embodiment of the processing of two groups of cameras Gi and G 2 , each comprising two separate cameras and providing two video streams, by time diagrams 32, 34, 36, 38 represented in parallel.
  • FIG. 2 schematically illustrates the temporal sequencing of the processing of the respective video streams by the processor 12 and the calculation acceleration device 14 of the calculation device 10.
  • a first image h , i of the first video stream Vu of the first group of cameras Gi is acquired, as well as a first image li , 2 of the second video stream V 2i of the first group of cameras Gi.
  • an analysis of the image read is carried out, and at the time instant t 2 , an analysis of the image li , 2 is carried out.
  • the analysis processing is a skeleton detection.
  • the results of the preceding analyzes are merged to obtain descriptor values characteristic of the objects present in the scene captured by the two cameras of the group Gi. these characteristic descriptor values being stored.
  • the method processes the video streams from the second group of cameras G 2 .
  • a first image Ji , i of the first video stream Vi 2 of the second group of cameras G 2 is acquired, as well as a first image Ji , 2 of the second video stream V 22 of the second group of G 2 cameras.
  • an analysis of the image Ji , i is carried out, and at the time instant t 6 , an analysis of the image Ji , 2 is carried out.
  • the analysis processing is a skeleton detection.
  • the results of the previous analyzes are merged to obtain descriptor values characteristic of the objects present in the scene captured by the two cameras of the second group of cameras G 2, these characteristic descriptor values being stored .
  • the method again processes the first group of cameras Gi, from a time instant t 8 of obtaining second images of the first and second video stream of the first group of cameras Gi, and so on.
  • a situation analysis is performed at a instant t a .
  • it is an integration of the results previously stored, to count people present in the joint field of vision of a group of cameras. In a practical case, it involves counting a number of people per rail car.
  • FIG. 3 schematically illustrates a second embodiment of the processing of two groups of cameras Gi and G 2 , each comprising two separate cameras and providing two video streams, by time diagrams 42, 44, 46, 48 represented in parallel.
  • FIG. 2 schematically illustrates the temporal sequencing of the processing of the respective video streams by the processor 12 and the calculation acceleration device 14 of the calculation device 10.
  • a series of 5 images of the first and second video streams from the first group of cameras Gi are acquired and processed before the processing of the first and second video streams of the second group of cameras G 2 .
  • the processing of each image extracted from a video stream consists in carrying out a skeleton detection, and the joint processing of the descriptor values consists in detecting an abnormal event concerning people, for example a fall or assault.
  • FIG. 3 illustrates the processing of the first group of cameras up to the implementation of the situation analysis at time t ' a , making it possible to detect abnormal behavior.
  • the acquisition of images of the first and second video streams from the first group of cameras is continued in parallel with the implementation of the situation analysis .
  • the processing timing of the video streams coming from the groups of cameras of the series of groups of cameras is dynamically modified to take into account an abnormal situation detected.
  • the processing of the video streams of the first group is continued until a negative detection of an abnormal event, then the next group of cameras is then processed.
  • the acquisition and processing of the images of the first and second video streams of the second group of cameras G 2 is carried out from of the time point t 'is the end of treatment of the first group Gi of cameras. It should be noted that in one embodiment, the acquisition of images is carried out in parallel with the situation analysis the situation analysis does not occupy all the computing resources of the computing device 10.
  • FIG. 4 is a block diagram of the main steps of a video surveillance method according to one embodiment, implemented by a computing device 10.
  • the method comprises a first step 50 of obtaining a division into a series of groups of cameras ⁇ G I ... G L ⁇ to be processed, from among all of the N cameras connected to the calculation device 10.
  • the breakdown is obtained from a configuration file.
  • the cutting is performed by calculation, as a function of the spatial position of each camera with respect to a frame of reference associated with the rail vehicle.
  • the cameras of a given group of cameras have joint fields of view, therefore have an intersection.
  • Each group of cameras provides a video stream, synchronized or almost synchronized, acquired over a given time interval, to be processed before proceeding to the processing of the video stream supplied by the following group of cameras.
  • the video streams acquired by a group of cameras are synchronized, that is to say that the images of the respective video streams of each camera of the group of cameras are acquired at predetermined time instants.
  • the method comprises a selection 52 of a group of cameras to be processed, called the current camera group, then an acquisition 54 of synchronized video streams from the current camera group.
  • Analysis of digital images 56 is performed on the acquired images.
  • the acquisition steps 54 and analysis steps 56 follow one another on a plurality of synchronized images extracted from the video streams coming from the cameras of the current camera group, as illustrated in FIG. 3.
  • the analysis step 56 implements a skeleton extraction algorithm.
  • a detection of image salient points corresponding to articulations is carried out, each point corresponding to an articulation having an associated spatial position, expressed by coordinates (x, y) in the reference frame of the digital image.
  • the detected joints each have an associated type of joint, for example: eyes, ears, neck, shoulders, elbows, wrists, hips, knees and ankles. Given the type of joint detected, the joints are linked to form a skeleton, representative of a person.
  • the algorithm proposed in the article “Realtime multi-person 2d pose estimation using part affinity fields” by Cao et al, ConfInter Vision and Pattern Récognition 2017, is used.
  • the spatial positions of the joints and their links form descriptors characteristic of objects present in the analyzed digital image.
  • the descriptor values are stored for each image analyzed.
  • a situation analysis step 58 is carried out using a fusion of the descriptor values calculated and stored.
  • an event detection algorithm i.e. fall or aggression
  • an event detection algorithm is implemented as a function of the trajectories of the joints of the different people on a plurality of images.
  • an algorithm is used to estimate the occupancy rate (also called passenger density) of the car of the railway vehicle observed by the current group of cameras, which can be performed on a single digital image of a video stream.
  • step 58 an intrusion detection or presence detection algorithm is implemented.
  • the selection of the algorithm implemented in step 58 is carried out according to a state of the train, for example: in service, at the end of service, at the depot.
  • a configuration file is associated with each state of the train, and stored in memory 16 of the calculation device 10.
  • steps 54 to 58 are repeated for the current group of cameras.
  • step 58 is followed by a step 60 of selecting the group of Next cameras to deal with in the following camera groups.
  • the result of the situation analysis is transmitted in step 62 to a client application.
  • an alert is raised in step 62, for example an alert is sent to a control center, to the train driver.
  • the video surveillance system and the video surveillance method described make it possible to carry out one or more situation analyzes on board a railway vehicle, taking into account images captured by several cameras. Thanks to the processing by groups of cameras, it is possible to carry out situation analyzes for the entire railway vehicle, in a manner compatible with railway constraints.

Abstract

The invention concerns a video surveillance system (1) installed on board a rail vehicle, comprising a plurality of video surveillance cameras (41, 4i, 4N) installed on board the rail vehicle, each camera (41, 4i, 4N) having a spatial position and an associated field of view, each camera being capable of capturing a video stream made up of a succession of digital images, the system (1) further comprising an on-board electronic calculation device (10) comprising at least one calculation acceleration device (14). Each camera is connected to the on-board electronic calculation device and is capable of transmitting captured video streams to the electronic calculation device, the electronic calculation device (10) being capable of obtaining a breakdown of the plurality of video surveillance cameras into a sequence of groups of cameras (G1,.. GN) to be processed successively over time, on a circular repetition basis. The device comprises modules that are capable, for each group of cameras, of obtaining (20) video streams, applying (22) a digital image analysis in order to calculate values of descriptors, and applying (24) at least one situation analysis algorithm.

Description

Système de vidéosurveillance embarqué à bord d’un véhicule ferroviaire  CCTV system on board a rail vehicle
La présente invention concerne un système de vidéosurveillance embarqué à bord d’un véhicule ferroviaire, et un procédé de vidéosurveillance associé.  The present invention relates to a video surveillance system on board a railway vehicle, and to an associated video surveillance method.
L’invention se situe dans le domaine général de la vidéosurveillance automatisée, sur la base de flux vidéo issus de caméras de vidéosurveillance, et en particulier à l’application de la vidéosurveillance dans le domaine ferroviaire.  The invention relates to the general field of automated video surveillance, based on video streams from video surveillance cameras, and in particular to the application of video surveillance in the railway sector.
Dans ce domaine se posent des contraintes spécifiques, liées notamment aux normes ferroviaires, aux vibrations causées par le roulement d’un véhicule (train ou métro par exemple), à la place disponible, et à la limitation en consommation électrique.  In this area, specific constraints arise, linked in particular to railway standards, vibrations caused by the running of a vehicle (train or metro for example), the space available, and the limitation in electricity consumption.
Les algorithmes de traitement et d’analyse de flux vidéo sont de plus en plus complexes et consommateurs de puissance calculatoire et d’énergie, pour permettre une analyse et une détection de situations à bord d’un véhicule, par exemple la détection de comportements anormaux ou agressifs, de chutes de passagers, ou de surcharge dans l’occupation d’un véhicule ferroviaire. De tels algorithmes connus sont actuellement mis en oeuvre sur des calculateurs situés dans un centre de traitement au sol, qui ont des capacités calculatoires suffisantes, sur des flux vidéo transmis à partir de caméras de vidéosurveillance embarquées à bord d’un véhicule ferroviaire. Le traitement dans un centre de calcul au sol est limité par les capacités de bande passante d’un réseau de communication permettant d’acheminer les flux vidéo vers les calculateurs, ce qui induit un retard temporel et par conséquent, il est difficile d’obtenir des résultats d’analyse de situation en temps réel, ce qui peut être critique, notamment si une situation détectée présente un risque pour la sécurité des passagers.  The algorithms for processing and analyzing video streams are increasingly complex and consume computing power and energy, to allow analysis and detection of situations on board a vehicle, for example the detection of abnormal behavior or aggressive, falling passengers, or overloading the occupation of a railway vehicle. Such known algorithms are currently implemented on computers located in a ground processing center, which have sufficient computing capacities, on video streams transmitted from video surveillance cameras on board a rail vehicle. The processing in a data center on the ground is limited by the bandwidth capacities of a communication network making it possible to route the video streams to the computers, which induces a time delay and consequently, it is difficult to obtain real-time situation analysis results, which can be critical, especially if a detected situation poses a risk to passenger safety.
Il existe également des caméras de vidéosurveillance, ou caméra CCTV (de l’anglais « closed-circuit télévision »), intégrant des processeurs de calcul et adaptées à mettre en oeuvre des traitements d’analyse d’images. Cependant, chaque caméra est uniquement à même de traiter les images des flux vidéo qu’elle acquiert, et donc il n’est pas possible dans ce cas d’effectuer une analyse de situation en corrélant des informations issues de plusieurs caméras. De plus, les caméras compatibles avec les normes ferroviaires ont une puissance de calcul limitée, et par conséquent ne peuvent implémenter que des traitements simples, par exemple des algorithmes de détection de mouvement dans des images successives d’un flux vidéo. Un tel traitement est insuffisant pour une analyse de situation de personnes et objets présents dans une partie de véhicule ferroviaire, et par conséquent pour détecter d’éventuelles situations à risques.  There are also video surveillance cameras, or CCTV cameras (from the English "closed-circuit television"), integrating calculation processors and adapted to implement image analysis processing. However, each camera is only able to process the images of the video streams it acquires, and therefore it is not possible in this case to perform a situation analysis by correlating information from several cameras. In addition, cameras compatible with railway standards have limited computing power, and therefore can only implement simple processing, for example algorithms for detecting movement in successive images of a video stream. Such processing is insufficient for an analysis of the situation of people and objects present in a part of a railway vehicle, and therefore to detect possible risk situations.
L’invention a pour objet de remédier aux inconvénients de l’état de la technique. The object of the invention is to remedy the drawbacks of the state of the art.
A cet effet, l’invention propose un système de vidéosurveillance embarqué à bord d’un véhicule ferroviaire, comportant une pluralité de caméras de vidéosurveillance embarquées à bord du véhicule ferroviaire, chaque caméra ayant une position spatiale et un champ de prise de vue associé, chaque caméra étant adaptée à capter un flux vidéo composé d’une succession d’images numériques. Ce système comporte en outre un dispositif électronique de calcul embarqué comportant au moins un dispositif d’accélération de calculs. Chaque caméra est connectée au dispositif électronique de calcul embarqué et est adaptée à transmettre des flux vidéo captés audit dispositif électronique de calcul, le dispositif électronique de calcul étant adapté à obtenir un découpage de la pluralité de caméras de vidéosurveillance en une suite de groupes de caméras à traiter successivement dans le temps, selon une répétition circulaire, et pour chaque groupe de caméras traité successivement : To this end, the invention provides a video surveillance system on board a rail vehicle, comprising a plurality of video surveillance cameras on board the rail vehicle, each camera having a spatial position and an associated field of view, each camera being adapted to capture a video stream composed of a succession of digital images. This system also comprises an electronic on-board calculation device comprising at least one calculation acceleration device. Each camera is connected to the on-board electronic computing device and is adapted to transmit captured video streams to said electronic computing device, the electronic computing device being adapted to obtain a division of the plurality of CCTV cameras into a series of groups of cameras. to be treated successively over time, according to a circular repetition, and for each group of cameras treated successively:
- obtenir des flux vidéo issus dudit groupe de caméras, chaque flux vidéo contenant au moins une image numérique,  - obtain video streams from said group of cameras, each video stream containing at least one digital image,
- appliquer une analyse d’images numériques pour calculer des valeurs de descripteurs caractéristiques d’objets présents dans la ou chaque image de chaque flux vidéo issu d’une caméra dudit groupe de caméras,  - apply an analysis of digital images to calculate values of descriptors characteristic of objects present in the or each image of each video stream originating from a camera of said group of cameras,
- appliquer au moins un algorithme d’analyse de situation utilisant les valeurs de descripteurs calculées pour au moins une image de chaque flux vidéo dudit groupe de caméras traité pour obtenir un résultat d’analyse de situation dans le champ de prise de vue des caméras dudit groupe de caméras.  - applying at least one situation analysis algorithm using the descriptor values calculated for at least one image of each video stream of said group of cameras processed to obtain a situation analysis result in the field of view of the cameras of said group of cameras.
Avantageusement, le système de l’invention permet d’effectuer une analyse automatique de flux vidéo captés par groupes de caméras, les groupes de caméras étant traités successivement, avec une répétition circulaire, par un même dispositif électronique de calcul embarqué comportant un accélérateur de calculs. Ainsi, les contraintes ferroviaires sont respectées, et la répétition du traitement des flux vidéo par groupes de caméras permet une vidéosurveillance automatisée et quasiment en temps réel pour la totalité du véhicule ferroviaire.  Advantageously, the system of the invention makes it possible to carry out an automatic analysis of video streams captured by groups of cameras, the groups of cameras being treated successively, with a circular repetition, by the same on-board electronic calculation device comprising a calculation accelerator. . Thus, the railway constraints are respected, and the repetition of the processing of the video streams by groups of cameras allows an automated video surveillance and almost in real time for the whole of the railway vehicle.
Le système de vidéosurveillance selon l’invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement envisageables.  The video surveillance system according to the invention may also have one or more of the characteristics below, taken independently or in any technically conceivable combination.
L’analyse d’images numériques met en œuvre, dans chaque image numérique d’un flux vidéo, une détection de personnes et/ou une extraction de squelette associé à une personne présente dans le véhicule.  Digital image analysis implements, in each digital image of a video stream, a detection of people and / or a skeleton extraction associated with a person present in the vehicle.
Les valeurs de descripteurs caractéristiques comprennent des positions spatiales, dans un référentiel associé à l’image numérique, d’articulations associées à une personne présente dans la scène. Le système est embarqué à bord d’un véhicule ferroviaire comportant une pluralité de voitures, chaque groupe de caméra étant formé de caméras installées à bord d’une voiture du véhicule. The values of characteristic descriptors include spatial positions, in a frame of reference associated with the digital image, of articulations associated with a person present in the scene. The system is on board a rail vehicle comprising a plurality of cars, each camera group being formed of cameras installed on board a car of the vehicle.
Le système est adapté à mettre en oeuvre plusieurs algorithmes d’analyse de situation différents en fonction d’un état de véhicule ferroviaire.  The system is adapted to implement several different situation analysis algorithms as a function of a railway vehicle condition.
L’algorithme d’analyse de situation met en oeuvre une détection d’évènement anormal, et en cas de détection positive pour un groupe de caméras courant, le système est adapté à continuer à traiter des images de flux vidéos du groupe de caméras courant.  The situation analysis algorithm implements an abnormal event detection, and in the event of positive detection for a current group of cameras, the system is adapted to continue processing images of video streams from the current group of cameras.
Le système est adapté en outre à effectuer une levée d’alerte après l’application d’analyse de situation.  The system is further adapted to carry out an alert raising after the situation analysis application.
Le système comprend un module de cadencement adapté à sélectionner un groupe de caméras de vidéosurveillance suivant à traiter, en fonction d’un résultat d’analyse de situation.  The system includes a timing module adapted to select a next group of CCTV cameras to be processed, based on a situation analysis result.
Selon un autre aspect, l’invention concerne un procédé de vidéo surveillance mis en oeuvre par un système de vidéosurveillance tel que brièvement décrit ci-dessus. Ce procédé comporte des étapes consistant à : According to another aspect, the invention relates to a video surveillance method implemented by a video surveillance system as briefly described above. This process includes steps consisting in:
-obtenir un découpage de la pluralité de caméras de vidéosurveillance en une suite de groupes de caméras à traiter successivement dans le temps, selon une répétition circulaire, et pour chaque groupe de caméras traité successivement :  obtain a division of the plurality of video surveillance cameras into a series of groups of cameras to be treated successively over time, according to a circular repetition, and for each group of cameras treated successively:
-a) obtenir des flux vidéo issus dudit groupe de caméras, chaque flux vidéo contenant au moins une image numérique,  a) obtain video streams from said group of cameras, each video stream containing at least one digital image,
-b) appliquer une analyse d’images numériques pour calculer des valeurs de descripteurs caractéristiques d’objets présents dans la ou chaque image de chaque flux vidéo issu d’une caméra dudit groupe de caméras,  -b) apply a digital image analysis to calculate descriptor values characteristic of objects present in the or each image of each video stream originating from a camera of said group of cameras,
-c) appliquer au moins un algorithme d’analyse de situation utilisant les valeurs de descripteurs calculées pour au moins une image de chaque flux vidéo dudit groupe de caméras traité pour obtenir un résultat d’analyse de situation dans le champ de prise de vue des caméras dudit groupe de caméras.  -c) apply at least one situation analysis algorithm using the descriptor values calculated for at least one image of each video stream of said group of cameras processed to obtain a situation analysis result in the field of view of the cameras of said group of cameras.
Le procédé apporte les mêmes avantages que le système de vidéosurveillance brièvement décrit ci-dessus.  The method provides the same advantages as the video surveillance system briefly described above.
Dans un mode de réalisation, le procédé comporte une étape de sélection d’un groupe de caméras suivant à traiter.  In one embodiment, the method includes a step of selecting a next group of cameras to be processed.
Dans un mode de réalisation, l’algorithme d’analyse de situation met en oeuvre une détection d’évènement anormal, et en cas de détection positive d’évènement anormal pour un groupe de caméras courant, le procédé réitère les étapes a), b) et c) pour le groupe de caméras courant. In one embodiment, the situation analysis algorithm implements an abnormal event detection, and in the event of a positive event detection abnormal for a current group of cameras, the method repeats steps a), b) and c) for the current group of cameras.
Dans un mode de réalisation, une alerte est en outre levée en cas de détection positive d’évènement anormal.  In one embodiment, an alert is also raised in the event of positive detection of an abnormal event.
Selon un autre aspect, l’invention concerne également un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un dispositif électronique programmable, mettent en oeuvre un procédé de vidéosurveillance tel que brièvement décrit ci-dessus.  According to another aspect, the invention also relates to a computer program comprising software instructions which, when executed by a programmable electronic device, implement a video surveillance method as briefly described above.
D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles : Other characteristics and advantages of the invention will emerge from the description which is given below, for information and in no way limitative, with reference to the appended figures, among which:
- la figure 1 est une représentation schématique d’un système de vidéosurveillance embarqué selon un mode de réalisation de l’invention ;  - Figure 1 is a schematic representation of an on-board video surveillance system according to an embodiment of the invention;
- la figure 2 est une illustration schématique d’un premier mode de réalisation d’une répétition circulaire des traitements par groupes de caméras ;  - Figure 2 is a schematic illustration of a first embodiment of a circular repetition of treatments by groups of cameras;
- la figure 3 est une illustration schématique d’un deuxième mode de réalisation d’une répétition circulaire des traitements par groupes de caméras ;  - Figure 3 is a schematic illustration of a second embodiment of a circular repetition of treatments by groups of cameras;
- la figure 4 est un synoptique des principales étapes d’un procédé de vidéosurveillance automatique selon un mode de réalisation.  - Figure 4 is a block diagram of the main steps of an automatic video surveillance method according to one embodiment.
L’invention sera décrite ci-après dans son application dans un système de vidéosurveillance ferroviaire, embarqué à bord d’un véhicule ferroviaire, par exemple un train ou un métro. The invention will be described below in its application in a railway video surveillance system, on board a railway vehicle, for example a train or a metro.
La figure 1 illustre schématiquement des blocs fonctionnels d’un système de vidéosurveillance 1 dans un mode de réalisation, le système de vidéosurveillance étant embarqué dans un véhicule ferroviaire 2, par exemple un train.  FIG. 1 schematically illustrates functional blocks of a video surveillance system 1 in one embodiment, the video surveillance system being carried on a rail vehicle 2, for example a train.
Le système de vidéosurveillance 1 comprend une pluralité de caméras embarquées 4I , ...,4Î,...4N, le nombre N étant un nombre entier choisi en fonction de diverses contraintes, par exemple le nombre N étant le nombre de voitures faisant partie du véhicule ferroviaire 2. The video surveillance system 1 comprises a plurality of on-board cameras 4 I , ..., 4 Î , ... 4 N , the number N being an integer chosen according to various constraints, for example the number N being the number of rail cars 2.
Par exemple, dans un mode de réalisation, le véhicule 2 comporte 3 voitures, et 2 caméras de vidéosurveillance sont positionnées spatialement dans chaque voiture, par exemple intégrées au plafond ou aux parois latérales de la voiture et adaptées à capter des images avec un champ de prise de vue associé, le champ de prise de vue étant orienté vers l’intérieur de la voiture. De préférence, le système comporte 2 à 8 caméras par voiture d’un véhicule ferroviaire, leur position spatiale étant choisie de manière à ce que leurs champs de prise de vue réunis couvrent l’espace intérieur de la voiture ferroviaire. For example, in one embodiment, the vehicle 2 has 3 cars, and 2 video surveillance cameras are positioned spatially in each car, for example integrated into the ceiling or the side walls of the car and adapted to capture images with a field of view. associated shooting, the shooting field being oriented towards the interior of the car. Preferably, the system includes 2 to 8 cameras by car of a railway vehicle, their spatial position being chosen so that their combined fields of view cover the interior space of the railway car.
Par exemple, dans un mode de réalisation, chaque caméra est adaptée à acquérir des vidéo de résolution 1080x720 pixels.  For example, in one embodiment, each camera is adapted to acquire video of resolution 1080 × 720 pixels.
Dans le système de vidéosurveillance 1 , les caméras sont regroupées en groupes de caméras notés Gi à GL, formant une suite de groupes de caméras. Par exemple, L=3 groupes de caméras sont distingués dans l’exemple de la figure 1. L’ordre des groupes de caméras dans cette suite de groupes de caméras est choisi, par exemple selon un ordre des voitures ferroviaires. In the video surveillance system 1, the cameras are grouped into groups of cameras denoted Gi to G L , forming a series of groups of cameras. For example, L = 3 groups of cameras are distinguished in the example of FIG. 1. The order of the groups of cameras in this series of groups of cameras is chosen, for example according to an order of the railway cars.
Le système de vidéosurveillance 1 comporte également un dispositif électronique programmable 10 adapté à effectuer des calculs, embarqué à bord du véhicule 2, appelé simplement dispositif de calcul 10 ci-après.  The video surveillance system 1 also includes a programmable electronic device 10 adapted to perform calculations, on board the vehicle 2, simply called calculation device 10 below.
Chaque caméra de vidéosurveillance 4, comporte un module de communication, adapté à mettre en oeuvre un protocole de communication donné, par exemple le protocole IP (Internet Protocol), connecté par une liaison de communication 8, au dispositif de calcul 10, par exemple une liaison filaire.  Each video surveillance camera 4 comprises a communication module, suitable for implementing a given communication protocol, for example the IP protocol (Internet Protocol), connected by a communication link 8, to the calculation device 10, for example a wired connection.
Le dispositif de calcul 10 comporte également des modules de communication 9i, ...,9i,... 9N permettant de réaliser une connexion de communication avec chaque caméra 4, embarquée. The calculation device 10 also includes communication modules 9i, ..., 9i, ... 9 N enabling a communication connection to be made with each on-board camera 4.
Ainsi, le dispositif 10 est capable d’acquérir des flux vidéo captés par chacune de caméras de vidéosurveillance embarquées, sensiblement en temps réel.  Thus, the device 10 is capable of acquiring video streams captured by each of the on-board video surveillance cameras, substantially in real time.
Dans un mode de réalisation, chaque flux vidéo composé d’une succession d’images numériques est codé dans un format compressé, de manière à réduire la quantité de données binaires à transmettre au dispositif de calcul 10. Par exemple, le format de compression H264 est utilisé. Le dispositif de calcul 10 est adapté à décoder des flux vidéo en format H264.  In one embodiment, each video stream composed of a succession of digital images is coded in a compressed format, so as to reduce the amount of binary data to be transmitted to the computing device 10. For example, the H264 compression format is used. The calculation device 10 is suitable for decoding video streams in H264 format.
Le dispositif de calcul 10 comporte un ou plusieurs processeurs 12 de calcul CPU (« central Processing unit »), ayant une fréquence d’opération d’au moins 1 ,4 GHz. Il comporte également au moins un dispositif d’accélération de calculs 14, adapté matériellement pour effectuer des calculs de traitement d’image, par exemple des convolutions, de manière optimisée. Le dispositif d’accélération de calculs 14 est par exemple un processeur GPU (« Graphics Processing Unit »), TPU (« tensor procesing unit »), DSP (« digital signal processor ») ou FPGA (« Field Programmable Gâte Array »). De préférence, le dispositif 14 d’accélération de calculs est capable d’effectuer au moins un trillion d’opérations en virgule flottante par seconde, tout en consommant moins de 15W. The computing device 10 comprises one or more CPUs (central processing unit), having an operating frequency of at least 1.4 GHz. It also comprises at least one calculation acceleration device 14, adapted materially for carrying out image processing calculations, for example convolutions, in an optimized manner. The calculation acceleration device 14 is for example a GPU processor (“Graphics Processing Unit”), TPU (“tensor procesing unit”), DSP (“digital signal processor”) or FPGA (“Field Programmable Gate Array”). Preferably, the calculation acceleration device 14 is capable of performing at least one trillion floating point operations per second, while consuming less than 15W.
Le dispositif de calcul 10 comporte également une mémoire 16 apte à stocker des données numériques, notamment des instructions logicielles de programme d’ordinateur, des fichiers de configuration et des valeurs de paramètres utilisées par un logiciel mettant en œuvre un procédé de vidéosurveillance tel que décrit lorsqu’il est exécuté par les processeurs 12 et le ou les dispositifs d’accélération de calculs 14.  The calculation device 10 also includes a memory 16 capable of storing digital data, in particular software program computer instructions, configuration files and parameter values used by software implementing a video surveillance method as described when executed by the processors 12 and the calculation acceleration device (s) 14.
Le procédé de vidéosurveillance de l’invention est mis en œuvre, dans un mode de réalisation, par des modules 20, 22, 24, 26 d’instructions logicielles.  The video surveillance method of the invention is implemented, in one embodiment, by modules 20, 22, 24, 26 of software instructions.
Le module 20 d’obtention de flux vidéo permet d’obtenir, sur un intervalle temporel, des flux vidéo, de préférence synchronisés temporellement, issus de l’ensemble des caméras de vidéosurveillance d’un même groupe de caméras de vidéosurveillance. Chaque flux vidéo comporte au moins une image numérique acquise à instant temporel.  The module 20 for obtaining video streams makes it possible to obtain, over a time interval, video streams, preferably time synchronized, originating from all the video surveillance cameras of the same group of video surveillance cameras. Each video stream includes at least one digital image acquired at a time point.
Le module 22 d’analyse d’images met en œuvre un ou plusieurs algorithmes de traitement d’images, permettant de calculer des valeurs caractéristiques d’objets présents dans chaque image. Le terme objets est à entendre ici au sens large, et englobe les objets inanimés, les personnes, les animaux. Par exemple, il s’agit d’un algorithme de détection de personnes, et un algorithme de détection de squelette, comme décrit plus en détail ci-après.  The image analysis module 22 implements one or more image processing algorithms, making it possible to calculate characteristic values of objects present in each image. The term objects is to be understood here in the broad sense, and includes inanimate objects, people, animals. For example, this is a people detection algorithm, and a skeleton detection algorithm, as described in more detail below.
Le module 24 d’analyse de situation met en œuvre un ou plusieurs algorithmes d’analyse de situation en fonction des valeurs caractéristiques d’objets calculées, sur plusieurs images de l’ensemble des flux vidéo issus des caméras de vidéosurveillance du groupe traité.  The situation analysis module 24 implements one or more situation analysis algorithms as a function of the characteristic values of calculated objects, on several images of all the video streams coming from the video surveillance cameras of the group treated.
Le module de cadencement 26 permet la sélection d’un groupe de caméras de vidéosurveillance suivant, permettant de sélectionner successivement tous les groupes de caméras, et d’effectuer une répétition circulaire, c’est-à-dire de sélectionner à nouveau le premier groupe de caméras de la suite des groupes de caméras après traitement du dernier groupe de caméras de cette suite. En d’autres termes, les flux vidéo fournis par les caméras de vidéosurveillance sont traités par groupes de flux vidéo, selon un traitement en carrousel.  The timing module 26 allows the selection of a next group of video surveillance cameras, making it possible to successively select all the groups of cameras, and to perform a circular repetition, that is to say again to select the first group of cameras in the suite of camera groups after processing the last group of cameras in this suite. In other words, the video streams supplied by the CCTV cameras are processed by groups of video streams, according to a carousel processing.
La cadence de rotation entre groupes de caméras successifs fournissant des flux vidéo à traiter est choisie, et varie par exemple en fonction de l’analyse de situation à effectuer par le module 24.  The rate of rotation between successive groups of cameras providing video streams to be processed is chosen, and varies for example depending on the situation analysis to be carried out by the module 24.
Par exemple, pour une estimation de densité de passagers, l’analyse d’une seule image d’un flux vidéo par caméra est suffisante, alors que pour une détection d’évènement, par exemple d’agression, il est nécessaire de traiter un nombre d’images, par exemple égal à 48, de chaque flux vidéo d’un groupe de caméras avant de passer au groupe de caméras suivant. For example, for an estimation of passenger density, the analysis of a single image of a video stream by camera is sufficient, while for a detection event, for example aggression, it is necessary to process a number of images, for example equal to 48, of each video stream of a group of cameras before moving on to the next group of cameras.
La figure 2 illustre schématiquement un premier mode de réalisation du traitement de deux groupes de caméras Gi et G2, chacun comportant deux caméras distinctes et fournissant deux flux vidéo, par des diagrammes temporels 32, 34, 36, 38 représentés en parallèle. La figure 2 illustre schématiquement le séquencement temporel des traitements des flux vidéo respectifs par le processeur 12 et le dispositif d’accélération de calculs 14 du dispositif de calcul 10. FIG. 2 schematically illustrates a first embodiment of the processing of two groups of cameras Gi and G 2 , each comprising two separate cameras and providing two video streams, by time diagrams 32, 34, 36, 38 represented in parallel. FIG. 2 schematically illustrates the temporal sequencing of the processing of the respective video streams by the processor 12 and the calculation acceleration device 14 of the calculation device 10.
Ainsi, à l’instant noté t0, une première image h,i du premier flux vidéo Vu du premier groupe de caméras Gi est acquise, ainsi qu’une première image li,2 du deuxième flux vidéo V2i du premier groupe de caméras Gi. Ensuite, à un instant temporel ti, une analyse de l’image lu est effectuée, et à l’instant temporel t2, une analyse de l’image li,2 est effectuée. Par exemple, le traitement d’analyse est une détection de squelette. Thus, at the instant noted t 0 , a first image h , i of the first video stream Vu of the first group of cameras Gi is acquired, as well as a first image li , 2 of the second video stream V 2i of the first group of cameras Gi. Then, at a time instant ti, an analysis of the image read is carried out, and at the time instant t 2 , an analysis of the image li , 2 is carried out. For example, the analysis processing is a skeleton detection.
A un instant temporel t3 ultérieur, une fusion des résultats des analyses précédentes est effectuée pour obtenir des valeurs de descripteurs caractéristiques des objets présents dans la scène captée par les deux caméras du groupe Gi. ces valeurs de descripteurs caractéristiques étant mémorisées. At a later time t 3 , the results of the preceding analyzes are merged to obtain descriptor values characteristic of the objects present in the scene captured by the two cameras of the group Gi. these characteristic descriptor values being stored.
Ensuite, le procédé traite les flux vidéo du deuxième groupe de caméras G2. Next, the method processes the video streams from the second group of cameras G 2 .
Ainsi, à l’instant noté t4, une première image Ji,i du premier flux vidéo Vi2 du deuxième groupe de caméras G2 est acquise, ainsi qu’une première image Ji,2 du deuxième flux vidéo V22 du deuxième groupe de caméras G2. Ensuite, à un instant temporel t5, une analyse de l’image Ji,i est effectuée, et à l’instant temporel t6, une analyse de l’image Ji,2 est effectuée. Par exemple, le traitement d’analyse est une détection de squelette. Thus, at the instant noted t 4 , a first image Ji , i of the first video stream Vi 2 of the second group of cameras G 2 is acquired, as well as a first image Ji , 2 of the second video stream V 22 of the second group of G 2 cameras. Then, at a time instant t 5 , an analysis of the image Ji , i is carried out, and at the time instant t 6 , an analysis of the image Ji , 2 is carried out. For example, the analysis processing is a skeleton detection.
A un instant temporel t7 ultérieur, une fusion des résultats des analyses précédentes est effectuée pour obtenir des valeurs de descripteurs caractéristiques des objets présents dans la scène captée par les deux caméras du deuxième groupe de caméras G2, ces valeurs de descripteurs caractéristiques étant mémorisées. At a later time t 7 , the results of the previous analyzes are merged to obtain descriptor values characteristic of the objects present in the scene captured by the two cameras of the second group of cameras G 2, these characteristic descriptor values being stored .
Ensuite, le procédé traite à nouveau le premier groupe de caméras Gi, à partir d’un instant temporel t8 d’obtention de deuxièmes images des premier et deuxième flux vidéo du premier groupe de caméras Gi, et ainsi de suite. Then, the method again processes the first group of cameras Gi, from a time instant t 8 of obtaining second images of the first and second video stream of the first group of cameras Gi, and so on.
Dans cet exemple, une seule image est acquise et analysée par groupe de caméras avant de passer au groupe suivant.  In this example, only one image is acquired and analyzed per group of cameras before moving on to the next group.
Après avoir effectué M séquences de traitement pour un même groupe de caméras, M étant égal à 4 dans cet exemple, une analyse de situation est effectuée à un instant ta. Par exemple, il s’agit d’une intégration des résultats mémorisés précédemment, pour effectuer un comptage de personnes présentes dans le champ de vision conjoint d’un groupe de caméras. Dans un cas pratique, il s’agit du comptage d’un nombre de personnes par voiture ferroviaire. After performing M processing sequences for the same group of cameras, M being equal to 4 in this example, a situation analysis is performed at a instant t a . For example, it is an integration of the results previously stored, to count people present in the joint field of vision of a group of cameras. In a practical case, it involves counting a number of people per rail car.
La figure 3 illustre schématiquement un deuxième mode de réalisation du traitement de deux groupes de caméras Gi et G2, chacun comportant deux caméras distinctes et fournissant deux flux vidéo, par des diagrammes temporels 42, 44, 46, 48 représentés en parallèle. La figure 2 illustre schématiquement le séquencement temporel des traitements des flux vidéo respectifs par le processeur 12 et le dispositif d’accélération de calculs 14 du dispositif de calcul 10. FIG. 3 schematically illustrates a second embodiment of the processing of two groups of cameras Gi and G 2 , each comprising two separate cameras and providing two video streams, by time diagrams 42, 44, 46, 48 represented in parallel. FIG. 2 schematically illustrates the temporal sequencing of the processing of the respective video streams by the processor 12 and the calculation acceleration device 14 of the calculation device 10.
A la différence du mode de réalisation illustré à la figure 2, dans ce deuxième mode de réalisation, une série de 5 images des premier et deuxième flux vidéo du premier groupe de caméras Gi sont acquises et traitées avant le traitement des premier et deuxième flux vidéo du deuxième groupe de caméras G2. Par exemple, dans ce deuxième mode de réalisation, le traitement de chaque image extraite d’un flux vidéo consiste à effectuer une détection de squelette, et le traitement conjoint des valeurs de descripteurs consiste à détecter un évènement anormal concernant des personnes, par exemple une chute ou une agression. Unlike the embodiment illustrated in FIG. 2, in this second embodiment, a series of 5 images of the first and second video streams from the first group of cameras Gi are acquired and processed before the processing of the first and second video streams of the second group of cameras G 2 . For example, in this second embodiment, the processing of each image extracted from a video stream consists in carrying out a skeleton detection, and the joint processing of the descriptor values consists in detecting an abnormal event concerning people, for example a fall or assault.
La figure 3 illustre le traitement du premier groupe de caméras jusqu’à la mise en oeuvre de l’analyse de situation à l’instant t’a, permettant de détecter un comportement anormal. FIG. 3 illustrates the processing of the first group of cameras up to the implementation of the situation analysis at time t ' a , making it possible to detect abnormal behavior.
Dans ce deuxième mode de réalisation, pour la mise en oeuvre de cette analyse de situation, l’acquisition d’images des premier et deuxième flux vidéo du premier groupe de caméras est poursuivie en parallèle de la mise en oeuvre de l’analyse de situation. En cas de détection d’un évènement anormal, il est prévu de continuer les analyses d’images et l’analyse de situation, et de lever des alarmes suite à une détection positive de survenue d’un évènement anormal. Dans ce cas, le cadencement de traitement des flux vidéos issus des groupes de caméras de la suite de groupes de caméras est modifié dynamiquement pour prendre en compte une situation anormale détectée.  In this second embodiment, for the implementation of this situation analysis, the acquisition of images of the first and second video streams from the first group of cameras is continued in parallel with the implementation of the situation analysis . In the event of an abnormal event being detected, it is planned to continue the image analyzes and the situation analysis, and to raise alarms following a positive detection of the occurrence of an abnormal event. In this case, the processing timing of the video streams coming from the groups of cameras of the series of groups of cameras is dynamically modified to take into account an abnormal situation detected.
Par exemple, dans un mode de réalisation, le traitement des flux vidéos du premier groupe est poursuivi jusqu’à une détection négative d’évènement anormal, puis le groupe de caméra suivant est ensuite traité.  For example, in one embodiment, the processing of the video streams of the first group is continued until a negative detection of an abnormal event, then the next group of cameras is then processed.
Dans l’exemple illustré à la figure 3, il n’y a pas de détection d’évènement anormal, et donc l’acquisition et le traitement des images des premier et deuxième flux vidéo du deuxième groupe de caméras G2 est effectuée à partir de l’instant temporel t’a de fin de traitement du premier groupe de caméras Gi. Il est à noter que dans un mode de réalisation l’acquisition d’images est effectué en parallèle de l’analyse de situation l’analyse de situation n’occupant pas toutes les ressources calculatoires du dispositif de calcul 10. In the example illustrated in FIG. 3, there is no detection of abnormal events, and therefore the acquisition and processing of the images of the first and second video streams of the second group of cameras G 2 is carried out from of the time point t 'is the end of treatment of the first group Gi of cameras. It should be noted that in one embodiment, the acquisition of images is carried out in parallel with the situation analysis the situation analysis does not occupy all the computing resources of the computing device 10.
La figure 4 est un synoptique des principales étapes d’un procédé de vidéosurveillance selon un mode de réalisation, mis en oeuvre par un dispositif de calcul 10.  FIG. 4 is a block diagram of the main steps of a video surveillance method according to one embodiment, implemented by a computing device 10.
Le procédé comprend une première étape 50 d’obtention d’un découpage en une suite de groupes de caméras {GI ...GL} à traiter, parmi l’ensemble des N caméras connectées au dispositif de calcul 10. Par exemple, le découpage est obtenu à partir d’un fichier de configuration. En variante, le découpage est effectué par calcul, en fonction de la position spatiale de chaque caméra par rapport à un référentiel associé au véhicule ferroviaire. The method comprises a first step 50 of obtaining a division into a series of groups of cameras {G I ... G L } to be processed, from among all of the N cameras connected to the calculation device 10. For example, the breakdown is obtained from a configuration file. As a variant, the cutting is performed by calculation, as a function of the spatial position of each camera with respect to a frame of reference associated with the rail vehicle.
De préférence, les caméras d’un groupe de caméras donné ont des champs de prise de vue conjoints, donc présentent une intersection.  Preferably, the cameras of a given group of cameras have joint fields of view, therefore have an intersection.
Chaque groupe de caméras fournit un flux de vidéos, synchronisé ou quasi synchronisé, acquis sur un intervalle temporel donné, à traiter avant de passer au traitement du flux vidéo fourni par le groupe de caméras suivant.  Each group of cameras provides a video stream, synchronized or almost synchronized, acquired over a given time interval, to be processed before proceeding to the processing of the video stream supplied by the following group of cameras.
Dans le mode de réalisation plus particulièrement décrit ci-dessus on considère que les flux vidéo acquis par un groupe de caméra sont synchronisés, c’est-à-dire que les images des flux vidéo respectifs de chaque caméra du groupe de caméras sont acquises à des instants temporels prédéterminés.  In the embodiment more particularly described above, it is considered that the video streams acquired by a group of cameras are synchronized, that is to say that the images of the respective video streams of each camera of the group of cameras are acquired at predetermined time instants.
Le procédé comporte une sélection 52 d’un groupe de caméras à traiter, dit groupe de caméras courant, puis une acquisition 54 de flux vidéo synchronisés du groupe de caméras courant.  The method comprises a selection 52 of a group of cameras to be processed, called the current camera group, then an acquisition 54 of synchronized video streams from the current camera group.
Une analyse d’images numériques 56 est effectuée sur les images acquises.  Analysis of digital images 56 is performed on the acquired images.
Dans un mode de réalisation, les étapes d’acquisition 54 et d’analyse 56 se succèdent sur une pluralité d’images synchronisées extraites des flux vidéo issus des caméras du groupe de caméra courant, comme illustré à la figure 3.  In one embodiment, the acquisition steps 54 and analysis steps 56 follow one another on a plurality of synchronized images extracted from the video streams coming from the cameras of the current camera group, as illustrated in FIG. 3.
Dans un mode de réalisation, l’étape d’analyse 56 met en oeuvre un algorithme d’extraction de squelette. Une détection de points saillants d’image correspondant à des articulations est effectuée, chaque point correspondant à une articulation ayant une position spatiale associée, exprimée par des coordonnées (x,y) dans le référentiel de l’image numérique. Les articulations détectées ont chacune un type d’articulation associé, par exemple : les yeux, les oreilles, le cou, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles. Etant donné le type d’articulation détecté, les articulations sont liées pour former un squelette, représentatif d’une personne. Par exemple, l’algorithme proposé dans l’article « Realtime multi-person 2d pose estimation using part affinity fields » de Cao et al, Conférence on Computer Vision and Pattern Récognition 2017, est utilisé. In one embodiment, the analysis step 56 implements a skeleton extraction algorithm. A detection of image salient points corresponding to articulations is carried out, each point corresponding to an articulation having an associated spatial position, expressed by coordinates (x, y) in the reference frame of the digital image. The detected joints each have an associated type of joint, for example: eyes, ears, neck, shoulders, elbows, wrists, hips, knees and ankles. Given the type of joint detected, the joints are linked to form a skeleton, representative of a person. For example, the algorithm proposed in the article “Realtime multi-person 2d pose estimation using part affinity fields” by Cao et al, Conférence on Computer Vision and Pattern Récognition 2017, is used.
Bien entendu, toute autre méthode permettant de former un squelette représentatif d’une personne à partir de points associés aux articulations connue de l’homme du métier est utilisable.  Of course, any other method making it possible to form a skeleton representative of a person from points associated with the joints known to a person skilled in the art can be used.
Les positions spatiales des articulations et leurs liens forment des descripteurs caractéristiques d’objets présents dans l’image numérique analysée.  The spatial positions of the joints and their links form descriptors characteristic of objects present in the analyzed digital image.
Les valeurs de descripteurs sont mémorisées pour chaque image analysée.  The descriptor values are stored for each image analyzed.
Ensuite est effectuée une étape 58 d’analyse de situation utilisant une fusion des valeurs de descripteurs calculées et mémorisées.  Next, a situation analysis step 58 is carried out using a fusion of the descriptor values calculated and stored.
Par exemple, à l’étape 58 est mis en oeuvre un algorithme de détection d’évènement (i.e. de chute ou d’agression) en fonction des trajectoires des articulations des différentes personnes sur une pluralité d’images.  For example, in step 58, an event detection algorithm (i.e. fall or aggression) is implemented as a function of the trajectories of the joints of the different people on a plurality of images.
Selon une variante, à l’étape 58 est mis en oeuvre un algorithme d’estimation de taux d’occupation (également appelé densité de passagers) de la voiture du véhicule ferroviaire observée par le groupe de caméras courant, qui peut être effectué sur une seule image numérique d’un flux vidéo.  According to a variant, in step 58, an algorithm is used to estimate the occupancy rate (also called passenger density) of the car of the railway vehicle observed by the current group of cameras, which can be performed on a single digital image of a video stream.
Selon une autre variante, à l’étape 58 est mis en oeuvre un algorithme de détection d’intrusion ou de détection de présence.  According to another variant, in step 58, an intrusion detection or presence detection algorithm is implemented.
De préférence, la sélection de l’algorithme mis en oeuvre à l’étape 58 est effectuée en fonction d’un état du train, par exemple : en service, en fin de service, au dépôt.  Preferably, the selection of the algorithm implemented in step 58 is carried out according to a state of the train, for example: in service, at the end of service, at the depot.
Par exemple, un fichier de configuration est associé à chaque état du train, et mémorisé dans la mémoire 16 du dispositif de calcul 10.  For example, a configuration file is associated with each state of the train, and stored in memory 16 of the calculation device 10.
En effet, il est utile de mettre en oeuvre une estimation de taux d’occupation ou une détection d’évènement lorsque le train est en service, une détection de présence de personnes en fin de service lorsque le train se rend au dépôt et une détection de présence ou d’intrusion lorsque le train est au dépôt.  Indeed, it is useful to implement an estimate of occupancy rate or an event detection when the train is in service, a detection of the presence of people at the end of service when the train goes to the depot and a detection presence or intrusion when the train is at the depot.
Pour certaines analyses de situation, par exemple en cas de détection d’évènement à l’étape 58, les étapes 54 à 58 sont réitérées pour le groupe de caméras courant.  For certain situation analyzes, for example in the event of an event detection in step 58, steps 54 to 58 are repeated for the current group of cameras.
En cas de détection négative d’évènement, ou si l’étape d’analyse de situation met en oeuvre une autre analyse de situation ne nécessitant pas de vigilance particulière, l’étape 58 est suivie d’une étape 60 de sélection du groupe de caméras suivant à traiter dans la suite de groupes de caméras. Le résultat de l’analyse de situation est transmis à l’étape 62 à une application cliente. In the event of a negative event detection, or if the situation analysis step implements another situation analysis that does not require particular vigilance, step 58 is followed by a step 60 of selecting the group of Next cameras to deal with in the following camera groups. The result of the situation analysis is transmitted in step 62 to a client application.
De plus, en cas de vérification positive, une alerte est levée à l’étape 62, par exemple une alerte est envoyée à un centre de contrôle, au conducteur du train. Ainsi, avantageusement, en cas de détection d’incident, une prise en charge rapide de cet incident est possible.  In addition, in the event of a positive verification, an alert is raised in step 62, for example an alert is sent to a control center, to the train driver. Thus, advantageously, in the event of an incident being detected, rapid handling of this incident is possible.
Avantageusement, le système de vidéosurveillance et le procédé de vidéosurveillance décrits permettent d’effectuer une ou plusieurs analyses de situation à bord d’un véhicule ferroviaire, en prenant en considération des images captées par plusieurs caméras. Grâce au traitement par groupes de caméras, il est possible d’effectuer des analyses de situation pour la totalité du véhicule ferroviaire, de manière compatible avec les contraintes ferroviaires.  Advantageously, the video surveillance system and the video surveillance method described make it possible to carry out one or more situation analyzes on board a railway vehicle, taking into account images captured by several cameras. Thanks to the processing by groups of cameras, it is possible to carry out situation analyzes for the entire railway vehicle, in a manner compatible with railway constraints.

Claims

REVENDICATIONS
1.- Système de vidéosurveillance embarqué à bord d’un véhicule ferroviaire, comportant une pluralité de caméras (4i, 4,, 4N) de vidéosurveillance embarquées à bord du véhicule ferroviaire (2), chaque caméra (4i, 4,, 4N) ayant une position spatiale et un champ de prise de vue associé, chaque caméra étant adaptée à capter un flux vidéo composé d’une succession d’images numériques, le système (1 ) comportant en outre un dispositif électronique de calcul embarqué (10), caractérisé en ce que : 1.- Video surveillance system on board a rail vehicle, comprising a plurality of cameras (4i, 4 ,, 4 N ) for video surveillance on board the rail vehicle (2), each camera (4i, 4 ,, 4 N ) having a spatial position and an associated field of view, each camera being adapted to capture a video stream composed of a succession of digital images, the system (1) further comprising an on-board electronic computing device (10 ), characterized in that:
- ledit dispositif électronique de calcul embarqué (10) comporte au moins un dispositif d’accélération de calculs (14),  - said on-board electronic calculation device (10) comprises at least one calculation acceleration device (14),
et en ce que chaque caméra (4i, 4,, 4N) est connectée au dispositif électronique de calcul (10) embarqué et est adaptée à transmettre des flux vidéo captés audit dispositif électronique de calcul (10), and in that each camera (4i, 4 ,, 4 N ) is connected to the on-board electronic computing device (10) and is adapted to transmit captured video streams to said electronic computing device (10),
le dispositif électronique de calcul (10) étant adapté à :  the electronic calculation device (10) being adapted to:
-obtenir un découpage de la pluralité de caméras de vidéosurveillance en une suite de groupes de caméras à traiter successivement dans le temps, selon une répétition circulaire, et pour chaque groupe de caméras traité successivement :  obtain a division of the plurality of video surveillance cameras into a series of groups of cameras to be treated successively over time, according to a circular repetition, and for each group of cameras treated successively:
-a) obtenir (20) des flux vidéo issus dudit groupe de caméras, chaque flux vidéo contenant au moins une image numérique,  a) obtaining (20) video streams from said group of cameras, each video stream containing at least one digital image,
-b) appliquer (22) une analyse d’images numériques pour calculer des valeurs de descripteurs caractéristiques d’objets présents dans la ou chaque image de chaque flux vidéo issu d’une caméra dudit groupe de caméras,  -b) apply (22) an analysis of digital images to calculate values of descriptors characteristic of objects present in the or each image of each video stream originating from a camera of said group of cameras,
-c) appliquer (24) au moins un algorithme d’analyse de situation utilisant les valeurs de descripteurs calculées pour au moins une image de chaque flux vidéo dudit groupe de caméras traité pour obtenir un résultat d’analyse de situation dans le champ de prise de vue des caméras dudit groupe de caméras.  -c) applying (24) at least one situation analysis algorithm using the descriptor values calculated for at least one image of each video stream of said group of cameras processed to obtain a situation analysis result in the shooting field view of the cameras of said group of cameras.
2.- Système de vidéosurveillance selon la revendication 1 , dans lequel ladite analyse d’images numériques met en œuvre, dans chaque image numérique d’un flux vidéo, une détection de personnes et/ou une extraction de squelette associé à une personne présente dans le véhicule. 2. A video surveillance system according to claim 1, in which said analysis of digital images implements, in each digital image of a video stream, a detection of persons and / or a skeleton extraction associated with a person present in the vehicle.
3.- Système de vidéosurveillance selon la revendication 2, dans lequel les valeurs de descripteurs caractéristiques comprennent des positions spatiales, dans un référentiel associé à l’image numérique, d’articulations associées à une personne présente dans la scène. 3. A video surveillance system according to claim 2, in which the values of characteristic descriptors include spatial positions, in a frame of reference associated with the digital image, of joints associated with a person present in the scene.
4.- Système de vidéosurveillance selon l’une quelconque des revendications 1 à 3, embarqué à bord d’un véhicule ferroviaire comportant une pluralité de voitures, chaque groupe de caméra étant formé de caméras installées à bord d’une voiture du véhicule. 4. A video surveillance system according to any one of claims 1 to 3, on board a rail vehicle comprising a plurality of cars, each camera group being formed of cameras installed on board a car of the vehicle.
5.- Système selon l’une quelconque des revendications 1 à 4, adapté à mettre en oeuvre plusieurs algorithmes d’analyse de situation différents en fonction d’un état de véhicule ferroviaire. 5.- System according to any one of claims 1 to 4, adapted to implement several different situation analysis algorithms depending on a state of the rail vehicle.
6.- Système selon l’une quelconque des revendications 1 à 5, dans lequel l’algorithme d’analyse de situation met en oeuvre une détection d’évènement anormal, et en cas de détection positive pour un groupe de caméras courant, le système est adapté à continuer à traiter des images de flux vidéos du groupe de caméras courant. 6.- System according to any one of claims 1 to 5, in which the situation analysis algorithm implements an abnormal event detection, and in the event of positive detection for a current group of cameras, the system is suitable for continuing to process video stream images from the current camera group.
7.- Système selon l’une quelconque des revendications 1 à 6, adapté en outre à effectuer une levée d’alerte après l’application d’analyse de situation. 7.- System according to any one of claims 1 to 6, further adapted to carry out an alert raising after the application of situation analysis.
8.- Système selon l’une quelconque des revendications 1 à 7, comprenant un module (26) de cadencement adapté à sélectionner un groupe de caméras de vidéosurveillance suivant à traiter, en fonction d’un résultat d’analyse de situation. 8.- System according to any one of claims 1 to 7, comprising a timing module (26) adapted to select a group of next video surveillance cameras to be processed, according to a situation analysis result.
9.- Procédé de vidéosurveillance mis en oeuvre par un système de vidéosurveillance conforme à l’une des revendications 1 à 8, 9.- Video surveillance method implemented by a video surveillance system in accordance with one of claims 1 to 8,
comportant des étapes consistant à :  comprising steps consisting in:
-obtenir (50) un découpage de la pluralité de caméras de vidéosurveillance en une suite de groupes de caméras à traiter successivement dans le temps, selon une répétition circulaire, et pour chaque groupe de caméras traité successivement :  obtaining (50) a division of the plurality of video surveillance cameras into a series of groups of cameras to be treated successively over time, according to a circular repetition, and for each group of cameras treated successively:
-a) obtenir (54) des flux vidéo issus dudit groupe de caméras, chaque flux vidéo contenant au moins une image numérique,  a) obtaining (54) video streams from said group of cameras, each video stream containing at least one digital image,
-b) appliquer (56) une analyse d’images numériques pour calculer des valeurs de descripteurs caractéristiques d’objets présents dans la ou chaque image de chaque flux vidéo issu d’une caméra dudit groupe de caméras,  -b) apply (56) an analysis of digital images to calculate values of descriptors characteristic of objects present in the or each image of each video stream originating from a camera of said group of cameras,
-c) appliquer (58) au moins un algorithme d’analyse de situation utilisant les valeurs de descripteurs calculées pour au moins une image de chaque flux vidéo dudit groupe de caméras traité pour obtenir un résultat d’analyse de situation dans le champ de prise de vue des caméras dudit groupe de caméras. -c) applying (58) at least one situation analysis algorithm using the descriptor values calculated for at least one image of each video stream of said group of cameras processed to obtain a situation analysis result in the shooting field view of the cameras of said group of cameras.
10.- Procédé selon la revendication 9, comportant en outre une étape de sélection d’un groupe de caméras suivant à traiter. 10.- Method according to claim 9, further comprising a step of selecting a next group of cameras to be processed.
1 1 .- Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un dispositif électronique programmable, mettent en oeuvre un procédé de vidéosurveillance selon la revendication 9. 1 1 .- Computer program comprising software instructions which, when executed by a programmable electronic device, implement a video surveillance method according to claim 9.
PCT/EP2019/074762 2018-09-18 2019-09-17 Video surveillance system installed on board a rail vehicle WO2020058215A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19773017.9A EP3853762A1 (en) 2018-09-18 2019-09-17 Video surveillance system installed on board a rail vehicle
SG11202102532UA SG11202102532UA (en) 2018-09-18 2019-09-17 Video surveillance system installed on board of a rail vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1800984A FR3086085B1 (en) 2018-09-18 2018-09-18 VIDEOSURVEILLANCE SYSTEM ON BOARD A RAIL VEHICLE
FR1800984 2018-09-18

Publications (1)

Publication Number Publication Date
WO2020058215A1 true WO2020058215A1 (en) 2020-03-26

Family

ID=65685383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/074762 WO2020058215A1 (en) 2018-09-18 2019-09-17 Video surveillance system installed on board a rail vehicle

Country Status (5)

Country Link
EP (1) EP3853762A1 (en)
CL (1) CL2021000647A1 (en)
FR (1) FR3086085B1 (en)
SG (1) SG11202102532UA (en)
WO (1) WO2020058215A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113002595A (en) * 2021-03-19 2021-06-22 通号通信信息集团有限公司 Train tracking method and system
US11782160B2 (en) 2019-05-16 2023-10-10 Tetra Tech, Inc. System and method for generating and interpreting point clouds of a rail corridor along a survey path

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159004B (en) * 2021-05-27 2023-03-10 苏州大学 Passenger flow estimation method for rail transit carriage

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050069207A1 (en) * 2002-05-20 2005-03-31 Zakrzewski Radoslaw Romuald Method for detection and recognition of fog presence within an aircraft compartment using video images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050069207A1 (en) * 2002-05-20 2005-03-31 Zakrzewski Radoslaw Romuald Method for detection and recognition of fog presence within an aircraft compartment using video images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11782160B2 (en) 2019-05-16 2023-10-10 Tetra Tech, Inc. System and method for generating and interpreting point clouds of a rail corridor along a survey path
CN113002595A (en) * 2021-03-19 2021-06-22 通号通信信息集团有限公司 Train tracking method and system
CN113002595B (en) * 2021-03-19 2023-09-08 通号通信信息集团有限公司 Train tracking method and system

Also Published As

Publication number Publication date
EP3853762A1 (en) 2021-07-28
CL2021000647A1 (en) 2021-10-15
SG11202102532UA (en) 2021-04-29
FR3086085A1 (en) 2020-03-20
FR3086085B1 (en) 2020-10-09

Similar Documents

Publication Publication Date Title
WO2020058215A1 (en) Video surveillance system installed on board a rail vehicle
US20210227126A1 (en) Deep learning inference systems and methods for imaging systems
US10691949B2 (en) Action recognition in a video sequence
US9002060B2 (en) Object retrieval in video data using complementary detectors
Nguyen et al. Artificial intelligence based data processing algorithm for video surveillance to empower industry 3.5
CN112767711B (en) Multi-class multi-scale multi-target snapshot method and system
EP3271869B1 (en) Method for processing an asynchronous signal
CN109740590B (en) ROI accurate extraction method and system based on target tracking assistance
JP2017533497A (en) Event-based downsampling
KR20100035616A (en) Video motion detection
WO2014135404A1 (en) Method for tracking a target in an image sequence, taking the dynamics of the target into consideration
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
Li et al. CODAN: Counting-driven attention network for vehicle detection in congested scenes
CN112668410A (en) Sorting behavior detection method, system, electronic device and storage medium
Huang et al. A gray relational analysis-based motion detection algorithm for real-world surveillance sensor deployment
EP3364338A1 (en) Device for compressing a video sequence and device for monitoring a driver comprising such a compression device
CN112149596A (en) Abnormal behavior detection method, terminal device and storage medium
EP3627389A1 (en) Method and system for automatic analysis of video streams captured by a plurality of surveillance system cameras
WO2022179124A1 (en) Image restoration method and apparatus
FR3067144A1 (en) METHOD FOR DETERMINING THE TYPE OF ROAD ON WHICH EVOLVES A VEHICLE
Zhao et al. Research on vehicle detection and vehicle type recognition under cloud computer vision
EP3839816A1 (en) Electronic device for identifying and monitoring at least one target, associated electronic system, method and computer program
Tran et al. Robustness Enhancement of Object Detection in Advanced Driver Assistance Systems (ADAS)
WO2020126994A1 (en) Method and system for detecting anomalies in a telecommunications network
CN117173693B (en) 3D target detection method, electronic device, medium and driving device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19773017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019773017

Country of ref document: EP

Effective date: 20210419