WO2023094338A1 - Method for analysing potential events, device for analysing potential events, computer program and storage medium. - Google Patents

Method for analysing potential events, device for analysing potential events, computer program and storage medium. Download PDF

Info

Publication number
WO2023094338A1
WO2023094338A1 PCT/EP2022/082688 EP2022082688W WO2023094338A1 WO 2023094338 A1 WO2023094338 A1 WO 2023094338A1 EP 2022082688 W EP2022082688 W EP 2022082688W WO 2023094338 A1 WO2023094338 A1 WO 2023094338A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis application
analysis
module
event
cameras
Prior art date
Application number
PCT/EP2022/082688
Other languages
German (de)
French (fr)
Inventor
Christoph BURGER-SCHEIDLIN
Mark DEN HARTOG
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023094338A1 publication Critical patent/WO2023094338A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems

Definitions

  • Timely detection of a hazard can bring significant benefits. By detecting the danger in good time, in particular a dangerous situation, and the resulting possibility of a quick reaction or timely action, damage can be significantly minimized.
  • the hazardous situations are discovered by humans, with the human triggering an event and/or taking an action as a reaction to the hazardous situation.
  • the detection of the dangerous situation is often supported by machines, for example by camera surveillance.
  • Surveillance using cameras is used in the public sector, such as airports, parks and/or train stations, as well as in the private or commercial sector for monitoring company buildings or private parking areas.
  • publication WO 2017/220364 A1 describes a method and an arrangement for sending a user-triggered hazard message to a reporting point using an appropriately configured mobile communication terminal.
  • Software for triggering the hazard warning is installed in the mobile communication terminal. If the danger message is triggered by a user, a position determination system determines the position of the mobile communication terminal. The position of the mobile communication terminal is thus transmitted when the danger report is sent to the reporting station. Disclosure of Invention
  • the invention relates to a method for analyzing potential events according to claim 1 and a device according to claim 13, a computer program according to claim 14 and a machine-readable storage medium according to claim 15.
  • Preferred or advantageous embodiments of the invention result from the dependent claims, the following description and/or the attached figures.
  • a method for analyzing potential events is proposed.
  • events that are detected and/or verified by the method according to the invention are analyzed.
  • an event is constituted by a fire, an accident, an attack and/or an explosion.
  • the event is recorded by a camera.
  • the camera is recording image data.
  • the image data includes a large number of images.
  • the image data can form and/or include images, individual images or videos.
  • the videos preferably include a large number of images, in particular a large number of so-called frames.
  • the image data is of high quality, for example 4K or HD.
  • the image data include recordings of a stationary, locally unchanged object and/or a moving object such as a burning wooden structure or people running.
  • the image data includes, shows and/or describes areas of interest and/or objects that are relevant to the method.
  • interesting areas and/or objects are formed, for example, by the main entrance area of a shopping center, weapons or security-related events (explosion, fire, killing spree).
  • the camera is installed in particular in a building, such as an industrial building, a factory and/or a site, for example a company site, an industrial site or a campus. Alternatively or additionally, the camera is installed on private property, in a house and/or in a hotel.
  • the camera has a detection module.
  • the detection module detects an anomaly on the basis of the image data captured and/or provided by the camera. In particular, irregularities and/or deviations from a specified standard are recorded. For example, a sudden change in brightness is detected by the camera, the change in brightness forming an exemplary deviation.
  • the detection module is preferably designed as a generic detector.
  • a determination module determines a potential event for the detected anomaly.
  • a potential event is defined on the basis of the detected anomaly.
  • the change in brightness is recognized and/or defined as an explosion, for example.
  • a corresponding analysis application is selected by the determination module on the basis of the determination and/or determination.
  • the selected analysis application is installed on the camera.
  • the analysis application is preferably installed locally on the camera. Alternatively or additionally, the analysis application is installed in a cloud. If the potential event is a fire, for example, an analysis application for fire detection and/or for the detection of endangered persons is installed on the camera.
  • the camera has an application module.
  • the application module installs and/or runs the selected analysis application.
  • the analysis application is installed locally on the camera in particular.
  • the analysis application preferably forms an application, the application being designed to extract generic parameters of a scene.
  • the analysis application is designed as an application, in particular an app.
  • the analysis application is preferably intended for and/or can be used by the camera.
  • the analysis application is available, for example, via a store, similar to an app store. Alternatively or additionally, the analysis application is available via a device-external server.
  • the analysis application evaluates the potential event, the detected anomaly and/or the associated image data, with the associated image data including both a live stream and a recording when the potential event occurs. Provision is made for the image data to be stored.
  • the stored image data in particular video material, are preferred Analysis application provided.
  • the image data is made available to the analysis application for evaluation. With the evaluation, analysis data is determined by the analysis application. Alternatively or additionally, the detection and/or the recognition of the anomaly is extended by further recognition rules, which are provided by the selected specialized analysis application.
  • the analysis data includes information, in particular about the correctness of the detection of the potential event.
  • the analysis data preferably includes a statement as to whether the potential event was correctly determined and/or recognized.
  • the analysis data includes a large number of parameters that are important for a correctly recognized and/or determined event.
  • the analysis data include a statement about the speed of detection and/or a reaction to the event, classification of the event in a hazard class, location of the event that occurred and/or scenario for further spread, e.g. a fire.
  • the method according to the invention advantageously allows an efficient and reliable analysis of events.
  • the flexibility of the solution and the possibility of being able to analyze unforeseen events are particularly advantageous.
  • a further advantage results from the memory-saving properties of the invention, which can be derived from the installation of the analysis application, which is installed on the camera and/or in a cloud only when required, specifically in the event of a potential event.
  • a verification module verifies and/or falsifies the potential event and/or a selection of the analysis application on the basis of verification information.
  • the verified and/or falsified potential event forms a verified event.
  • a verified event preferably includes a final statement about the correctness and/or incorrectness of the determined potential event and/or the selected analysis application.
  • the verification module is designed, for example, to integrate and/or manage communication and/or process control between modules.
  • the verification module is designed in particular as an interface between the camera and other modules.
  • the verification module includes, for example, an interface for communicating with a server.
  • the verification module includes a processor, the processor being designed, for example, to generate a regulation message in the event of an event.
  • the verification module is designed, for example, as a stationary verification module. Alternatively or additionally, the verification module is designed as a cloud-based module.
  • the modules are preferably designed as software units, alternatively as hardware units, for example comprising a computer module, processor or a data processing unit.
  • the verification information includes a user input.
  • the method is based on user information.
  • a user is understood to mean, for example, a user, an operator, a security guard of a monitoring center and/or an employee of a company or a company.
  • the user is provided with a type of potential event and/or a listing of the potential events as an event notification.
  • a potential event is preferably determined from a detected anomaly.
  • the user verifies and/or falsifies the event notification.
  • the user confirms whether it is the potential event.
  • the user is provided and/or displayed a view of the event.
  • the user is provided with a view of the camera that detected the anomaly.
  • the potential event is confirmed and/or rejected by the user based on a visual sample.
  • the detection module and/or the determination module advantageously receives feedback on the selection of the event information. The feedback is preferred to an evaluation of future ones Scenarios and/or used and/or used to train the neural network.
  • the user preferably defines auxiliary rules.
  • the auxiliary rules form a link between the image data, the detected anomaly, the potential event and/or a selection of an analysis application.
  • the auxiliary rules provide, for example, instructions on the actions to be taken and/or not to be taken for a specific event. For example, in a shopping mall, significant visual flow may indicate people running, possibly caused by a fire.
  • the help rules are formed, for example, by playing an announcement with information about emergency exits, selecting an emergency number for the police and/or fire brigade, and/or calling for increased monitoring by security personnel.
  • the auxiliary rules are, in particular, situation- and/or event-dependent.
  • the auxiliary rules are preferably made available to the detection module and/or the determination module, with the auxiliary rules preferably being used and/or consulted for training the neural network.
  • the help rules are predefined by the user and/or set a priori, with the evaluation being carried out without the user, in particular without user input and/or the user's help, at a point in time when the anomaly occurs.
  • the analysis data are determined and/or made available by analysis applications.
  • the analysis data are determined in particular by evaluating the potential event, the detected anomaly and/or the associated image data. It is conceivable that a self-learning system will be formed by providing the analysis data.
  • the determination module and/or the detection module is preferably improved and/or trained on the basis of the verification information.
  • the improvement and/or the training takes place on the basis of a machine learning algorithm.
  • This refinement of the invention is based on the idea of enabling a more precise and error-free determination and/or detection of the anomaly and/or the potential event.
  • the determination module particularly preferably includes a neural network for determining the analysis application based on the verification information.
  • the determination module is designed to train and/or improve the neural network based on a user interaction and/or the verification information.
  • the detection module includes a neural network.
  • the neural network is designed to detect the anomalies based on the verification information.
  • the detection module is preferably designed to train and/or improve the neural network based on a user interaction and/or the verification information.
  • the method is particularly preferably carried out simultaneously on other cameras, in particular on a group of cameras.
  • the method is optionally carried out in parallel on other cameras, in particular a group of cameras.
  • the anomaly and/or the potential event is preferably recorded and/or detected by a large number of cameras, in particular a camera system.
  • the camera is preferably designed as part of a surveillance system.
  • An embodiment of the invention provides that after verification of the potential event and/or the analysis application, the analysis application is installed and/or distributed to a further camera and/or a group of cameras.
  • an anomaly is detected by a camera, in particular by the detection module, the anomaly and/or the potential event may be incorrectly identified.
  • Automatically installing the analytics application on all cameras in a surveillance system could affect system performance.
  • the analysis application is advantageously only installed on a first camera. As soon as the selected and/or relevant analysis application is installed, the analysis data of this application are recorded and/or verified by the verification module. In particular, if the analysis data indicate that the potential event is actually probable and/or that the analysis application is relevant, the analysis application is installed and/or distributed to other cameras. It is conceivable that when a certain threshold number of cameras is reached, the analysis application is installed and/or distributed over an entire surveillance system.
  • the analysis application is deleted automatically and/or by the user. Automatic deletion takes place, for example, by the verification module and/or determination module.
  • An order of priority is preferably assigned to the group of cameras. Provision, transmission and/or installation of the analysis application is staggered, for example, according to a predefined strategy, in particular according to the order of priorities.
  • a strategy can consist of starting the recording of the potential event, for example, with a hotspot, specifically with a location of the event, and continuing with the installation of the analysis application after removing the cameras to the outside. It is conceivable that in the case of cameras whose field of view overlaps, only one camera is updated at a time, in particular the analysis application is installed on the camera. Alternatively or additionally, only certain cameras are updated due to their important status, in particular the order of priorities, and/or the analysis application is transferred to and/or installed on the cameras. For example, the analysis application is only installed on the cameras that capture and/or provide image data from a ticket hall, a main corridor and/or a main entrance and/or exit.
  • a further embodiment of the invention provides that when an anomaly is detected, a selection of possible analysis applications is distributed to individual cameras and/or a group of cameras.
  • the different analysis applications are installed and/or distributed in particular for better and/or more precise verification of the potential event, with the analysis applications being relevant to the detected anomaly.
  • a detected movement of a crowd of people can be attributed to a terrorist attack, a fire and/or an explosion.
  • individual cameras are set to a specific mode, in particular equipped with a specific analysis application.
  • an analysis application for firearm/shot detection is installed on a first camera and/or a group of cameras.
  • a second camera and/or group of cameras will be equipped with an analysis application for building collapse detection, while a third camera and/or group of cameras may have an analysis application for fire detection installed.
  • the relevant analysis application is installed on the entire group of cameras.
  • a next strategy can be defined, in particular on the basis of the verification information that is collected based on image data from different cameras with different analysis applications.
  • the next strategy is formed by a restriction to only one analysis application for an entire surveillance system. It is conceivable that several analysis applications are installed on one camera and/or group of cameras. For example, an analysis application for fire detection and terrorist detection is installed on the camera if an incendiary device was used.
  • a further object of the invention is a device.
  • the device is designed to analyze determined events. The analysis of determined events takes place using the method as described above.
  • the device has at least one camera.
  • the device has a large number of cameras, with the device having at least 3 cameras.
  • the device preferably has at least 15 cameras and in particular at least 30 cameras.
  • the cameras are designed to record image data.
  • the camera has a detection module for detecting an anomaly and an application module.
  • the device has a determination module for determining a potential event and/or for selecting an analysis application. Alternatively or additionally, the camera has the determination module.
  • the analysis application is designed to evaluate the potential event, the detected anomaly and/or the associated image data and to determine analysis data.
  • a verification module is designed to verify and/or falsify the potential event and/or a selection of the analysis application on the basis of verification information. In particular, the verification module verifies whether the potential event was recognized correctly and/or whether the installed analysis application is relevant to the recognized event.
  • a further subject matter of the invention is a computer program for execution on a camera, a computer and/or on the device.
  • the computer program comprises instructions, the instructions being designed and/or set up during execution of the computer program to carry out, apply and/or support each step of the method as previously described.
  • a further object of the invention is a machine-readable storage medium, in particular a non-volatile machine-readable storage medium, the computer program described above being stored on the storage medium.
  • FIG. 1 shows a schematic view of an exemplary embodiment of a device for analyzing determined events
  • FIG. 2 shows a simplified flow chart of an exemplary embodiment of a method for analyzing determined events
  • FIG. 3 shows a schematic view of a further exemplary embodiment of a device with a staggered provision strategy
  • Figure 1 shows a schematic view of an embodiment of a device 1 for analyzing detected events 2.
  • the device has a camera 3 .
  • the camera 3 is designed to record image data 4 .
  • the image data 4 includes a large number of images 5.
  • the present image data 4 are recorded by the camera 3 on company premises, with the images 5 representing a group of people.
  • the camera 3 has a detection module 6 .
  • the detection module 6 is designed to detect an anomaly 7 on the basis of the image data 4 .
  • the camera 3 has a determination module 8 .
  • the determination module 8 determines a potential event 2 on the basis of the detected anomaly 7.
  • the anomaly 7 is figuratively formed and represented by a sudden change in brightness.
  • the determination module 8 is designed to determine and/or select an analysis application 9 based on the potential event 2 .
  • the potential event 2 forms an indication of an analysis application 9.
  • the sudden change in brightness and the group of people can indicate an explosion and/or a fire.
  • the analysis application 9 is installed and/or executed by an application module 10 . Based on the detected anomaly 7 (sudden change in brightness), the present analysis application 9 is formed as a fire detection application. Analysis application 9 is designed to evaluate potential event 2 . The analysis application 9 evaluates the potential event 2, the detected anomaly 7 and/or the associated image data 4. Based on the evaluation of the analysis application 9, the analysis application 9 is designed to determine analysis data 11. The analysis data 11 are made available to a verification module 12 . The verification module 12 verifies and/or falsifies the potential event 2 and/or a selection of the analysis application 9 on the basis of verification information 13. The verification information 13 comprises the analysis data 11. A verified and/or falsified event forms a verified event 22.
  • a type of potential event 2 and/or a listing of the potential events is provided to a user 14 as an event notification 16 on the basis of the determination module 8 .
  • the user 14 is provided with and/or displayed a view of the potential event 2 .
  • the user 14 is provided with a view of the camera 3 that has detected and/or captured the anomaly 7 .
  • the user 14 verifies and/or falsifies the event notification 16 , the verification and/or falsification of the event notification 16 forming the verification information 13 .
  • the determination module 8 determines a fire on the basis of the detected sudden change in brightness and selects a fire detection application for evaluating the potential event 2 .
  • the user 14 verifies that the event is in fact a fire.
  • the statement about the choice of the event and/or the analysis application 9 is verified and/or falsified using a visual test.
  • An exemplary embodiment of the invention provides that the user 14 defines auxiliary rules 17 .
  • the auxiliary rules 17 form a link between the image data 4, the detected anomaly 7, the potential event 2 and/or a selection from the analysis application 9.
  • the auxiliary rules 17 are provided to the detection module 6 and/or the determination module 8.
  • the auxiliary rules 17 are used by the detection module 6 and/or the determination module 8 in particular for training purposes.
  • the detection module 6 includes a neural network 18.
  • the neural network 18 is designed to detect the anomalies 7.
  • FIG. In particular, the detection module 6 is designed, the neural network 18 based on a To train user interaction and / or the verification information 13 and / or improve.
  • the determination module 8 has a neural network 18 respectively.
  • the determination module 8 is designed to train and/or improve the neural network 18 based on the user interaction and/or the verification information 13 .
  • FIG. 2 shows a simplified flow chart of an exemplary embodiment of a method for analyzing determined events
  • An anomaly 7 is detected by the camera 3 and/or the detection module 6 on the basis of the image data 4 . If the anomaly 7 is detected by a first camera 3, it may well be that the anomaly 7 is incorrectly identified and/or evaluated, so that the potential event 2 and the associated selection of the analysis application 9 are also incorrect. Automatic installation of the analysis application 9 on all cameras 3 of a surveillance system could impair the performance of the system.
  • a reaction to the detected anomaly 7 is determined and specified.
  • a reaction can form and/or include an installation 20 of the relevant analysis application 9 .
  • the first camera 3 is provided with the analysis application 9, in particular switched to an exception mode.
  • the analysis data 11 of this analysis application 9 is recorded by the verification module 12 .
  • the analysis application 9 evaluates the potential event 2, the detected anomaly 7 and/or the associated image data 4. The results of the evaluation are made available to the verification module 12 in the form of analysis data 11 and/or verification information 13 .
  • the verified event 22 is forwarded to the detection module 6 .
  • additional cameras 3 and/or groups of cameras 3c are equipped with the analysis application 9 .
  • further cameras 3 and/or groups of cameras 3c are equipped with the analysis application 9 and/or switched to a specific mode.
  • FIG. 1 A schematic view of a further exemplary embodiment of the device 1 with a staggered deployment strategy for the analysis application 9 is shown in FIG.
  • anomaly 7 is detected and/or recorded by different cameras 3, 3a, 3b and/or a group of cameras 3c.
  • panicked crowd movement may be due to a terrorist event, an explosion, and/or a killing spree.
  • a number of analysis applications 9 are necessary, with the analysis applications 9 being designed to evaluate different events.
  • the individual cameras 3, 3a, 3b and/or the group of cameras 3c are configured with a different analysis application 9, in particular switched to a specific mode.
  • the detection module 6 detects an anomaly 7.
  • An analysis application 9, which was selected on the basis of the detected anomaly 7 and/or the potential event 2, is installed on the application module 10.
  • An analysis application 9 for detecting firearms is installed locally on the first camera 3 .
  • a second camera 3a is equipped with an analysis application 9 for detecting building collapses.
  • An analysis application 9 for fire detection is installed locally on the third camera 3b.
  • an entire group of cameras 3c can be equipped with a suitable analysis application 9 and/or switched to the correct mode.
  • the verification module 12 verifies and/or falsifies the potential event 2 and/or a selection of the analysis application 9. Since it is an explosion in the present case, the analysis application 9, which is designed to evaluate a fire, will be used.
  • analysis applications 9 can be installed simultaneously on one, on several and/or on all cameras 3, 3a, 3b, 3c.
  • an analysis application 9 for fire detection and an analysis application 9 for detecting weapons is transferred and/or installed on the group of cameras 3c, since a potential killing spree was detected by the detection module 6 and/or by the determination module 8 (not shown here). .

Abstract

The invention relates to a method for analysing detected events (2), a device (1), a computer program, and a machine-readable storage medium, wherein: a camera (3) records image data (4); a detection module (6) detects an anomaly (7) on the basis of the image data (4); a determination module (8) determines a potential event (2) on the basis of the detected anomaly (7) and selects an analysis application (9) for evaluating the potential event (2); the camera (3) has an application module (10); the application module (10) installs and/or executes the selected analysis application (9); and the analysis application (9) evaluates the potential event (2), the detected anomaly (7) and/or the associated image data (4) and determines analysis data (11). Furthermore, a verification module is included, which verifies or falsifies the potential event and/or the selection of the analysis application on the basis of verification information.

Description

Titel title
Verfahren zur Analyse von potentiellen Ereignissen, Vorrichtung zur Analyse von potentiellen Ereignissen, Computerprogramm sowie Speichermedium Method for analyzing potential events, device for analyzing potential events, computer program and storage medium
Stand der Technik State of the art
Eine rechtzeitige Entdeckung einer Gefahr, wie zum Beispiel einer Explosion oder eines Brandes kann erhebliche Vorteile mit sich bringen. Durch die rechtzeitige Entdeckung der Gefahr, insbesondere einer Gefahrensituation und sich damit ergebende Möglichkeit auf eine schnelle Reaktion oder ein rechtzeitiges Handeln kann ein Schaden deutlich minimiert werden. Timely detection of a hazard, such as an explosion or fire, can bring significant benefits. By detecting the danger in good time, in particular a dangerous situation, and the resulting possibility of a quick reaction or timely action, damage can be significantly minimized.
In der Regel werden die Gefahrensituationen durch Menschen entdeckt, wobei der Mensch als eine Reaktion auf die Gefahrensituation ein Ereignis auslöst und/oder eine Handlung vornimmt. Die Entdeckung der Gefahrensituation wird jedoch oft maschinell unterstützt, beispielsweise durch Kameraüberwachung. Die Überwachung mittels Kameras findet sowohl im öffentlichen Bereich, wie zum Beispiel Flughäfen, Parks und/oder Bahnhöfen, sowie im privaten bzw. gewerblichen Bereich zur Überwachung von Firmengebäuden oder privaten Parkflächen ihren Einsatz. As a rule, the hazardous situations are discovered by humans, with the human triggering an event and/or taking an action as a reaction to the hazardous situation. However, the detection of the dangerous situation is often supported by machines, for example by camera surveillance. Surveillance using cameras is used in the public sector, such as airports, parks and/or train stations, as well as in the private or commercial sector for monitoring company buildings or private parking areas.
Beispielsweise beschreibt die Druckschrift WO 2017/220364 Al ein Verfahren und eine Anordnung zum Versenden einer vom Benutzer ausgelösten Gefahrenmeldung an eine Meldestelle unter Verwendung eines entsprechend konfigurierten mobilen Kommunikationsendgeräts. Im mobilen Kommunikationsendgerät ist eine Software zum Auslösen der Gefahrenmeldung installiert. Wenn die Gefahrenmeldung durch einen Benutzer ausgelöst wird, bestimmt ein Positionsbestimmungssystem die Position des mobilen Kommunikationsendgeräts. Beim Versenden der Gefahrenmeldung an die Meldestation wird damit die Position des mobilen Kommunikationsendgeräts übermittelt. Offenbarung der Erfindung For example, publication WO 2017/220364 A1 describes a method and an arrangement for sending a user-triggered hazard message to a reporting point using an appropriately configured mobile communication terminal. Software for triggering the hazard warning is installed in the mobile communication terminal. If the danger message is triggered by a user, a position determination system determines the position of the mobile communication terminal. The position of the mobile communication terminal is thus transmitted when the danger report is sent to the reporting station. Disclosure of Invention
Die Erfindung betrifft ein Verfahren zur Analyse von potentiellen Ereignissen gemäß dem Anspruch 1 sowie eine Vorrichtung gemäß dem Anspruch 13, ein Computerprogramm gemäß dem Anspruch 14 sowie ein Maschinenlesbares Speichermedium gemäß dem Anspruch 15. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung und/oder den beigefügten Figuren. The invention relates to a method for analyzing potential events according to claim 1 and a device according to claim 13, a computer program according to claim 14 and a machine-readable storage medium according to claim 15. Preferred or advantageous embodiments of the invention result from the dependent claims, the the following description and/or the attached figures.
Es wird ein Verfahren zur Analyse von potentiellen Ereignissen vorgeschlagen. Es werden insbesondere Ereignisse analysiert, die durch das erfindungsgemäße Verfahren detektiert und/oder verifiziert sind. Beispielsweise ist ein Ereignis durch einen Brand, einen Unfall, einen Überfall und/oder eine Explosion gebildet. A method for analyzing potential events is proposed. In particular, events that are detected and/or verified by the method according to the invention are analyzed. For example, an event is constituted by a fire, an accident, an attack and/or an explosion.
Das Ereignis wird durch eine Kamera aufgenommen. Die Kamera nimmt Bilddaten auf. Die Bilddaten umfassen eine Vielzahl an Bildern. Insbesondere können die Bilddaten Bilder, Einzelbilder oder Videos bilden und/oder umfassen. Die Videos umfassen bevorzugt eine Vielzahl an Bildern, insbesondere eine Vielzahl an sogenannten Frames. Alternativ oder ergänzend sind die Bilddaten qualitativ hochwertig, beispielsweise 4K oder HD. The event is recorded by a camera. The camera is recording image data. The image data includes a large number of images. In particular, the image data can form and/or include images, individual images or videos. The videos preferably include a large number of images, in particular a large number of so-called frames. Alternatively or additionally, the image data is of high quality, for example 4K or HD.
Beispielsweise umfassen die Bilddaten Aufnahmen eines stationären, örtlich unveränderten Objektes und/oder eines bewegten Objektes wie eine brennende Holzstruktur oder rennende Menschen. Die Bilddaten umfassen, zeigen und/oder beschreiben interessante Bereiche und/oder Objekte, die für das Verfahren relevant sind. Beispielsweise sind interessante Bereiche und/oder Objekte beispielsweise durch Haupteingangsbereich eines Einkaufzentrums, Waffen oder sicherheitsrelevante Ereignisse (Explosion, Brand, Amoklauf) gebildet. For example, the image data include recordings of a stationary, locally unchanged object and/or a moving object such as a burning wooden structure or people running. The image data includes, shows and/or describes areas of interest and/or objects that are relevant to the method. For example, interesting areas and/or objects are formed, for example, by the main entrance area of a shopping center, weapons or security-related events (explosion, fire, killing spree).
Die Kamera ist insbesondere in einem Gebäude, wie beispielsweise Industriegebäude, eine Fabrik und/oder einem Gelände, zum Beispiel Firmengelände, Industriegelände oder einen Campus installiert. Alternativ oder ergänzend ist die Kamera auf einem Privatgrundstück, in einem Haus und/oder in einem Hotel installiert. Die Kamera weist ein Detektionsmodul auf. Das Detektionsmodul detektiert auf Basis der, durch die Kamera erfassten und/oder bereitgestellten Bilddaten eine Anomalie. Es werden insbesondere Unregelmäßigkeiten und/oder Abweichungen von einer festgelegten Norm erfasst. Beispielsweise wird durch die Kamera ein plötzlicher Helligkeitswechsel erfasst, wobei der Helligkeitswechsel eine beispielhafte Abweichung bildet. Das Detektionsmodul ist bevorzugt als ein generischer Detektor ausgebildet. The camera is installed in particular in a building, such as an industrial building, a factory and/or a site, for example a company site, an industrial site or a campus. Alternatively or additionally, the camera is installed on private property, in a house and/or in a hotel. The camera has a detection module. The detection module detects an anomaly on the basis of the image data captured and/or provided by the camera. In particular, irregularities and/or deviations from a specified standard are recorded. For example, a sudden change in brightness is detected by the camera, the change in brightness forming an exemplary deviation. The detection module is preferably designed as a generic detector.
Ein Ermittlungsmodul ermittelt für die detektierte Anomalie ein potentielles Ereignis. Insbesondere wird anhand der detektierten Anomalie ein potentielles Ereignis festgelegt. Der Helligkeitswechsel wird beispielsweise als eine Explosion erkannt und/oder festgelegt. Auf Basis der Ermittlung und/oder Festlegung wird durch das Ermittlungsmodul eine entsprechende Analyseapplikation ausgewählt. Die ausgewählte Analyseapplikation wird auf die Kamera installiert. Bevorzugt wird die Analyseapplikation lokal auf die Kamera installiert. Alternativ oder ergänzend wird die Analyseapplikation in einer Cloud installiert. Handelt es sich bei dem potentiellen Ereignis beispielsweise um einen Brand, wird eine Analyseapplikation zur Branderkennung und/oder zur Erkennung gefährdeter Personen auf die Kamera installiert. A determination module determines a potential event for the detected anomaly. In particular, a potential event is defined on the basis of the detected anomaly. The change in brightness is recognized and/or defined as an explosion, for example. A corresponding analysis application is selected by the determination module on the basis of the determination and/or determination. The selected analysis application is installed on the camera. The analysis application is preferably installed locally on the camera. Alternatively or additionally, the analysis application is installed in a cloud. If the potential event is a fire, for example, an analysis application for fire detection and/or for the detection of endangered persons is installed on the camera.
Die Kamera weist ein Applikationsmodul auf. Das Applikationsmodul installiert und/oder führt die ausgewählte Analyseapplikation aus. Die Analyseapplikation wird insbesondere auf die Kamera lokal installiert. Die Analyseapplikation bildet bevorzugt eine Anwendung, wobei die Anwendung ausgebildet ist, generische Parameter einer Szene zu extrahieren. Im Speziellen ist die Analyseapplikation als eine Applikation, insbesondere eine App ausgebildet. Die Analyseapplikation ist bevorzugt für Kamera bestimmt und/oder durch diese anwendbar. Die Analyseapplikation ist beispielsweise über einen Store, ähnlich wie ein App-Store, erhältlich. Alternativ oder ergänzend ist die Analyseapplikation über ein Gerätexternen Server erhältlich. The camera has an application module. The application module installs and/or runs the selected analysis application. The analysis application is installed locally on the camera in particular. The analysis application preferably forms an application, the application being designed to extract generic parameters of a scene. In particular, the analysis application is designed as an application, in particular an app. The analysis application is preferably intended for and/or can be used by the camera. The analysis application is available, for example, via a store, similar to an app store. Alternatively or additionally, the analysis application is available via a device-external server.
Die Analyseapplikation wertet das potentielle Ereignis, die detektierte Anomalie und/oder die zugehörigen Bilddaten aus, wobei die zugehörigen Bilddaten sowohl einen Livestream als auch eine Aufzeichnung bei einem Eintreten des potentiellen Ereignisses umfassen. Es ist vorgesehen, dass die Bilddaten gespeichert werden. Bevorzugt werden die gespeicherte Bilddaten, insbesondere ein Videomaterial der Analyseapplikation zur Verfügung gestellt. Im Speziellen werden die Bilddaten der Analyseapplikation zur Auswertung bereitgestellt. Mit der Auswertung werden durch die Analyseapplikation Analysedaten ermittelt. Alternativ oder ergänzend wird die Detektion und/oder die Erkennung der Anomalie durch weitere Erkennungsregeln erweitert, welche durch die ausgewählte spezialisierte Analyseapplikation bereitgestellt werden. The analysis application evaluates the potential event, the detected anomaly and/or the associated image data, with the associated image data including both a live stream and a recording when the potential event occurs. Provision is made for the image data to be stored. The stored image data, in particular video material, are preferred Analysis application provided. In particular, the image data is made available to the analysis application for evaluation. With the evaluation, analysis data is determined by the analysis application. Alternatively or additionally, the detection and/or the recognition of the anomaly is extended by further recognition rules, which are provided by the selected specialized analysis application.
Die Analysedaten umfassen Informationen, insbesondere über eine Richtigkeit der Erkennung des potentiellen Ereignisses. Die Analysedaten umfassen bevorzugt eine Aussage, ob das potentielle Ereignis richtig ermittelt und/oder erkannt wurde. Alternativ oder ergänzend umfassen die Analysedaten eine Vielzahl an Parameter, die bei einem richtig erkannten und/oder ermittelten Ereignis von Bedeutung sind. Beispielsweise umfassen die Analysedaten eine Aussage über eine Schnelligkeit der Erfassung und/oder einer Reaktion auf das Ereignis, eine Einstufung des Ereignisses in eine Gefahrenklasse, Ort des aufgetretenen Ereignisses und/oder Szenarios zur weiteren Ausbreitung, z.B. eines Brandes. The analysis data includes information, in particular about the correctness of the detection of the potential event. The analysis data preferably includes a statement as to whether the potential event was correctly determined and/or recognized. Alternatively or additionally, the analysis data includes a large number of parameters that are important for a correctly recognized and/or determined event. For example, the analysis data include a statement about the speed of detection and/or a reaction to the event, classification of the event in a hazard class, location of the event that occurred and/or scenario for further spread, e.g. a fire.
Vorteilhaft erlaubt das erfindungsgemäße Verfahren eine effiziente und zuverlässige Analyse von Ereignissen. Besonders vorteilhaft ergibt sich eine Flexibilität der Lösung und der Möglichkeit, unvorhergesehene Ereignisse analysieren zu können. The method according to the invention advantageously allows an efficient and reliable analysis of events. The flexibility of the solution and the possibility of being able to analyze unforeseen events are particularly advantageous.
Ein weiterer Vorteil ergibt sich aus den speichersparenden Eigenschaften der Erfindung, die sich aus der Installation der Analyseapplikation herleiten lassen, die nur bei Bedarf, im Speziellen bei einem potentiellen Ereignis auf die Kamera und/oder in einer Cloud installiert wird. A further advantage results from the memory-saving properties of the invention, which can be derived from the installation of the analysis application, which is installed on the camera and/or in a cloud only when required, specifically in the event of a potential event.
Es ist vorgesehen, dass ein Verifikationsmodul auf Basis einer Verifikationsinformation das potentielle Ereignis und/oder eine Auswahl der Analyseapplikation verifiziert und/oder falsifiziert. Das verifizierte und/oder falsifizierte potentielle Ereignis bildet insbesondere ein verifiziertes Ereignis. Auf Basis des, durch das Verifikationsmodul, verifizierten Ereignisses werden beispielsweise weitere Szenarien und/oder Verfahrensschritte festgelegt. Ein verifiziertes Ereignis umfasst bevorzugt eine endgültige Aussage über eine Richtigkeit und/oder eine Falschheit des ermittelten potentiellen Ereignisses und/oder der ausgewählten Analyseapplikation. Das Verifikationsmodul ist ausgebildet, z.B. eine Kommunikation und/oder Prozesssteuerung zwischen Modulen zu integrieren und/oder zu verwalten. Das Verifikationsmodul ist insbesondere als eine Schnittstelle zwischen der Kamera und weiteren Modulen ausgebildet. Das Verifikationsmodul umfasst beispielsweise eine Schnittstelle zum Kommunizieren mit einem Server. Insbesondere umfasst das Verifikationsmodul einen Prozessor, wobei der Prozessor zum Beispiel zum Generieren einer Vorschriftennachricht im Falle eines Ereignisses ausgebildet ist. Das Verifikationsmodul ist beispielsweise als ein stationäres Verifikationsmodul ausgebildet. Alternativ oder ergänzend ist das Verifikationsmodul als ein cloudbasiertes Modul ausgebildet. It is provided that a verification module verifies and/or falsifies the potential event and/or a selection of the analysis application on the basis of verification information. In particular, the verified and/or falsified potential event forms a verified event. On the basis of the event verified by the verification module, further scenarios and/or method steps are defined, for example. A verified event preferably includes a final statement about the correctness and/or incorrectness of the determined potential event and/or the selected analysis application. The verification module is designed, for example, to integrate and/or manage communication and/or process control between modules. The verification module is designed in particular as an interface between the camera and other modules. The verification module includes, for example, an interface for communicating with a server. In particular, the verification module includes a processor, the processor being designed, for example, to generate a regulation message in the event of an event. The verification module is designed, for example, as a stationary verification module. Alternatively or additionally, the verification module is designed as a cloud-based module.
Die Module, insbesondere das Detektionsmodul, das Ermittlungsmodul, das Applikationsmodul sowie das Verifikationsmodul sind bevorzugt als Softwareeinheiten ausgebildet, alternativ als Hardwareeinheiten, beispielsweise umfassend ein Rechnermodul, Prozessor oder eine Datenverarbeitungseinheit. The modules, in particular the detection module, the determination module, the application module and the verification module are preferably designed as software units, alternatively as hardware units, for example comprising a computer module, processor or a data processing unit.
Es ist vorgesehen, dass die Verifikationsinformation eine Benutzereingabe umfasst. Alternativ oder ergänzend basiert das Verfahren auf einer Benutzerangabe. Als Benutzer wird beispielsweise ein Anwender, ein Betreiber, ein Wachmann einer Überwachungszentralle und/oder ein Angestellter eines Unternehmens oder einer Firmer verstanden. It is envisaged that the verification information includes a user input. Alternatively or additionally, the method is based on user information. A user is understood to mean, for example, a user, an operator, a security guard of a monitoring center and/or an employee of a company or a company.
Vorzugsweise wird dem Benutzer auf Basis des Ermittlungsmoduls eine Art des potentiellen Ereignisses und/oder eine Auflistung der potentiellen Ereignisse als ein Ereignishinweis bereitgestellt. Aus einer detektierten Anomalie wird bevorzugt ein potentielles Ereignis ermittelt. Der Benutzer verifiziert und/oder falsifiziert den Ereignishinweis. Der Benutzer bestätigt dabei, ob es sich um das potentielle Ereignis handelt. Im Speziellen bekommt der Benutzer eine Ansicht des Ereignisses bereitgestellt und/oder angezeigt. Insbesondere wird dem Benutzer eine Ansicht der Kamera bereitgestellt, die die Anomalie detektiert hat. Beispielsweise wird das potentielle Ereignis anhand von einer Sichtprobe durch den Benutzer bestätigt und/oder abgelehnt. Vorteilhaft erhält das Detektionsmodul und/oder das Ermittlungsmodul eine Rückmeldung über die Wahl des Ereignishinweises. Die Rückmeldung wird bevorzugt zu einer Bewertung künftiger Szenarien und/oder zum Trainieren des neuronalen Netzes verwendet und/oder herangezogen. Preferably, based on the determination module, the user is provided with a type of potential event and/or a listing of the potential events as an event notification. A potential event is preferably determined from a detected anomaly. The user verifies and/or falsifies the event notification. The user confirms whether it is the potential event. In particular, the user is provided and/or displayed a view of the event. In particular, the user is provided with a view of the camera that detected the anomaly. For example, the potential event is confirmed and/or rejected by the user based on a visual sample. The detection module and/or the determination module advantageously receives feedback on the selection of the event information. The feedback is preferred to an evaluation of future ones Scenarios and/or used and/or used to train the neural network.
Bevorzugt definiert der Benutzer Hilfsregeln. Die Hilfsregeln bilden eine Verknüpfung der Bilddaten, der detektierten Anomalie, des potenziellen Ereignisses und/oder einer Analyseapplikationsauswahl. Die Hilfsregeln weisen beispielsweise Hinweise zu den Handlungen, die bei einem bestimmten Ereignis zu tätigen und/oder zu unterlassen sind. Beispielsweise kann in einem Einkaufszentrum ein erheblicher optischer Fluss auf rennende Menschen hinweisen, was möglicherweise durch ein Feuer auslöst ist. Die Hilfsregeln sind beispielsweise durch ein Abspielen einer Durchsage mit Informationen über Notausgängen, ein Auswählen einer Polizei und/oder Feuerwehr Notrufnummer und/oder Aufruf zu einer Überwachungsverstärkung durch Security Personal gebildet. Die Hilfsregeln sind insbesondere situations- und/oder ereignisabhängig. Die Hilfsregeln werden bevorzugt dem Detektionsmodul und/oder dem Ermittlungsmodul bereitgestellt, wobei die Hilfsregeln bevorzugt zum Trainieren des neuronalen Netzes verwendet und/oder herangezogen wird. Im Speziellen sind die Hilfsregeln durch den Benutzer vordefiniert und/oder a Prior festgelegt, wobei zu einem Zeitpunkt der Anomalie die Auswertung ohne den Benutzer, insbesondere ohne Benutzereingabe und/oder Hilfe des Benutzers erfolgt. The user preferably defines auxiliary rules. The auxiliary rules form a link between the image data, the detected anomaly, the potential event and/or a selection of an analysis application. The auxiliary rules provide, for example, instructions on the actions to be taken and/or not to be taken for a specific event. For example, in a shopping mall, significant visual flow may indicate people running, possibly caused by a fire. The help rules are formed, for example, by playing an announcement with information about emergency exits, selecting an emergency number for the police and/or fire brigade, and/or calling for increased monitoring by security personnel. The auxiliary rules are, in particular, situation- and/or event-dependent. The auxiliary rules are preferably made available to the detection module and/or the determination module, with the auxiliary rules preferably being used and/or consulted for training the neural network. In particular, the help rules are predefined by the user and/or set a priori, with the evaluation being carried out without the user, in particular without user input and/or the user's help, at a point in time when the anomaly occurs.
Es ist vorgesehen, dass die Verifikationsinformation die Analysedaten umfasst. Die Analysedaten werden durch Analyseapplikation ermittelt und/oder bereitgestellt. Die Analysedaten werden insbesondere durch Auswertung des potentiellen Ereignisses, der detektierten Anomalie und/oder der zugehörigen Bilddaten ermittelt. Es ist denkbar, dass durch die Bereitstellung der Analysedaten, ein selbstlernendes System gebildet wird. Provision is made for the verification information to include the analysis data. The analysis data are determined and/or made available by analysis applications. The analysis data are determined in particular by evaluating the potential event, the detected anomaly and/or the associated image data. It is conceivable that a self-learning system will be formed by providing the analysis data.
Bevorzugt wird das Ermittlungsmodul und/oder das Detektionsmodul auf Basis der Verifikationsinformation verbessert und/oder trainiert. Beispielsweise erfolgt das Verbessern und/oder das Trainieren auf Basis eines Algorithmus des maschinellen Lernens. Dieser Ausgestaltung der Erfindung liegt die Überlegung zugrunde eine genauere und fehlerfreie Ermittlung und/oder Detektion der Anomalie und/oder des potentiellen Ereignisses zu ermöglichen. Besonders bevorzugt umfasst das Ermittlungsmodul ein neuronales Netz zur Ermittlung der Analyseapplikation basierend auf der Verifikationsinformation. Das Ermittlungsmodul ist ausgebildet, das neuronale Netz basierend auf einer Benutzerinterkation und/oder der Verifikationsinformation zu trainieren und/oder zu verbessern. The determination module and/or the detection module is preferably improved and/or trained on the basis of the verification information. For example, the improvement and/or the training takes place on the basis of a machine learning algorithm. This refinement of the invention is based on the idea of enabling a more precise and error-free determination and/or detection of the anomaly and/or the potential event. The determination module particularly preferably includes a neural network for determining the analysis application based on the verification information. The determination module is designed to train and/or improve the neural network based on a user interaction and/or the verification information.
Insbesondere umfasst das Detektionsmodul ein neuronales Netz. Das neuronale Netz ist zur Detektion der Anomalien basierend auf der Verifikationsinformation ausgebildet. Bevorzugt ist das Detektionsmodul ausgebildet, das neuronale Netz basierend auf einer Benutzerinterkation und/oder der Verifikationsinformation zu trainieren und/oder zu verbessern. In particular, the detection module includes a neural network. The neural network is designed to detect the anomalies based on the verification information. The detection module is preferably designed to train and/or improve the neural network based on a user interaction and/or the verification information.
Besonders bevorzugt wird das Verfahren gleichzeitig auf weiteren Kameras, insbesondere auf einer Gruppe von Kameras durchgeführt. Optional wird das Verfahren parallel auf weiteren Kameras, insbesondere einer Gruppe von Kameras durchgeführt. Die Anomalie und/oder das potentielle Ereignis wird bevorzugt durch eine Vielzahl an Kameras, insbesondere ein Kamerasystem aufgenommen und/oder detektiert. Bevorzugt ist die Kamera als ein Teil eines Überwachungssystems ausgebildet. The method is particularly preferably carried out simultaneously on other cameras, in particular on a group of cameras. The method is optionally carried out in parallel on other cameras, in particular a group of cameras. The anomaly and/or the potential event is preferably recorded and/or detected by a large number of cameras, in particular a camera system. The camera is preferably designed as part of a surveillance system.
Eine Ausgestaltung der Erfindung sieht vor, dass nach einer Verifizierung des potentiellen Ereignisses und/oder der Analyseapplikation, die Analyseapplikation auf eine weitere Kamera und/oder eine Gruppe von Kameras installiert und/oder verteilt wird. An embodiment of the invention provides that after verification of the potential event and/or the analysis application, the analysis application is installed and/or distributed to a further camera and/or a group of cameras.
Beispielsweise wenn eine Anomalie von einer Kamera, insbesondere von dem Detektionsmodul detektiert wird, kann es vorkommen, dass die Anomalie und/oder das potentielle Ereignis fehlerhaft erkannt ist. Eine automatische Installation der Analyseapplikation auf alle Kameras eines Überwachungssystems könnte eine Leistung des Systems beeinträchtigen. Vorteilhaft wird die Analyseapplikation nur auf eine erste Kamera installiert. Sobald die ausgewählte und/oder relevante Analyseapplikation installiert ist, werden die Analysedaten dieser Applikation von dem Verifikationsmodul erfasst und/oder verifiziert. Insbesondere wenn die Analysedaten darauf hindeuten, dass das potentielle Ereignis tatsächlich wahrscheinlich ist und/oder dass die Analyseapplikation relevant ist, wird die Analyseapplikation auf weitere Kameras installiert und/oder verteilt. Es ist denkbar, dass wenn ein bestimmter Schwellenwert an Kameras erreicht ist, wird die Analyseapplikation auf ein gesamtes Überwachungssystem installiert und/oder verteilt. For example, if an anomaly is detected by a camera, in particular by the detection module, the anomaly and/or the potential event may be incorrectly identified. Automatically installing the analytics application on all cameras in a surveillance system could affect system performance. The analysis application is advantageously only installed on a first camera. As soon as the selected and/or relevant analysis application is installed, the analysis data of this application are recorded and/or verified by the verification module. In particular, if the analysis data indicate that the potential event is actually probable and/or that the analysis application is relevant, the analysis application is installed and/or distributed to other cameras. It is conceivable that when a certain threshold number of cameras is reached, the analysis application is installed and/or distributed over an entire surveillance system.
Insbesondere bei einer Falsifizierung des potentiellen Ereignisses und/oder der Analyseapplikation wird die Analyseapplikation automatisch und/oder durch den Benutzer gelöscht. Eine automatische Löschung erfolgt beispielsweise durch das Verifikationsmodul und/oder Ermittlungsmodul. In particular, if the potential event and/or the analysis application is falsified, the analysis application is deleted automatically and/or by the user. Automatic deletion takes place, for example, by the verification module and/or determination module.
Vorzugsweise wird der Gruppe von Kameras eine Prioritätenordnung zugeteilt. Eine Bereitstellung, Übertragung und/oder die Installation der Analyseapplikation wird beispielsweise nach einer vordefinierten Strategie, insbesondere nach der Prioritätenordnung gestaffelt. Eine solche Strategie kann darin bestehen die Aufnahme des potentiellen Ereignisses beispielsweise mit einem Hotspot, im Speziellen mit einem Ort des Geschehens, zu beginnen und nach Entfernung der Kameras nach außen mit der Installation der Analyseapplikation fortzusetzen. Es ist denkbar, dass bei Kameras, deren Sichtfeld sich überschneidet, jeweils nur eine Kamera aktualisiert, insbesondere die Analyseapplikation auf die Kamera installiert wird. Alternativ oder ergänzend werden nur bestimmte Kameras aufgrund ihres wichtigen Status, insbesondere der Prioritätenordnung aktualisiert und/oder die Analyseapplikation auf die Kameras Übertragung und/oder installiert. Beispielsweise wird die Analyseapplikation nur auf die Kameras installiert, die Bilddaten aus einer Schalterhalle, einem Hauptgang und/oder einem Haupt Ein- und/oder Ausgang erfassen und/oder bereitstellen. An order of priority is preferably assigned to the group of cameras. Provision, transmission and/or installation of the analysis application is staggered, for example, according to a predefined strategy, in particular according to the order of priorities. Such a strategy can consist of starting the recording of the potential event, for example, with a hotspot, specifically with a location of the event, and continuing with the installation of the analysis application after removing the cameras to the outside. It is conceivable that in the case of cameras whose field of view overlaps, only one camera is updated at a time, in particular the analysis application is installed on the camera. Alternatively or additionally, only certain cameras are updated due to their important status, in particular the order of priorities, and/or the analysis application is transferred to and/or installed on the cameras. For example, the analysis application is only installed on the cameras that capture and/or provide image data from a ticket hall, a main corridor and/or a main entrance and/or exit.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass bei einer detektierten Anomalie eine Auswahl von möglichen Analyseapplikationen auf individuellen Kameras und/oder einer Gruppe von Kameras verteilt werden. Die unterschiedlichen Analyseapplikationen werden insbesondere zur besseren und/oder exakten Verifizierung des potentiellen Ereignisses installiert und/oder verteilt, wobei die Analyseapplikationen relevant zu der detektierten Anomalie sind. A further embodiment of the invention provides that when an anomaly is detected, a selection of possible analysis applications is distributed to individual cameras and/or a group of cameras. The different analysis applications are installed and/or distributed in particular for better and/or more precise verification of the potential event, with the analysis applications being relevant to the detected anomaly.
Es ist denkbar, dass mehr als ein potentielles Ereignis aus einer Anomalie ermittelt wird. Beispielsweise kann eine erfasste Bewegung einer Menschenmasse auf ein terroristisches Attentat, auf einen Brand und/oder eine Explosion zurückzuführen. Bevorzugt, um eine Auswirkung auf die Leistung eines Überwachungssystems zu minimieren, werden einzelne Kameras in einen bestimmten Modus versetzt, insbesondere mit einer bestimmten Analyseapplikation ausgestattet. Beispielsweise wird auf eine erste Kamera und/oder eine Gruppe von Kameras eine Analyseapplikation für die Schusswaffen-/Schusserkennung installiert. Eine zweite Kamera und/oder eine Gruppe von Kameras wird mit einer Analyseapplikation für die Erkennung von Gebäudeeinstürzen ausgestattet, wobei auf eine dritte Kamera und/oder Gruppe von Kameras möglicherweise eine Analyseapplikation für die Branderkennung installiert wird. Je nachdem, wie erfolgreich und/oder relevant die ausgewählten Analyseapplikationen bei der Erkennung des jeweiligen Ereignisses sind, wird auf die gesamte Gruppe von Kameras die relevante Analyseapplikation installiert. It is conceivable that more than one potential event will be determined from an anomaly. For example, a detected movement of a crowd of people can be attributed to a terrorist attack, a fire and/or an explosion. Preferably, in order to minimize an impact on the performance of a surveillance system, individual cameras are set to a specific mode, in particular equipped with a specific analysis application. For example, an analysis application for firearm/shot detection is installed on a first camera and/or a group of cameras. A second camera and/or group of cameras will be equipped with an analysis application for building collapse detection, while a third camera and/or group of cameras may have an analysis application for fire detection installed. Depending on how successful and/or relevant the selected analysis applications are in detecting the respective event, the relevant analysis application is installed on the entire group of cameras.
Insbesondere auf Basis der Verifikationsinformationen, die basierend auf Bilddaten unterschiedlicher Kameras mit unterschiedlichen Analyseapplikationen gesammelt sind, kann eine nächste Strategie festgelegt werden. Beispielsweise ist die nächste Strategie durch eine Einschränkung auf nur eine Analyseapplikation für ein ganzes Überwachungssystem gebildet. Es ist denkbar, dass mehrere Analyseapplikationen auf einer Kamera und/oder Gruppe von Kameras installiert sind. Beispielsweise wird eine Analyseapplikation zur Branderkennung und Terroristenerkennung auf die Kamera installiert, falls ein Brandsatz verwendet wurde. A next strategy can be defined, in particular on the basis of the verification information that is collected based on image data from different cameras with different analysis applications. For example, the next strategy is formed by a restriction to only one analysis application for an entire surveillance system. It is conceivable that several analysis applications are installed on one camera and/or group of cameras. For example, an analysis application for fire detection and terrorist detection is installed on the camera if an incendiary device was used.
Einen weiteren Gegenstand der Erfindung bildet eine Vorrichtung. Die Vorrichtung ist zur Analyse von ermittelten Ereignissen ausgebildet. Die Analyse von ermittelten Ereignissen erfolgt mit dem Verfahren wie dieser zuvor beschrieben wurde. A further object of the invention is a device. The device is designed to analyze determined events. The analysis of determined events takes place using the method as described above.
Die Vorrichtung weist mindestens eine Kamera auf. Die Vorrichtung weist insbesondere eine Vielzahl an Kameras, wobei die Vorrichtung mindestens 3 Kameras aufweist. Vorzugsweise weist die Vorrichtung mindestens 15 Kameras und im Speziellen mindestens 30 Kameras auf. Die Kameras sind zur Aufnahme von Bilddaten ausgebildet. Die Kamera weist insbesondere ein Detektionsmodul zur Detektion einer Anomalie und ein Applikationsmodul auf. Die Vorrichtung weist ein Ermittlungsmodul zur Ermittlung eines potentiellen Ereignisses und/oder zur Auswahl einer Analyseapplikation. Alternativ oder ergänzend weist die Kamera den Ermittlungsmodul auf. The device has at least one camera. In particular, the device has a large number of cameras, with the device having at least 3 cameras. The device preferably has at least 15 cameras and in particular at least 30 cameras. The cameras are designed to record image data. In particular, the camera has a detection module for detecting an anomaly and an application module. The device has a determination module for determining a potential event and/or for selecting an analysis application. Alternatively or additionally, the camera has the determination module.
Die Analyseapplikation ist ausgebildet, das potentielle Ereignis, die detektierte Anomalie und/oder die zugehörigen Bilddaten auszuwerten und Analysedaten zu ermitteln. Ein Verifikationsmodul ist ausgebildet, das potentielle Ereignis und/oder eine Auswahl der Analyseapplikation auf Basis einer Verifikationsinformation zu verifizieren und/oder zu falsifizieren. Im Speziellen verifiziert das Verifikationsmodul ob das potentielle Ereignis richtig erkannt wurde und/oder ob die Installierte Analyseapplikation eine Relevanz zu dem erkannten Ereignis aufweist. The analysis application is designed to evaluate the potential event, the detected anomaly and/or the associated image data and to determine analysis data. A verification module is designed to verify and/or falsify the potential event and/or a selection of the analysis application on the basis of verification information. In particular, the verification module verifies whether the potential event was recognized correctly and/or whether the installed analysis application is relevant to the recognized event.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm zur Ausführung auf einer Kamera, einem Rechner und/oder auf der Vorrichtung. Das Computerprogramm umfasst Befehle, wobei die Befehle bei der Ausführung des Computerprogramms ausgebildet und/oder eingerichtet sind, jeden Schritt des Verfahrens wie der zuvor beschrieben wurde auszuführen, anzuwenden und/oder zu unterstützen. A further subject matter of the invention is a computer program for execution on a camera, a computer and/or on the device. The computer program comprises instructions, the instructions being designed and/or set up during execution of the computer program to carry out, apply and/or support each step of the method as previously described.
Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, insbesondere nichtflüchtiges maschinenlesbares Speichermedium, wobei auf dem Speichermedium das zuvor beschriebene Computerprogramm gespeichert ist. A further object of the invention is a machine-readable storage medium, in particular a non-volatile machine-readable storage medium, the computer program described above being stored on the storage medium.
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen: Further features, advantages and effects of the invention result from the following description of preferred exemplary embodiments of the invention. show:
Figur 1 eine schematische Ansicht eines Ausführungsbeispiels einer Vorrichtung zur Analyse von ermittelten Ereignissen; FIG. 1 shows a schematic view of an exemplary embodiment of a device for analyzing determined events;
Figur 2 ein vereinfachtes Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Analyse von ermittelten Ereignissen; Figur 3 eine schematische Ansicht eines weiteren Ausführungsbeispiels einer Vorrichtung mit einer gestaffelten Bereitstellungsstrategie; FIG. 2 shows a simplified flow chart of an exemplary embodiment of a method for analyzing determined events; FIG. 3 shows a schematic view of a further exemplary embodiment of a device with a staggered provision strategy;
Einander entsprechende oder gleiche Teile sind in den Figuren jeweils mit den gleichen Bezugszeichen versehen. Corresponding or identical parts are each provided with the same reference symbols in the figures.
Die Figur 1 zeigt eine schematische Ansicht eines Ausführungsbeispiels einer Vorrichtung 1 zur Analyse von ermittelten Ereignissen 2. Figure 1 shows a schematic view of an embodiment of a device 1 for analyzing detected events 2.
Die Vorrichtung weist eine Kamera 3 auf. Die Kamera 3 ist ausgebildet, Bilddaten 4 aufzunehmen. Die Bilddaten 4 umfassen eine Vielzahl an Bildern 5. Die vorliegende Bilddaten 4 sind durch die Kamera 3 auf einem Firmengelände aufgenommen, wobei die Bilder 5 eine Menschengruppe darstellen. The device has a camera 3 . The camera 3 is designed to record image data 4 . The image data 4 includes a large number of images 5. The present image data 4 are recorded by the camera 3 on company premises, with the images 5 representing a group of people.
Die Kamera 3 weist ein Detektionsmodul 6 auf. Das Detektionsmodul 6 ist ausgebildet, auf Basis der Bilddaten 4, eine Anomalie 7 zu detektieren. The camera 3 has a detection module 6 . The detection module 6 is designed to detect an anomaly 7 on the basis of the image data 4 .
Die Kamera 3 weist ein Ermittlungsmodul 8 auf. Das Ermittlungsmodul 8 ermittelt auf Basis der detektierten Anomalie 7 ein potentielles Ereignis 2. Die Anomalie 7 ist figurativ durch eine plötzliche Helligkeitsänderung gebildet und dargestellt. The camera 3 has a determination module 8 . The determination module 8 determines a potential event 2 on the basis of the detected anomaly 7. The anomaly 7 is figuratively formed and represented by a sudden change in brightness.
Das Ermittlungsmodul 8 ist ausgebildet, basierend auf dem potentiellen Ereignis 2, eine Analyseapplikation 9 zu bestimmen und/oder auszuwählen. Das potentielle Ereignis 2 bildet ein Indiz für eine Analyseapplikation 9. Die vorliegende plötzliche Helligkeitsänderung und die Menschengruppe können auf eine Explosion und/oder einen Brand hinweisen. The determination module 8 is designed to determine and/or select an analysis application 9 based on the potential event 2 . The potential event 2 forms an indication of an analysis application 9. The sudden change in brightness and the group of people can indicate an explosion and/or a fire.
Die Analyseapplikation 9 ist durch ein Applikationsmodul 10 installiert und/oder ausgeführt. Auf Basis der detektierten Anomalie 7 (plötzliche Helligkeitsänderung), ist die vorliegende Analyseapplikation 9 als eine Branderkennungsapplikation gebildet. Die Analyseapplikation 9 ist zur Auswertung des potentiellen Ereignisses 2 ausgebildet. Die Analyseapplikation 9 wertet das potentielle Ereignis 2, die detektierte Anomalie 7 und/oder die zugehörigen Bilddaten 4 aus. Basierend auf der Auswertung der Analyseapplikation 9, ist die Analyseapplikation 9 ausgebildet Analysedaten 11 zu ermitteln. Die Analysedaten 11 sind einem Verifikationsmodul 12 bereitgestellt. Das Verifikationsmodul 12 verifiziert und/oder falsifiziert auf Basis einer Verifikationsinformation 13 das potentielle Ereignis 2 und/oder eine Auswahl der Analyseapplikation 9. Die Verifikationsinformation 13 umfasst die Analysedaten 11. Ein verifiziertes und/oder falsifiziertes Ereignis bildet ein verifiziertes Ereignis 22. The analysis application 9 is installed and/or executed by an application module 10 . Based on the detected anomaly 7 (sudden change in brightness), the present analysis application 9 is formed as a fire detection application. Analysis application 9 is designed to evaluate potential event 2 . The analysis application 9 evaluates the potential event 2, the detected anomaly 7 and/or the associated image data 4. Based on the evaluation of the analysis application 9, the analysis application 9 is designed to determine analysis data 11. The analysis data 11 are made available to a verification module 12 . The verification module 12 verifies and/or falsifies the potential event 2 and/or a selection of the analysis application 9 on the basis of verification information 13. The verification information 13 comprises the analysis data 11. A verified and/or falsified event forms a verified event 22.
Vorliegend ist einem Benutzer 14 auf Basis des Ermittlungsmoduls 8 eine Art des potentiellen Ereignisses 2 und/oder eine Auflistung der potentiellen Ereignisse als ein Ereignishinweis 16 bereitgestellt. Im Speziellen bekommt der Benutzer 14 eine Ansicht des potentiellen Ereignisses 2 bereitgestellt und/oder angezeigt. Insbesondere wird dem Benutzer 14 eine Ansicht der Kamera 3 bereitgestellt, die die Anomalie 7 detektiert und/oder erfasst hat. In the present case, a type of potential event 2 and/or a listing of the potential events is provided to a user 14 as an event notification 16 on the basis of the determination module 8 . In particular, the user 14 is provided with and/or displayed a view of the potential event 2 . In particular, the user 14 is provided with a view of the camera 3 that has detected and/or captured the anomaly 7 .
Der Benutzer 14 verifiziert und/oder falsifiziert den Ereignishinweis 16, wobei die Verifikation und/oder Falsifikation des Ereignishinweises 16 die Verifikationsinformation 13 bildet. Beispielhaft ermittelt das Ermittlungsmodul 8 auf der Grundlage der erfassten plötzlichen Helligkeitsänderung einen Brand und wählt respektive eine Branderkennungsapplikation zur Auswertung des potentiellen Ereignisses 2 aus. Der Benutzer 14 verifiziert, ob sich bei dem Ereignis tatsächlich um einen Brand handelt. Beispielsweise erfolgt die Verifikation und/oder Falsifikation der Aussage über die Wahl des Ereignisses und/oder der Analyseapplikation 9 anhand einer Sichtprobe. The user 14 verifies and/or falsifies the event notification 16 , the verification and/or falsification of the event notification 16 forming the verification information 13 . For example, the determination module 8 determines a fire on the basis of the detected sudden change in brightness and selects a fire detection application for evaluating the potential event 2 . The user 14 verifies that the event is in fact a fire. For example, the statement about the choice of the event and/or the analysis application 9 is verified and/or falsified using a visual test.
Ein Ausführungsbeispiel der Erfindung sieht vor, dass der Benutzer 14 Hilfsregeln 17 definiert. Die Hilfsregeln 17 bilden eine Verknüpfung der Bilddaten 4, der detektierten Anomalie 7, des potenziellen Ereignisses 2 und/oder einer Auswahl der Analyseapplikation 9. Die Hilfsregeln 17 sind dem Detektionsmodul 6 und/oder dem Ermittlungsmodul 8 bereitgestellt. Die Hilfsregeln 17 dienen dem Detektionsmodul 6 und/oder dem Ermittlungsmodul 8 insbesondere zu Trainingszwecken. An exemplary embodiment of the invention provides that the user 14 defines auxiliary rules 17 . The auxiliary rules 17 form a link between the image data 4, the detected anomaly 7, the potential event 2 and/or a selection from the analysis application 9. The auxiliary rules 17 are provided to the detection module 6 and/or the determination module 8. The auxiliary rules 17 are used by the detection module 6 and/or the determination module 8 in particular for training purposes.
Das Detektionsmodul 6 umfasst ein neuronales Netzt 18. Das neuronale Netz 18 ist zur Detektion der Anomalien 7 ausgebildet. Insbesondere ist das Detektionsmodul 6 ausgebildet, das neuronale Netz 18 basierend auf einer Benutzerinterkation und/oder der Verifikationsinformation 13 zu trainieren und/oder zu verbessern. The detection module 6 includes a neural network 18. The neural network 18 is designed to detect the anomalies 7. FIG. In particular, the detection module 6 is designed, the neural network 18 based on a To train user interaction and / or the verification information 13 and / or improve.
Respektive weist das Ermittlungsmodul 8 ein neuronales Netz 18 auf. Das Ermittlungsmodul 8 ist ausgebildet, das neuronale Netz 18 basierend auf der Benutzerinterkation und/oder der Verifikationsinformation 13 zu trainieren und/oder zu verbessern. The determination module 8 has a neural network 18 respectively. The determination module 8 is designed to train and/or improve the neural network 18 based on the user interaction and/or the verification information 13 .
Die Figur 2 zeigt ein vereinfachtes Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Analyse von ermittelten Ereignissen; FIG. 2 shows a simplified flow chart of an exemplary embodiment of a method for analyzing determined events;
Auf Basis der Bilddaten 4 wird durch die Kamera 3 und/oder das Detektionsmodul 6 eine Anomalie 7 detektiert. Wenn die Anomalie 7 von einer ersten Kamera 3 detektiert wird, kann es durchaus sein, dass die Anomalie 7 fehlerhaft erkannt und/oder ausgewertet ist, so dass das potentielle Ereignis 2 und damit verbundener Auswahl der Analyseapplikation 9 ebenfalls fehlerbehaftet ist. Eine automatische Installation der Analyseapplikation 9 auf alle Kameras 3 eines Überwachungssystems könnte eine Leistung des Systems beeinträchtigen. An anomaly 7 is detected by the camera 3 and/or the detection module 6 on the basis of the image data 4 . If the anomaly 7 is detected by a first camera 3, it may well be that the anomaly 7 is incorrectly identified and/or evaluated, so that the potential event 2 and the associated selection of the analysis application 9 are also incorrect. Automatic installation of the analysis application 9 on all cameras 3 of a surveillance system could impair the performance of the system.
In einem Schritt 19 wird eine Reaktion auf die detektierte Anomalie 7 ermittelt und festgelegt. Eine Reaktion kann, wie vorliegend, eine Installation 20 der relevanten Analyseapplikation 9 bilden und/oder umfassen. In a step 19, a reaction to the detected anomaly 7 is determined and specified. As in the present case, a reaction can form and/or include an installation 20 of the relevant analysis application 9 .
Aus dem Grund, dass die detektierte Anomalie 7, das potentielle Ereignis 2 und/oder die Analyseapplikation 9 fehlerhaft ausgewählt und ermittelt sein kann, wird in dem Ausführungsbeispiel nur die erste Kamera 3 mit der Analyseapplikation 9 versehen, insbesondere in einen Ausnahmemodus geschaltet. Sobald die entsprechende Analyseapplikation 9 installiert ist, werden die Analysedaten 11 dieser Analyseapplikation 9 von dem Verifikationsmodul 12 erfasst. Die Analyseapplikation 9 wertet das potentielle Ereignis 2, die detektierte Anomalie 7 und/oder die zugehörigen Bilddaten 4 aus. Die Ergebnisse der Auswertung werden in Form der Analysedaten 11 und/oder Verifikationsinformation 13 dem Verifikationsmodul 12 bereitgestellt. For the reason that the detected anomaly 7, the potential event 2 and/or the analysis application 9 may have been incorrectly selected and determined, in the exemplary embodiment only the first camera 3 is provided with the analysis application 9, in particular switched to an exception mode. As soon as the corresponding analysis application 9 is installed, the analysis data 11 of this analysis application 9 is recorded by the verification module 12 . The analysis application 9 evaluates the potential event 2, the detected anomaly 7 and/or the associated image data 4. The results of the evaluation are made available to the verification module 12 in the form of analysis data 11 and/or verification information 13 .
Ein Feedback 21 über eine Richtigkeit und/oder Falschheit des ermittelten potentiellen Ereignisses 2 und/oder der ausgewählten Analyseapplikation 9 und im Speziellen das verifizierte Ereignis 22 wird an das Detektionsmodul 6 weitergeleitet. Feedback 21 about the correctness and/or incorrectness of the determined potential event 2 and/or the selected analysis application 9 and im In particular, the verified event 22 is forwarded to the detection module 6 .
Wenn das Feedback 21 darauf hindeuten, dass das potentielle Ereignis 2 tatsächlich wahrscheinlich ist, insbesondere weil die ausgewählte Analyseapplikation 9 die erwarteten Ergebnisse ermittelt, werden weitere Kameras 3 und/oder Gruppe von Kameras 3c (siehe Figur 3) mit der Analyseapplikation 9 ausgestattet. Insbesondere nach einer Ermittlung des verifizierten Ereignisses 22, werden weitere Kameras 3 und/oder Gruppe von Kameras 3c mit der Analyseapplikation 9 ausgestattet und/oder in einem bestimmten Modus geschaltet. If the feedback 21 indicates that the potential event 2 is actually probable, in particular because the selected analysis application 9 determines the expected results, additional cameras 3 and/or groups of cameras 3c (see FIG. 3) are equipped with the analysis application 9 . In particular after the verified event 22 has been determined, further cameras 3 and/or groups of cameras 3c are equipped with the analysis application 9 and/or switched to a specific mode.
Eine schematische Ansicht eines weiteren Ausführungsbeispiels der Vorrichtung 1 mit einer gestaffelten Bereitstellungsstrategie der Analyseapplikation 9 ist in der Figur 3 dargestellt. A schematic view of a further exemplary embodiment of the device 1 with a staggered deployment strategy for the analysis application 9 is shown in FIG.
Es ist denkbar, dass mehr als eine Anomalie 7 durch unterschiedliche Kameras 3, 3a, 3b und/oder einer Gruppe von Kameras 3c detektiert und/oder erfasst wird. Beispielsweise kann eine panische Bewegung einer Menschenmenge auf ein terroristisches Ereignis, eine Explosion und/oder ein Amoklauf zurückzuführen. In Falle mehrerer Anomalien 7 und/oder potentieller Ereignisse 2 ist eine Mehrzahl an Analyseapplikationen 9 notwendig, wobei die Analyseapplikationen 9 zur Auswertung verschiedener Ereignisse ausgebildet sind. It is conceivable that more than one anomaly 7 is detected and/or recorded by different cameras 3, 3a, 3b and/or a group of cameras 3c. For example, panicked crowd movement may be due to a terrorist event, an explosion, and/or a killing spree. In the case of a number of anomalies 7 and/or potential events 2, a number of analysis applications 9 are necessary, with the analysis applications 9 being designed to evaluate different events.
Die einzelnen Kameras 3, 3a, 3b und/oder die Gruppe von Kameras 3c sind vorliegend mit einer unterschiedlichen Analyseapplikation 9 ausgestaltet, insbesondere in einem bestimmten Modus geschaltet. Das Detektionsmodul 6 detektiert eine Anomalie 7. Auf dem Applikationsmodul 10 wird eine Analyseapplikation 9 installiert, die auf Basis der detektierten Anomalie 7 und/oder des potentiellen Ereignisses 2 ausgewählt wurde. In the present case, the individual cameras 3, 3a, 3b and/or the group of cameras 3c are configured with a different analysis application 9, in particular switched to a specific mode. The detection module 6 detects an anomaly 7. An analysis application 9, which was selected on the basis of the detected anomaly 7 and/or the potential event 2, is installed on the application module 10.
Auf die erste Kamera 3 ist lokal eine Analyseapplikation 9 für die Erkennung von Schusswaffen installiert. Eine zweite Kamera 3a ist mit einer Analyseapplikation 9 für eine Erkennung von Gebäudeeinstürzen ausgestattet. Auf die dritte Kamera 3b ist eine Analyseapplikation 9 für die Branderkennung lokal installiert. Je nachdem, wie erfolgreich die unterschiedlichen Analyseapplikationen 9 bei der Erkennung der jeweiligen Ereignisse sind, kann eine gesamte Gruppe von Kameras 3c mit einer geeigneten Analyseapplikation 9 ausgestattet und/oder in den richtigen Modus umgeschaltet werden. Auf der Grundlage der Analysedaten 11 jeder Kamera 3, 3a, 3b und/oder derAn analysis application 9 for detecting firearms is installed locally on the first camera 3 . A second camera 3a is equipped with an analysis application 9 for detecting building collapses. An analysis application 9 for fire detection is installed locally on the third camera 3b. Depending on how successful the different analysis applications 9 are in recognizing of the respective events, an entire group of cameras 3c can be equipped with a suitable analysis application 9 and/or switched to the correct mode. On the basis of the analysis data 11 of each camera 3, 3a, 3b and/or the
Gruppe von Kameras 3c kann eine nächste Strategie festgelegt werden. Das Verifikationsmodul 12 verifiziert und/oder falsifiziert das potentielle Ereignis 2 und/oder eine Auswahl der Analyseapplikation 9. Da es sich vorliegend um eine Explosion handelt, wird die Analyseapplikation 9 eingesetzt werden, die zur Auswertung eines Brandes ausgebildet ist. Group of cameras 3c, a next strategy can be defined. The verification module 12 verifies and/or falsifies the potential event 2 and/or a selection of the analysis application 9. Since it is an explosion in the present case, the analysis application 9, which is designed to evaluate a fire, will be used.
Mehrere Analyseapplikationen 9 können gleichzeitig auf einer, auf mehreren und/oder allen Kameras 3, 3a, 3b, 3c installiert werden. Beispielsweise ist eine Analyseapplikation 9 zu Branderkennung und eine Analyseapplikation 9 zur Erkennung von Waffen auf die Gruppe von Kameras 3c übertragen und/oder installiert, da ein potentieller Amoklauf durch das Detektionsmodul 6 detektiert und/oder durch das Ermittlungsmodul 8 (hier nicht gezeigt) ermittelt wurde. Several analysis applications 9 can be installed simultaneously on one, on several and/or on all cameras 3, 3a, 3b, 3c. For example, an analysis application 9 for fire detection and an analysis application 9 for detecting weapons is transferred and/or installed on the group of cameras 3c, since a potential killing spree was detected by the detection module 6 and/or by the determination module 8 (not shown here). .

Claims

Ansprüche Expectations
1. Verfahren zur Analyse von potentiellen Ereignissen (2), wobei eine Kamera (3) Bilddaten (4) aufnimmt, wobei ein Detektionsmodul (6) auf Basis der Bilddaten (4) eine Anomalie (7) detektiert, wobei ein Ermittlungsmodul (8) auf Basis der detektierten Anomalie (7) ein potentielles Ereignis (2) ermittelt und eine Analyseapplikation (9) zur Auswertung des potentiellen Ereignisses (2) auswählt, wobei die Kamera (3) ein Applikationsmodul (10) aufweist, wobei das Applikationsmodul (10) die ausgewählte Analyseapplikation (9) installiert und/oder ausführt, wobei die Analyseapplikation (9) das potentielle Ereignis (2), die detektierte Anomalie (7) und/oder die zugehörigen Bilddaten (4) auswertet und Analysedaten (11) ermittelt. 1. A method for analyzing potential events (2), with a camera (3) recording image data (4), with a detection module (6) detecting an anomaly (7) on the basis of the image data (4), with a determination module (8) determines a potential event (2) on the basis of the detected anomaly (7) and selects an analysis application (9) for evaluating the potential event (2), the camera (3) having an application module (10), the application module (10) installs and/or executes the selected analysis application (9), the analysis application (9) evaluating the potential event (2), the detected anomaly (7) and/or the associated image data (4) and determining analysis data (11).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Verifikationsmodul (12) das potentielle Ereignis (2) und/oder eine Auswahl der Analyseapplikation (9) auf Basis einer Verifikationsinformation (13) verifiziert und/oder falsifiziert. 2. Method according to claim 1, characterized in that a verification module (12) verifies and/or falsifies the potential event (2) and/or a selection of the analysis application (9) on the basis of verification information (13).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Verifikationsinformation (13) eine Benutzereingabe umfasst, wobei einem Benutzer (14) auf Basis des Ermittlungsmoduls (8) eine Art des potentiellen Ereignisses (2) und/oder eine Auflistung der potentiellen Ereignisse als ein Ereignishinweis (16) bereitgestellt wird, wobei der Benutzer (14) den Ereignishinweis (16) verifiziert und/oder falsifiziert, wobei der verifizierte und/oder falsifizierte Ereignishinweis (16) die Verifikationsinformation (13) bildet und/oder umfasst. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass der Benutzer (14) Hilfsregeln (17) definiert, wobei die Hilfsregeln (17) eine Verknüpfung der Bilddaten (4), der detektierten Anomalie (7), des potenziellen Ereignisses (2) und/oder einer Analyseapplikationsauswahl bilden, wobei die Hilfsregeln (17) dem Detektionsmodul (6) und/oder dem Ermittlungsmodul (8) bereitgestellt werden. Verfahren nach Anspruch 2 bis 4, dadurch gekennzeichnet, dass die Verifikationsinformation (13) die Analysedaten (11) umfasst. Verfahren nach Anspruch 2 bis 5, dadurch gekennzeichnet, dass das Ermittlungsmodul (8) und/oder das Detektionsmodul (6) auf Basis der Verifikationsinformation (13) verbessert und/oder trainiert wird. Verfahren nach Anspruch 2 bis 6, dadurch gekennzeichnet, dass das Ermittlungsmodul (8) ein neuronales Netzt (18) zur Ermittlung der Analyseapplikation (9) basierend auf der Verifikationsinformation (13) umfasst, wobei das Ermittlungsmodul (8) ausgebildet ist, das neuronale Netz (18) basierend auf einer Benutzerinterkation und/oder der Verifikationsinformation (13) zu trainieren und/oder zu verbessern. Verfahren nach Anspruch 2 bis 7, dadurch gekennzeichnet, dass das Detektionsmodul (6) ein neuronales Netzt (18) zur Detektion der Anomalien (7) basierend auf der Verifikationsinformation (13) umfasst, wobei das Detektionsmodul (6) ausgebildet ist, das neuronale Netz (18) basierend auf einer Benutzerinteraktion und/oder der Verifikationsinformation (13) zu trainieren und/oder zu verbessern. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren gleichzeitig auf weiteren Kameras (3a, 3b), insbesondere auf einer Gruppe von Kameras (3c) durchgeführt wird. Verfahren nach Anspruch 3 bis 9, dadurch gekennzeichnet, dass nach einer Verifizierung des potentiellen Ereignisses (2) und/oder der Analyseapplikation (9), die Analyseapplikation (9) auf eine weitere Kamera (3a, 3b) und/oder eine Gruppe von Kameras (3c) installiert wird und/oder - 18 - bei einer Falsifizierung des Ereignisses (2) und/oder der Analyseapplikation (9), die Analyseapplikation (9) automatisch und/oder durch den Benutzer (14) gelöscht wird. Verfahren nach Anspruch 9 und 10, dadurch gekennzeichnet, dass der weiteren Kameras (3a, 3b) und/oder der Gruppe von Kameras (3c) eine Prioritätenordnung zugeteilt wird, wobei die Übertragung und/oder die Installation der Analyseapplikation (9) auf die weiteren Kameras (3a, 3b) und/oder der Gruppe von Kameras (3c) gemäß der Prioritätenordnung erfolgt. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei einer detektierten Anomalie (7) unterschiedliche Analyseapplikationen (9) auf individuellen Kameras (3, 3a, 3b) und/oder einer Gruppe von Kameras (3c) verteilt werden. Vorrichtung (1) zur Analyse von ermittelten Ereignissen (2), insbesondere mit dem Verfahren nach Anspruch 1 bis 12, mit mindestens einer Kamera (3), zur Aufnahme von Bilddaten (4), wobei die Kamera (3) ein Detektionsmodul (6) zur Detektion einer Anomalie (7) aufweist, wobei die Kamera (3) ein Applikationsmodul (10) aufweist, mit einem Ermittlungsmodul (8) zur Ermittlung eines potentiellen Ereignisses (2) und/oder zur Auswahl einer Analyseapplikation (9), wobei die Analyseapplikation (9) ausgebildet ist, das potentielle Ereignis (2), die detektierte Anomalie (7) und/oder zugehörigen Bilddaten (4) auszuwerten und Analysedaten (11) zu ermitteln, wobei ein Verifikationsmodul (12) ausgebildet ist, das potentielle Ereignis (2) und/oder eine Auswahl der Analyseapplikation (9) auf Basis einer Verifikationsinformation (13) zu verifizieren und/oder zu falsifizieren. - 19 - Computerprogramm zur Ausführung auf einer Kamera (3) und/oder einem Rechner, umfassend Befehle, die bei der Ausführung des Computerprogramms ausgebildet und/oder eingerichtet sind, jeden Schritt des Verfahrens nach Anspruch 1 bis 12 auszuführen, anzuwenden und/oder zu unterstützen. Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm nach Anspruch 14 gespeichert ist. 3. The method according to claim 1 or 2, characterized in that the verification information (13) comprises a user input, a user (14) based on the determination module (8) a type of potential event (2) and / or a list of potential Events is provided as an event notice (16), wherein the user (14) verifies and/or falsifies the event notice (16), the verified and/or falsified event notice (16) forming and/or comprising the verification information (13). Method according to Claim 2 or 3, characterized in that the user (14) defines auxiliary rules (17), the auxiliary rules (17) linking the image data (4), the detected anomaly (7), the potential event (2) and / or form an analysis application selection, the auxiliary rules (17) being provided to the detection module (6) and/or the determination module (8). Method according to Claims 2 to 4, characterized in that the verification information (13) comprises the analysis data (11). Method according to Claims 2 to 5, characterized in that the determination module (8) and/or the detection module (6) is improved and/or trained on the basis of the verification information (13). Method according to Claim 2 to 6, characterized in that the determination module (8) comprises a neural network (18) for determining the analysis application (9) based on the verification information (13), the determination module (8) being designed as the neural network (18) to train and/or improve based on a user interaction and/or the verification information (13). Method according to Claims 2 to 7, characterized in that the detection module (6) comprises a neural network (18) for detecting the anomalies (7) based on the verification information (13), the detection module (6) being designed as the neural network (18) to train and/or improve based on a user interaction and/or the verification information (13). Method according to one of the preceding claims, characterized in that the method is carried out simultaneously on further cameras (3a, 3b), in particular on a group of cameras (3c). Method according to claim 3 to 9, characterized in that after a verification of the potential event (2) and / or the analysis application (9), the analysis application (9) on a further camera (3a, 3b) and / or a group of cameras (3c) is installed and/or - 18 - if the event (2) and/or the analysis application (9) is falsified, the analysis application (9) is deleted automatically and/or by the user (14). Method according to Claim 9 and 10, characterized in that the further cameras (3a, 3b) and/or the group of cameras (3c) are assigned a priority order, with the transmission and/or the installation of the analysis application (9) being assigned to the further Cameras (3a, 3b) and / or the group of cameras (3c) takes place according to the order of priorities. Method according to one of the preceding claims, characterized in that when an anomaly (7) is detected, different analysis applications (9) are distributed to individual cameras (3, 3a, 3b) and/or a group of cameras (3c). Device (1) for analyzing determined events (2), in particular using the method according to Claims 1 to 12, with at least one camera (3) for recording image data (4), the camera (3) having a detection module (6) for detecting an anomaly (7), the camera (3) having an application module (10), with a determination module (8) for determining a potential event (2) and/or for selecting an analysis application (9), the analysis application (9) is designed to evaluate the potential event (2), the detected anomaly (7) and/or associated image data (4) and to determine analysis data (11), a verification module (12) being designed to evaluate the potential event (2 ) and/or to verify and/or falsify a selection of the analysis application (9) on the basis of verification information (13). - 19 - Computer program for execution on a camera (3) and/or a computer, comprising instructions which are designed and/or set up during execution of the computer program to execute, apply and/or to each step of the method according to claims 1 to 12 support. Machine-readable storage medium, wherein the computer program according to claim 14 is stored on the storage medium.
PCT/EP2022/082688 2021-11-24 2022-11-22 Method for analysing potential events, device for analysing potential events, computer program and storage medium. WO2023094338A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021213211.1A DE102021213211A1 (en) 2021-11-24 2021-11-24 Method for analyzing potential events, device for analyzing potential events, computer program and storage medium
DE102021213211.1 2021-11-24

Publications (1)

Publication Number Publication Date
WO2023094338A1 true WO2023094338A1 (en) 2023-06-01

Family

ID=84421180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/082688 WO2023094338A1 (en) 2021-11-24 2022-11-22 Method for analysing potential events, device for analysing potential events, computer program and storage medium.

Country Status (2)

Country Link
DE (1) DE102021213211A1 (en)
WO (1) WO2023094338A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222133A1 (en) * 2012-02-29 2013-08-29 Verizon Patent And Licensing Inc. Method and system for generating emergency notifications based on aggregate event data
WO2017220364A1 (en) 2016-06-24 2017-12-28 Siemens Schweiz Ag Method and an arrangement for sending a user-triggered danger report to a report control unit
US20180091741A1 (en) * 2015-03-27 2018-03-29 Nec Corporation Video surveillance system and video surveillance method
WO2020088739A1 (en) * 2018-10-29 2020-05-07 Hexagon Technology Center Gmbh Facility surveillance systems and methods

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020272887B2 (en) 2019-04-09 2023-03-02 Motorola Solutions, Inc. Anomaly detection method, system and computer readable medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222133A1 (en) * 2012-02-29 2013-08-29 Verizon Patent And Licensing Inc. Method and system for generating emergency notifications based on aggregate event data
US20180091741A1 (en) * 2015-03-27 2018-03-29 Nec Corporation Video surveillance system and video surveillance method
WO2017220364A1 (en) 2016-06-24 2017-12-28 Siemens Schweiz Ag Method and an arrangement for sending a user-triggered danger report to a report control unit
WO2020088739A1 (en) * 2018-10-29 2020-05-07 Hexagon Technology Center Gmbh Facility surveillance systems and methods

Also Published As

Publication number Publication date
DE102021213211A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US11729347B2 (en) Video surveillance system, video processing apparatus, video processing method, and video processing program
DE102014213553B4 (en) Tracking support device, tracking support system and tracking support method
DE202017102381U1 (en) Device for improving the robustness against "Adversarial Examples"
CN109389794A (en) A kind of Intellectualized Video Monitoring method and system
EP2174260A2 (en) Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program
KR20200052418A (en) Automated Violence Detecting System based on Deep Learning
CN106571040B (en) Suspicious vehicle confirmation method and equipment
WO2020239540A1 (en) Method and apparatus for detecting smoke
WO2023094338A1 (en) Method for analysing potential events, device for analysing potential events, computer program and storage medium.
CN110188617A (en) A kind of machine room intelligent monitoring method and system
CN111652128B (en) High-altitude power operation safety monitoring method, system and storage device
DE102022205005A1 (en) Method for analyzing potential events, monitoring device, computer program and storage medium.
EP3616858A2 (en) Method and device for documenting a status of an autonomous robot
EP3493171A1 (en) Detection of aggressive behaviour in public transportation
DE102014219838A1 (en) Smoke detection apparatus and method for detecting smoke of a fire and computer program
DE202022100981U1 (en) A construction site monitoring system based on the Internet of Things and blockchain
DE102012200504A1 (en) Analysis device for evaluating monitoring scene of e.g. airport for early detection of abnormal events, has output device outputting object list of moving objects, where each object satisfies spatial condition including specification
DE102020200847A1 (en) Method and device for object identification based on sensor data
DE102015209266A1 (en) Evacuation device for planning escape routes in a surveillance area, method and computer program
EP4097695B1 (en) Method and device for identifying acoustic anomalies
EP4163742B1 (en) Method and system for testing an access device using a mobile terminal
DE102021006389B3 (en) Process for the automatic creation of plant-specific measurement profiles for an insulation monitoring system
CN111986373B (en) Security system for training place
DE102009043080A1 (en) Method for detecting smoke and/or flame in aircraft, involves detecting real-time images of measuring chamber in operating mode of optical sensor, and optically presenting real-time images by display device
CN110555059A (en) Coordination system applied to intelligent building

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22818438

Country of ref document: EP

Kind code of ref document: A1