WO2023144180A1 - Method for monitoring by means of at least one monitoring unit, computer program, and monitoring unit - Google Patents

Method for monitoring by means of at least one monitoring unit, computer program, and monitoring unit Download PDF

Info

Publication number
WO2023144180A1
WO2023144180A1 PCT/EP2023/051755 EP2023051755W WO2023144180A1 WO 2023144180 A1 WO2023144180 A1 WO 2023144180A1 EP 2023051755 W EP2023051755 W EP 2023051755W WO 2023144180 A1 WO2023144180 A1 WO 2023144180A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
analysis
module
data
application
Prior art date
Application number
PCT/EP2023/051755
Other languages
German (de)
French (fr)
Inventor
Christoph BURGER-SCHEIDLIN
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023144180A1 publication Critical patent/WO2023144180A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Definitions

  • Monitoring method with at least one monitoring unit, computer program and monitoring unit
  • the invention relates to a method for monitoring, in particular a monitoring area, with at least one monitoring unit.
  • Monitoring data is provided to the monitoring unit and/or the monitoring unit records monitoring data.
  • the monitoring data is further evaluated for monitoring.
  • surveillance areas be it camera-based, acoustic or otherwise sensor-based
  • buildings in particular public buildings and/or security-relevant buildings, are frequently monitored using video technology.
  • cameras are distributed over a large area as surveillance units, which record video data for further evaluation. Based on this data, objects can be detected and/or tracked, for example.
  • evaluation software can be run on the cameras themselves. If different types of monitoring and/or objects are to be monitored, a number of evaluation programs are required. The execution of such programs ties up system resources such as processor power and/or data storage.
  • the invention relates to a monitoring method having the features of claim 1 .
  • the invention also relates to a computer program and a monitoring unit. Preferred and/or advantageous embodiments result from the dependent claims, the description and the attached figures.
  • the invention relates to a method for monitoring, in particular for monitoring a monitored area.
  • the method can be executed in particular in a software-implemented manner, in particular on a computer and/or the monitoring unit.
  • the monitoring is based in particular on at least one monitoring unit.
  • the monitoring unit can include and/or form a camera, a microphone and/or other sensors, for example.
  • the monitoring unit includes system resources, specifically a processor, and/or memory for running applications.
  • the monitoring unit is designed to record monitoring data.
  • monitoring data of the monitoring unit is provided.
  • the monitoring data include and/or form, for example, video data, image data, audio data and/or other sensor data.
  • the monitoring data form a data stream.
  • the monitoring data are recorded by the monitoring unit, in particular for the monitored area.
  • the surveillance data describes and/or shows information, a scene, objects and/or events in the surveillance area.
  • the monitoring unit includes a classification module and an analysis module.
  • the classification module and analysis module are designed as separate processor and/or computer modules.
  • the classification module and analysis module can be designed as software modules and/or modules for running applications and/or software.
  • the monitoring unit includes at least one classification application and at least one analysis application.
  • classification applications and/or analysis applications are stored, in particular stored and/or installable, on the monitoring unit.
  • the classification module and analysis module can be obtained from a third party, such as an app store.
  • the classification module is designed to execute at least one classification application.
  • the classification module is designed to execute at most one classification application per time interval, in other words not to execute any classification applications in parallel.
  • the classification module runs a plurality of classification applications simultaneously, in particular in parallel.
  • the classification applications are preferably designed for different classification purposes.
  • the classification application applies the classification application to the monitoring data.
  • the classification module classifies objects and/or events in the surveillance data, in particular in the surveillance area. For example, based on the monitoring data, object detection is carried out by the classification application, with objects and events being detected in the monitoring area and/or the monitoring data, with the detected objects and/or events being classified by the classification application.
  • the classification of the objects and/or events by the classification application includes and/or describes a classification of the objects into object classes and/or object types, for example people, vehicles or background objects. Fire incidents or interactions between objects, for example, can be detected and classified as events.
  • object classes and/or object types for example people, vehicles or background objects. Fire incidents or interactions between objects, for example, can be detected and classified as events.
  • the classified objects and/or classified events are combined as classification data and/or made available to the analysis module and/or other modules as classification data.
  • the classification data include, for example, the detected and/or classified objects and/or events for the monitoring data and/or the monitoring area.
  • the analysis module is designed to execute at least one analysis application, in particular a plurality of analysis applications.
  • the analysis applications are in particular software applications and/or designed for the use and/or analysis of the monitoring data.
  • the analysis applications analyze and/or evaluate the monitoring data when they are executed by the analysis module.
  • the analysis applications evaluate the monitoring data for object detection, object tracking and/or deeper evaluation.
  • an analysis application is designed to carry out a face analysis and/or identity determination of a detected person and/or classified person.
  • the analysis applications have execution conditions and/or the analysis applications are assigned execution conditions.
  • the execution conditions are, in particular, conditions that must be and/or should be fulfilled in order for the analysis application to be executed, in particular by the analysis module. If the execution conditions are not met, the analysis applications remain unexecuted and/or deactivated by the analysis module.
  • the execution conditions are designed, for example, to cause the execution of the analysis application by the analysis module when they are met, to trigger and/or to activate the analysis module to execute the analysis application.
  • the analysis applications include, characterize and/or describe in particular classifications, required classified objects, required classified events and/or classification data.
  • the execution conditions indicate which classified objects the analysis application requires and/or can be further evaluated and/or analyzed by the analysis application.
  • an analysis application for identity determination and/or face evaluation requires a person as a classified object, so that such an analysis application includes a person as a classified object as an execution condition, for example.
  • the analysis module causes the analysis application to be executed in particular when the execution conditions for the analysis application are met. In particular, the analysis module checks whether the execution conditions for the analysis application have been met.
  • the analysis module checks whether the required classified objects, classified events and/or classification data for the monitoring data have been determined by the classification module, so that the execution of the analysis application should be initiated and/or makes sense. For example, an analysis application for facial analysis can be omitted if no person was identified as a classified object in the monitoring data, since the application of such an application to other objects such as vehicles would not provide any meaningful results and would only tie up system resources, such as processor power . If the execution conditions are met, the analysis module causes the analysis application to be executed, in particular the application of the analysis application to the monitoring data.
  • the invention is based on the consideration that the simultaneous execution of analysis applications on monitoring data ties up large amounts of system resources.
  • the prior classification of objects and/or events in the monitoring data can be used to specifically initiate the execution of specialized analysis applications, in particular only when corresponding classified objects have been detected and/or are present, so that the use of the specialized analysis applications is promising.
  • the analysis applications to further evaluate and/or process the monitoring data and/or the classification data when they are executed.
  • the analysis application is applied to the monitoring data and/or to the classification data.
  • the analysis application can process and/or evaluate the monitoring data, in particular as original data and/or unfiltered data.
  • the analysis application is applied to the classification data, with the Classification data are further evaluated in particular. The latter embodiment is based on the consideration that redundant analyzes and/or processing steps can be avoided in this way, since the analysis application can fall back on steps that have already been taken in the classification applications.
  • the execution conditions include, describe and/or are based on links.
  • the links are in particular logical links, for example Boolean links.
  • the links link classified objects, classified events and/or classification data.
  • the execution conditions describe that two or more classified objects must be present at the same time (boolean and) or that classified objects must not be present at the same time (boolean not).
  • an execution condition can require that both a person and a vehicle must be classified, for example for an analysis application for determining traffic accidents.
  • the analysis application in particular when it is executed and/or applied to the monitoring data and/or the classification data, classifies an object and/or event further, more closely and/or more profoundly.
  • an analysis application can be designed to classify classified objects in the form of people more closely, for example to differentiate and classify them into woman and man or adult and child.
  • the analysis application and/or the analysis module is preferably designed to extend, supplement and/or modify the classification data and/or a classified object and/or classified events based on the detailed classification by the analysis applications.
  • a classified person in the classification data can be expanded to include the classification of gender and/or adult and child.
  • the analysis applications can also simulate, form and/or support classification applications.
  • the classification data, a classified object and/or a classified event form describe and/or include a hierarchical classification.
  • a classified object can be hierarchically classified into person, face and mood of the person.
  • a vehicle as a classified object can, for example, be classified hierarchically as a car, manufacturer, model and/or series. This refinement is based on the consideration that analysis applications with different execution conditions can use the classified objects, classified events and/or classification data, in particular results of the same classification application.
  • the analysis application, the analysis applications and/or the classification application and/or classification applications are provided and/or can be obtained externally, from an app store or from a third party.
  • a user can obtain the analysis application and/or classification application from an app store and store, install and/or run a plurality of the monitoring units on the monitoring unit and/or a monitoring arrangement.
  • the analysis applications and/or the classification applications are normalized and/or standardized to a specific classification, for example the format of the classification data. This is based in particular on the consideration that classification applications are compatible with different analysis applications.
  • the analysis application together with the and/or the required classification applications, in particular for fulfilling the execution condition are included in an application package.
  • the application package can be obtained externally, for example, in particular from the App Store.
  • a user in particular the monitoring unit, receives the desired analysis application and the classification applications required for this, so that the analysis application is only executed if this makes sense and/or is desired based on the execution conditions.
  • the analysis applications, the classification applications and/or the application packages include and/or have metadata.
  • the monitoring unit or the app store for providing the applications and/or application packages include a validation module. Based on the metadata, the validation module is designed to check whether the classified objects, classified events and/or classification data required for the execution conditions can be determined, for example whether the required classification applications and/or monitoring data are available.
  • the validation module can rule out that required classification modules are missing and the classified objects required to fulfill the execution conditions can even be determined.
  • the validation module can rule out the possibility that the required classification application is present but the monitoring unit and/or the monitoring data are not compatible with the classification application.
  • the validation module is designed and/or set up to indicate this to the user when it is determined that a classification application is missing, cannot be executed on the monitoring unit and/or is incompatible with the monitoring data.
  • the validation module is preferably designed to submit troubleshooting suggestions in this case, for example to communicate classification modules to be supplemented, settings to be changed and/or parameters to the monitoring unit.
  • An embodiment of the invention provides that a user can change and/or adjust the execution conditions of analysis applications. For example, in the execution conditions, instead of requiring a first classified object, the user may require a different required object. For example, an execution condition of an analysis application requires that a face is available as a classified object, but the user determines that the analysis application is only used to track a person and im Essentially uninterested in identity, the user can change the execution conditions to require only a person as the classified object.
  • the monitoring unit has a first processor unit and a second processor unit.
  • the processor units are designed in particular as computer units, specifically as independent computer units.
  • each of the two processor units includes system resources, for example processor power, memory and/or main memory.
  • the method provides that the application module is executed on and/or formed by the first processor unit and the analysis module is executed on and/or formed by the second processor unit. This is based on the consideration that by executing the application modules and analysis modules separately on different processor units, changing between the execution of different applications and/or modules can be avoided, so that time is saved.
  • the analysis module and/or the second processor unit is designed and/or set up such that when several analysis applications are executed, the analysis application that has started is completed first before a further and/or new analysis application is executed.
  • the monitoring unit includes a deactivation module.
  • the deactivation module is designed to evaluate the monitoring data and/or additional data and to determine context data.
  • the additional data include, for example, status data of the monitoring unit and/or sensor data for the monitoring unit.
  • the context data describe, for example, recording parameters of the monitoring unit, for example zoom and/or viewing direction.
  • the context data can include information as to whether the surveillance unit is stationary or moving, for example whether images comprised by the surveillance data are blurred.
  • the deactivation module is designed and/or set up to prevent and/or deactivate the execution of the analysis application, the analysis applications and/or certain analysis applications based on the context data. For example, based on the context data, the deactivation module can prevent the execution of an analysis application that cannot evaluate shaky images.
  • the monitoring unit is embodied as a camera, specifically as a surveillance camera.
  • the camera is part of a surveillance arrangement, with the surveillance arrangement in particular comprising a plurality of such cameras, further sensors and/or actuators.
  • the camera is designed in particular to provide and/or record video data and/or image data as monitoring data.
  • the camera includes the analysis module and the classification module.
  • a further subject matter of the invention is a computer program, the computer program having program code means.
  • the computer program is designed to be executed on a computer and/or the monitoring unit. When executed, the computer program executes and/or implements the method as previously described.
  • the monitoring unit is designed as a camera, for example.
  • the monitoring unit includes an analysis module and an application module.
  • the monitoring unit includes at least one analysis application and at least one classification application.
  • analysis applications and/or classification applications can be obtained on the monitoring unit from an app store.
  • the monitoring unit, in particular the analysis module and the classification module are designed to execute, use and/or implement the method according to the invention.
  • FIG. 1 shows a first exemplary embodiment of a monitoring unit
  • FIG. 2 exemplary embodiment of a monitoring unit with the addition of the classification data
  • FIG. 3 exemplary embodiment of a monitoring unit with metadata
  • FIG. 4 example of a monitoring unit with user adaptation
  • FIG. 5 example of a monitoring unit with a deactivation module.
  • FIG. 1 shows an exemplary embodiment of a monitoring unit 1 in the form of a camera.
  • the camera is designed to monitor a surveillance area 2.
  • the surveillance unit 1 records surveillance data for the surveillance region 2, with the surveillance unit 1 recording videos and/or images in particular as surveillance data 3.
  • surveillance data 3 is understood to be a data stream, for example an image stream and/or video stream .
  • the surveillance unit 1, in particular the camera is preferably part of a surveillance arrangement, for example comprising a plurality of surveillance units 1, in particular a plurality of cameras.
  • the monitoring units 1 are connected in terms of data technology, for example for exchanging and/or providing the monitoring data 3, in particular with one another.
  • the monitoring unit 1 comprises a classification module 4 and an analysis module 5.
  • the analysis module 5 and the classification module 4 are designed as separate processor and/or computer modules.
  • the monitoring data 3 are made available to the classification module 4 .
  • the classification module 4 and the analysis module 5 are connected in terms of data technology, with the analysis module 5 being and/or being provided with the results, classifications and/or findings of the classification module 4 , for example.
  • the analysis module 5 is provided with the monitoring data 3, for example passed through the classification module 4.
  • the Analysis module 5 are designed to run applications, in particular applications that can be obtained externally.
  • the classification module 4 is designed to execute, in particular to store, classification applications 6a, b.
  • the classification applications 6a, b are designed to evaluate and analyze the monitoring data 3 when they are executed and/or used.
  • the classification applications 6a, b are designed as software applications. When the classification applications 6a, b are executed and/or they are applied to the monitoring data 3, objects, for example people or physical objects, and/or events, for example accidents, fires or burglaries, are detected and classified.
  • the classification module 4 is designed to determine when using the classification applications 6a, b for the objects and/or events in the monitoring area 2, in particular the monitoring data 3 classifications 7, also called classifications.
  • the classifications 7 describes in particular a class of the classified object and/or classified event in the monitoring area 2 and/or the monitoring data 3.
  • the classification application 6a is designed to detect and classify objects, for example the classification 7a person for people, the classification for vehicles 7b Vehicle and for all other objects the classification 7c "Other".
  • the classification application 6b determines as classifications 7, for example, a car 7d, a motorcycle 7e and a bicycle 7f.
  • the classifications 7 af are to be understood in particular as classified objects and/or classified events.
  • the classified objects and/or classified events, in particular the classifications 7, are used as classification data 8 in further modules, in particular the analysis module
  • the analysis module 5 is designed to run analysis applications 9a, b, c.
  • Analysis applications 9 are designed to be used on classification data 8 and/or on monitoring data 3 .
  • the analysis applications 9 form in particular a deeper evaluation of the monitoring data 3, in particular detailed classification, than the classification applications
  • analysis applications 9 all at the same time are executed, even if specific analysis applications 9 for the monitoring data 3 can not deliver any relevant events, the analysis applications have 9 execution conditions 10.
  • the execution conditions 10 describe which classified objects, classified events and/or classifications 7 must be determined by the classification module 4 in order for the analysis application 9 to be executed and/or used by the analysis module 5 .
  • the analysis application 9a is designed to track a person in the surveillance area 2, so that the execution condition 10a requires a person as a classified object, in particular the classification 7a.
  • the analysis application 9b is also designed, for example, to track the movement of people, with this requiring as execution conditions 10b, c that a person has been classified and/or the classification 7a is present or a bicycle L classification 7e is present.
  • the analysis application 9c includes both the classification 7b and the classification 7d as the execution condition 10d.
  • the analysis module 5 is designed to execute the respective analysis application 9 and apply it to the monitoring data 3 and/or the classification data 8 when the execution condition 10 is met. This allows the analysis module 5 to execute and/or use only those analysis applications 9 whose use can deliver meaningful results for the monitoring data 3 and/or the classified objects.
  • FIG. 2 shows an exemplary embodiment of a monitoring unit 1 which is essentially constructed and/or based on the monitoring unit 1 from FIG.
  • the analysis application 9a classifies an object and/or event more closely when it is executed and/or used. For example, it requires classification 7a as execution condition 10a, where classification 7a stands for a classified person. As a result, the analysis application 9a delivers classified faces.
  • the classified faces from the analysis application 9a themselves form classifications 7, here 7d.
  • the classified faces as classifications 7d are added to the classification data and/or other as classifications Modules, in particular the analysis module 5 and/or further analysis applications 9 of the analysis module 5.
  • the analysis applications 9 themselves can be used for further classification of objects and/or events, in particular for supplementing the classification data.
  • FIG. 3 shows an exemplary embodiment of a monitoring unit 1 which is designed essentially like the exemplary embodiments from FIG. 1 and FIG. 2, with the monitoring unit 1 additionally having a validation module 11 .
  • the validation module 11 is designed to check whether applications, in particular classification applications, analysis applications or application packages, can be executed by the monitoring unit from 1 .
  • Applications 12 have metadata 13 for this.
  • the application 12a is embodied as a classification application 6, which additionally has and/or has been assigned the metadata 13a.
  • the metadata 13 indicate, for example, which system requirements and/or properties the monitoring unit 1 must have, for example which monitoring data 3 and/or recording parameters are required.
  • the validation module 11 issues an error message to the user.
  • the application 12b is, for example, an analysis application 9 and also includes metadata 13b.
  • the metadata 13b indicate, for example, which classification data are required, in particular which classification applications 6 can provide such data. If the validation module 11 determines that the monitoring unit 1 does not have any classification applications 6 which can provide such classifications 6 and/or classification data, an error message is output to the user.
  • the application 12c is designed as an application package and includes an analysis application 9b and a classification application 6b as well as metadata 13c.
  • the metadata 13c are designed so that the validation module 11 can check and/or ensure the executability of the classification application 6b and the analysis application 9b, for example that the classification application 6b can also determine the classifications based on the monitoring data 3, which the analysis application 9b requires.
  • FIG. 4 shows an exemplary embodiment of a monitoring unit 1, designed essentially like the monitoring units of the previous figures.
  • This exemplary embodiment shows that a user 14 can adapt and/or change execution conditions 10 of analysis applications 9 .
  • the analysis application 9 requires a classification 7a as the execution condition 10, the classification 7a describing a recognized face, for example. If the user 14 determines, for example, that persons remain undetected because the faces were only partially classified, the user 14 changes the execution conditions 10, for example in such a way that the execution condition 10 requires classification 7b, with classification 7b for example requiring a detected person and is more general than a classified face. In this way the user 14 can adapt the execution of analysis applications 9 .
  • FIG. 5 shows an embodiment of a monitoring unit 1, essentially designed and / or based on the previous figures.
  • the monitoring unit 1 includes a deactivation module 15.
  • the deactivation module 15 is designed to evaluate the monitoring data 3, for example the video data, and/or to evaluate additional data from the monitoring unit 1.
  • the additional data is, for example, data from an acceleration sensor, which detects, for example, transformations and/or movements of the monitoring unit 1 . If, for example, movements are detected by the deactivation module 15, the deactivation module 15 deactivates the execution of certain analysis modules 9, in particular the module suppresses the analysis applications 9 which cannot be used on blurred images and/or blurred videos. In this way, based on the monitoring data 3 and/or access data of the monitoring unit 1, the execution of the analysis applications 9, in particular also the classification applications, can be managed and/or regulated.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The invention relates to a method for monitoring by means of at least one monitoring unit (1), wherein: the monitoring unit (1) records monitoring data (3) and/or the monitoring data (3) are provided to the monitoring unit (1); the monitoring unit (1) has a classification module (4) and an analysis module (5); the classification module (4) implements at least one classification application (6a, b); the classification application (6a, b), on the basis of an evaluation of the monitoring data (3), classifies objects and/or events and provides same to the analysis module (5) as classification data (8); the analysis module (5) is designed to implement at least one analysis application (9a, b); the analysis application (9a, b) comprises and/or includes implementation conditions (10); the implementation conditions (10) comprise and/or describe required classified objects, classified events and/or classification data (8); the analysis module (5) checks for the analysis application (9), on the basis of the classification data (8), whether the implementation conditions (10) have been met; and the analysis module (5) implements the analysis application (9) if the implementation conditions (10) have been met.

Description

Beschreibung Description
Titel title
Verfahren zur Überwachung mit mindestens einer Überwachungseinheit, Computerprogramm und Überwachungseinheit Monitoring method with at least one monitoring unit, computer program and monitoring unit
Stand der Technik State of the art
Die Erfindung betrifft ein Verfahren zur Überwachung, insbesondere eines Überwachungsbereiches, mit mindestens einer Überwachungseinheit. Der Überwachungseinheit sind Überwachungsdaten bereitgestellt und/oder die Überwachungseinheit nimmt Überwachungsdaten auf. Zur Überwachung werden die Überwachungsdaten weiter ausgewertet. The invention relates to a method for monitoring, in particular a monitoring area, with at least one monitoring unit. Monitoring data is provided to the monitoring unit and/or the monitoring unit records monitoring data. The monitoring data is further evaluated for monitoring.
Die Überwachung von Überwachungsbereichen, sei es kamerabasiert, akustisch oder anderweitig sensorpassiert, ist in vielen Bereichen verbreitet. Beispielsweise werden Gebäude, insbesondere öffentliche Gebäude und/oder sicherheitsrelevante Gebäude, häufig videotechnisch überwacht. Hierzu sind über einen großen Bereich Kameras als Überwachungseinheiten verteilt, die Videodaten zur weiteren Auswertung aufnehmen. Basierend auf diesen Daten können beispielsweise Objekte detektiert und/oder verfolgt werden. The monitoring of surveillance areas, be it camera-based, acoustic or otherwise sensor-based, is widespread in many areas. For example, buildings, in particular public buildings and/or security-relevant buildings, are frequently monitored using video technology. For this purpose, cameras are distributed over a large area as surveillance units, which record video data for further evaluation. Based on this data, objects can be detected and/or tracked, for example.
Insbesondere ist die Ausführung von Auswertesoftware auf den Kameras selbst möglich. Sollen unterschiedliche Überwachungsarten und/oder Objekte überwacht werden, sind eine Mehrzahl an Auswerteprogrammen nötig. Die Ausführung solcher Programme bindet Systemressourcen wie Prozessorleistung und/oder Datenspeicher. In particular, evaluation software can be run on the cameras themselves. If different types of monitoring and/or objects are to be monitored, a number of evaluation programs are required. The execution of such programs ties up system resources such as processor power and/or data storage.
Offenbarung der Erfindung Die Erfindung betrifft ein Verfahren zur Überwachung mit den Merkmalen des Anspruchs 1 . Ferner betrifft die Erfindung ein Computerprogramm und eine Überwachungseinheit Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren. Disclosure of Invention The invention relates to a monitoring method having the features of claim 1 . The invention also relates to a computer program and a monitoring unit. Preferred and/or advantageous embodiments result from the dependent claims, the description and the attached figures.
Die Erfindung betrifft ein Verfahren zur Überwachung, insbesondere zur Überwachung eines Überwachungsbereichs. Das Verfahren ist insbesondere softwareimplementiert ausführbar, insbesondere auf einem Computer und/oder der Überwachungseinheit. Die Überwachung basiert insbesondere auf mindestens einer Überwachungseinheit. Die Überwachungseinheit kann beispielsweise eine Kamera, ein Mikrofon und/oder anderweitige Sensoren umfassen und/oder bilden. Insbesondere umfasst die Überwachungseinheit Systemressourcen, im Speziellen einen Prozessor, und/oder Speicher, zur Ausführung von Applikationen. The invention relates to a method for monitoring, in particular for monitoring a monitored area. The method can be executed in particular in a software-implemented manner, in particular on a computer and/or the monitoring unit. The monitoring is based in particular on at least one monitoring unit. The monitoring unit can include and/or form a camera, a microphone and/or other sensors, for example. In particular, the monitoring unit includes system resources, specifically a processor, and/or memory for running applications.
Die Überwachungseinheit ist ausgebildet Überwachungsdaten aufzunehmen. Alternativ und/oder ergänzend sind Überwachungsdaten der Überwachungseinheit bereitgestellt. Die Überwachungsdaten umfassen und/oder bilden beispielsweise Videodaten, Bilddaten, Audiodaten und/oder weitere Sensordaten. Insbesondere bilden die Überwachungsdaten einen Datenstrom. Die Überwachungsdaten sind von der Überwachungseinheit insbesondere für den Überwachungsbereich aufgenommen. Beispielsweise beschreiben und/oder zeigen die Überwachungsdaten Informationen, eine Szene, Objekte und/oder Ereignisse in dem Überwachungsbereich. The monitoring unit is designed to record monitoring data. Alternatively and/or additionally, monitoring data of the monitoring unit is provided. The monitoring data include and/or form, for example, video data, image data, audio data and/or other sensor data. In particular, the monitoring data form a data stream. The monitoring data are recorded by the monitoring unit, in particular for the monitored area. For example, the surveillance data describes and/or shows information, a scene, objects and/or events in the surveillance area.
Die Überwachungseinheit umfasst ein Klassifikationsmodul und ein Analysemodul. Insbesondere sind Klassifikationsmodul und Analysemodul als separate Prozessor- und/oder Rechnermodule ausgebildet. Insbesondere können Klassifikationsmodul und Analysemodul als Softwaremodule und/oder Module zur Ausführung von Applikationen und/oder Software ausgebildet sein. Insbesondere umfasst die Überwachungseinheit mindestens eine Klassifikationsapplikation und mindestens eine Analyseapplikation. Insbesondere sind Klassifikationsapplikationen und/oder Analyseapplikationen auf der Überwachungseinheit hinterlegt, insbesondere gespeichert und/oder installierbar. Beispielsweise können Klassifikationsmodul und Analysemodul von einem Dritten, beispielsweise einem App Store bezogen werden. The monitoring unit includes a classification module and an analysis module. In particular, the classification module and analysis module are designed as separate processor and/or computer modules. In particular, the classification module and analysis module can be designed as software modules and/or modules for running applications and/or software. In particular, the monitoring unit includes at least one classification application and at least one analysis application. In particular, classification applications and/or analysis applications are stored, in particular stored and/or installable, on the monitoring unit. For example, the classification module and analysis module can be obtained from a third party, such as an app store.
Das Klassifikationsmodul ist ausgebildet mindestens eine Klassifikationsapplikation auszuführen. Insbesondere ist das Klassifikationsmodul ausgebildet pro Zeitintervall höchstens eine Klassifikationsapplikation auszuführen, mit anderen Worten keine Klassifikationsapplikationen parallel ausführen. Alternativ und bevorzugt werden von dem Klassifikationsmodul mehrere Klassifikationsapplikationen gleichzeitig ausgeführt, insbesondere parallel. Die Klassifikationsapplikationen sind vorzugsweise für unterschiedliche Klassifikationszwecke ausgebildet. Die Klassifikationsapplikation wendet die Klassifikationsapplikation auf die Überwachungsdaten an. Das Klassifikationsmodul klassifiziert in den Überwachungsdaten, insbesondere im Überwachungsbereich, Objekte und/oder Ereignisse. Beispielsweise wird basierend auf den Überwachungsdaten von der Klassifikationapplikation eine Objektdetektion durchgeführt, wobei Objekte und Ereignisse im Überwachungsbereich und/oder den Überwachungsdaten detektiert werden, wobei die der detektierten Objekte und/oder Ereignisse durch die Klassifikationsapplikation klassifiziert werden. Beispielsweise umfasst und/oder beschreibt die Klassifizierung der Objekte und/oder Ereignisse durch die Klassifikationsapplikation eine Klassifizierung der Objekte in Objektklassen und/oder Objektarten, beispielsweise Personen, Fahrzeuge oder Hintergrundobjekte. Als Ereignisse können beispielsweise Brandereignisse oder Interaktion zwischen Objekten detektiert und klassifiziert werden. Für Überwachungsdaten in Form einer Videoaufnahme eines Überwachungsbereiches einer öffentlichen Straße, werden vom Klassifikationsmodul bzw. der Klassifikationsapplikation beispielsweise Personen, bewegende Fahrzeuge, und/oder Verkehrsunfälle detektiert und klassifiziert werden. Die klassifizierten Objekte und/oder klassifizierten Ereignisse werden als Klassifikationsdaten zusammengefasst und/oder als Klassifikationsdaten dem Analysemodul und/oder weiteren Modulen bereitgestellt. Die Klassifikationsdaten umfassen beispielsweise die detektierten und/oder klassifizierten Objekte und/oder Ereignisse für die Überwachungsdaten und/oder den Überwachungsbereich. Das Analysemodul ist ausgebildet mindestens eine Analyseapplikation, im Speziellen eine Mehrzahl an Analyseapplikationen, auszuführen. Die Analyseapplikationen sind insbesondere Softwareapplikationen und/oder zur Anwendung und/oder Analyse der Überwachungsdaten ausgebildet. Die Analyseapplikationen analysieren und/oder werten aus bei ihrer Ausführung durch das Analysemodul die Überwachungsdaten. Insbesondere werden durch die Analyseapplikationen die Überwachungsdaten zu Objektdetektion, Objektverfolgung und/oder tieferen Auswertung ausgewertet. Beispielsweise ist eine Analyseapplikation ausgebildet für eine detektierte Person und/oder klassifizierte Person eine Gesichtsanalyse und/oder Identitätsbestimmung der Person durchzuführen. The classification module is designed to execute at least one classification application. In particular, the classification module is designed to execute at most one classification application per time interval, in other words not to execute any classification applications in parallel. Alternatively and preferably, the classification module runs a plurality of classification applications simultaneously, in particular in parallel. The classification applications are preferably designed for different classification purposes. The classification application applies the classification application to the monitoring data. The classification module classifies objects and/or events in the surveillance data, in particular in the surveillance area. For example, based on the monitoring data, object detection is carried out by the classification application, with objects and events being detected in the monitoring area and/or the monitoring data, with the detected objects and/or events being classified by the classification application. For example, the classification of the objects and/or events by the classification application includes and/or describes a classification of the objects into object classes and/or object types, for example people, vehicles or background objects. Fire incidents or interactions between objects, for example, can be detected and classified as events. For monitoring data in the form of a video recording of a monitoring area of a public road, people, moving vehicles and/or traffic accidents, for example, are detected and classified by the classification module or the classification application. The classified objects and/or classified events are combined as classification data and/or made available to the analysis module and/or other modules as classification data. The classification data include, for example, the detected and/or classified objects and/or events for the monitoring data and/or the monitoring area. The analysis module is designed to execute at least one analysis application, in particular a plurality of analysis applications. The analysis applications are in particular software applications and/or designed for the use and/or analysis of the monitoring data. The analysis applications analyze and/or evaluate the monitoring data when they are executed by the analysis module. In particular, the analysis applications evaluate the monitoring data for object detection, object tracking and/or deeper evaluation. For example, an analysis application is designed to carry out a face analysis and/or identity determination of a detected person and/or classified person.
Die Analyseapplikationen weisen Ausführungsbedingungen auf und/oder den Analyseapplikationen sind Ausführungsbedingungen zugewiesen. Die Ausführungsbedingungen sind insbesondere Bedingungen, die erfüllt sein müssen und/oder erfüllt sein sollen, damit die Analyseapplikation ausgeführt wird, insbesondere vom Analysemodul ausgeführt wird. Bei Nichterfüllung der Ausführungsbedingungen bleiben die Analyseapplikationen vom Analysemodul insbesondere unausgeführt und/oder deaktiviert. Mit anderen Worten sind die Ausführungsbedingungen beispielsweise ausgebildet, bei deren Erfüllen das Ausführen der Analyseapplikationen durch das Analysemodul zu veranlassen, zu triggern und/oder das Analysemodul zur Ausführung der Analyseapplikation zu aktivieren. The analysis applications have execution conditions and/or the analysis applications are assigned execution conditions. The execution conditions are, in particular, conditions that must be and/or should be fulfilled in order for the analysis application to be executed, in particular by the analysis module. If the execution conditions are not met, the analysis applications remain unexecuted and/or deactivated by the analysis module. In other words, the execution conditions are designed, for example, to cause the execution of the analysis application by the analysis module when they are met, to trigger and/or to activate the analysis module to execute the analysis application.
Die Analyseapplikationen umfassen, charakterisieren und/oder beschreiben insbesondere Klassifizierungen, benötigte klassifizierte Objekte, benötigte klassifizierte Ereignisse und/oder Klassifikationsdaten. Beispielsweise geben die Ausführungsbedingungen an, welche klassifizierten Objekte die Analyseapplikation benötigt und/oder von der Analyseapplikation weiter ausgewertet und/oder analysiert werden können. Beispielsweise benötigt eine Analyseapplikation zur Identitätsbestimmung und/oder Gesichtsauswertung eine Person als klassifiziertes Objekt, sodass eine solche Analyseapplikation als Ausführungsbedingung beispielsweise eine Person als klassifiziertes Objekt umfasst. Das Analysemodul veranlasst die Ausführung der Analyseapplikation insbesondere dann, wenn die Ausführungsbedingungen für die Analyseapplikation erfüllt ist. Insbesondere prüft das Analysemodul, ob die Ausführungsbedingungen für die Analyseapplikation erfüllt ist. Beispielsweise wird hierzu vom Analysemodul überprüft, ob die benötigten klassifizierten Objekte, klassifizierten Ereignisse und/oder Klassifikationsdaten für die Überwachungsdaten vom Klassifikationsmodul ermittelt wurden, sodass die Ausführung der Analyseapplikation veranlasst werden soll und/oder sinnvoll ist. Beispielsweise kann die Ausführung einer Analyseapplikation zur Gesichtsanalyse unterbleiben, wenn als klassifizierte Objekte in den Überwachungsdaten keine Person ermittelt wurde, da die Anwendung einer solchen Applikation auf anderweitige Objekte wie Fahrzeuge keine sinnvollen Ergebnisse liefern würde und nur zur Bindung von Systemressourcen, beispielsweise Prozessorleistung, führen würde. Bei Erfüllen der Ausführungsbedingungen veranlasst das Analysemodul die Ausführung der Analyseapplikation, insbesondere die Anwendung der Analyseapplikation auf die Überwachungsdaten. The analysis applications include, characterize and/or describe in particular classifications, required classified objects, required classified events and/or classification data. For example, the execution conditions indicate which classified objects the analysis application requires and/or can be further evaluated and/or analyzed by the analysis application. For example, an analysis application for identity determination and/or face evaluation requires a person as a classified object, so that such an analysis application includes a person as a classified object as an execution condition, for example. The analysis module causes the analysis application to be executed in particular when the execution conditions for the analysis application are met. In particular, the analysis module checks whether the execution conditions for the analysis application have been met. For example, the analysis module checks whether the required classified objects, classified events and/or classification data for the monitoring data have been determined by the classification module, so that the execution of the analysis application should be initiated and/or makes sense. For example, an analysis application for facial analysis can be omitted if no person was identified as a classified object in the monitoring data, since the application of such an application to other objects such as vehicles would not provide any meaningful results and would only tie up system resources, such as processor power . If the execution conditions are met, the analysis module causes the analysis application to be executed, in particular the application of the analysis application to the monitoring data.
Der Erfindung liegt die Überlegung zugrunde, dass das gleichzeitige Ausführen von Analyseapplikationen auf Überwachungsdaten große Mengen an Systemressourcen bindet. Durch das vorherige Klassifizieren von Objekten und/oder Ereignissen in den Überwachungsdaten, kann gezielt das Ausführen von spezialisierten Analyseapplikationen veranlasst werden, insbesondere nur dann, wenn entsprechende klassifizierte Objekte detektiert wurden und/oder vorliegen, sodass die Anwendung der spezialisierten Analyseapplikationen erfolgsversprechend ist. The invention is based on the consideration that the simultaneous execution of analysis applications on monitoring data ties up large amounts of system resources. The prior classification of objects and/or events in the monitoring data can be used to specifically initiate the execution of specialized analysis applications, in particular only when corresponding classified objects have been detected and/or are present, so that the use of the specialized analysis applications is promising.
Insbesondere ist es vorgesehen, dass die Analyseapplikationen bei ihrer Ausführung die Überwachungsdaten und/oder die Klassifikationsdaten weiter auswerten und/oder verarbeiten. Insbesondere wird die Analyseapplikation auf die Überwachungsdaten und/oder auf die Klassifikationsdaten angewendet. Beispielsweise kann die Analyseapplikation die Überwachungsdaten, insbesondere als Ursprungsdaten und/oder ungefilterte Daten, verarbeiten und/oder auswerten. Alternativ und/oder ergänzend werden die Analyseapplikation auf die Klassifikationsdaten angewendet, wobei die Klassifikationsdaten insbesondere weiter ausgewertet werden. Letztere Ausgestaltung basiert auf der Überlegung, dass so redundante Analysen und/oder Verarbeitungsschritte vermieden werden können, da die Analysenapplikation auf bereits getätigte Schritte der Klassifikationsapplikationen zurückgreifen kann. In particular, provision is made for the analysis applications to further evaluate and/or process the monitoring data and/or the classification data when they are executed. In particular, the analysis application is applied to the monitoring data and/or to the classification data. For example, the analysis application can process and/or evaluate the monitoring data, in particular as original data and/or unfiltered data. Alternatively and/or additionally, the analysis application is applied to the classification data, with the Classification data are further evaluated in particular. The latter embodiment is based on the consideration that redundant analyzes and/or processing steps can be avoided in this way, since the analysis application can fall back on steps that have already been taken in the classification applications.
Eine Ausgestaltung der Erfindung sieht vor, dass die Ausführungsbedingungen Verknüpfungen umfassen, beschreiben und/oder darauf basieren. Die Verknüpfungen sind insbesondere logische Verknüpfungen, beispielsweise boolesche Verknüpfungen. Die Verknüpfungen verknüpfen insbesondere klassifizierte Objekte, klassifizierte Ereignisse und/oder Klassifikationsdaten. Beispielsweise beschreiben die Ausführungsbedingungen, dass gleichzeitig (boolesches und) zwei oder mehrere klassifizierte Objekte vorliegen müssen, oder dass klassifizierte Objekte nicht gleichzeitig vorliegen dürfen (boolesches not). Beispielsweise kann eine Ausführungsbedingung verlangen, dass sowohl eine Person als auch ein Fahrzeug klassifiziert sein muss, beispielsweise für eine Analyseapplikation zur Bestimmung von Verkehrsunfällen. One embodiment of the invention provides that the execution conditions include, describe and/or are based on links. The links are in particular logical links, for example Boolean links. In particular, the links link classified objects, classified events and/or classification data. For example, the execution conditions describe that two or more classified objects must be present at the same time (boolean and) or that classified objects must not be present at the same time (boolean not). For example, an execution condition can require that both a person and a vehicle must be classified, for example for an analysis application for determining traffic accidents.
Optional ist es vorgesehen, dass die Analyseapplikation, insbesondere bei ihrer Ausführung und/oder Anwendung auf die Überwachungsdaten, und/oder die Klassifikationsdaten ein Objekt und/oder Ereignis weiter, näher und/oder tiefgründiger klassifizieren. Beispielsweise kann eine Analyseapplikation ausgebildet sein, klassifizierte Objekte in Form von Personen näher zu klassifizieren, beispielsweise in Frau und Mann oder Erwachsen und Kind zu unterscheiden und zu klassifizieren. Die Analyseapplikation und/oder das Analysemodul ist dabei vorzugsweise ausgebildet, die Klassifikationsdaten und/oder ein klassifiziertes Objekt und/oder klassifizierte Ereignisse basierend auf der näheren Klassifikation durch die Analyseapplikationen zu erweitern, zu ergänzen und/oder zu modifizieren. Beispielsweise kann so eine klassifizierte Person in den Klassifikationsdaten erweitert werden um die Klassifikation des Geschlechtes und/oder Erwachsen und Kind. Mit anderen Worten können die Analyseapplikationen auch Klassifikationsapplikationen simulieren, bilden und/oder unterstützen. Besonders bevorzugt ist es, dass die Klassifikationsdaten, ein klassifiziertes Objekt und/oder ein klassifiziertes Ereignis eine hierarchische Klassifikation bilden, beschreiben und/oder umfassen. Beispielsweise kann ein klassifiziertes Objekt hierarchisch klassifiziert sein in Person, Gesicht- und Stimmungslage der Personen. Ein Fahrzeug als klassifiziertes Objekt kann beispielsweise hierarchisch klassifiziert sein als PKW, Hersteller, Modell und/oder Serie. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass so Analyseapplikationen mit unterschiedlichen Ausführungsbedingungen die klassifizierten Objekte, klassifizierten Ereignisse und/oder Klassifikationsdaten, insbesondere, Ergebnisse der gleichen Klassifikationsapplikation, nutzen können. It is optionally provided that the analysis application, in particular when it is executed and/or applied to the monitoring data and/or the classification data, classifies an object and/or event further, more closely and/or more profoundly. For example, an analysis application can be designed to classify classified objects in the form of people more closely, for example to differentiate and classify them into woman and man or adult and child. The analysis application and/or the analysis module is preferably designed to extend, supplement and/or modify the classification data and/or a classified object and/or classified events based on the detailed classification by the analysis applications. For example, a classified person in the classification data can be expanded to include the classification of gender and/or adult and child. In other words, the analysis applications can also simulate, form and/or support classification applications. It is particularly preferred that the classification data, a classified object and/or a classified event form, describe and/or include a hierarchical classification. For example, a classified object can be hierarchically classified into person, face and mood of the person. A vehicle as a classified object can, for example, be classified hierarchically as a car, manufacturer, model and/or series. This refinement is based on the consideration that analysis applications with different execution conditions can use the classified objects, classified events and/or classification data, in particular results of the same classification application.
Insbesondere ist es vorgesehen, dass die Analyseapplikation, die Analyseapplikationen und/oder die Klassifikationsapplikation und/oder Klassifikationsapplikationen von extern, einem App Store oder einem Dritten bereitgestellt sind und/oder beziehbar sind. Beispielsweise kann ein Benutzer die Analyseapplikation und/oder Klassifikationsapplikation von einem App Store beziehen und auf der Überwachungseinheit und/oder einer Überwachungsanordnung umfassen eine Mehrzahl der Überwachungseinheiten hinterlegen, installieren und/oder ausführen. Insbesondere sind die Analyseapplikationen und/oder die Klassifikationsapplikationen auf ein auf eine bestimmte Klassifikation, beispielsweise Format der Klassifikationsdaten normiert und/oder standardisiert. Dies basiert insbesondere auf der Überlegung, dass so Klassifikationsapplikation mit unterschiedlichen Analyseapplikationen kompatibel sind. In particular, it is provided that the analysis application, the analysis applications and/or the classification application and/or classification applications are provided and/or can be obtained externally, from an app store or from a third party. For example, a user can obtain the analysis application and/or classification application from an app store and store, install and/or run a plurality of the monitoring units on the monitoring unit and/or a monitoring arrangement. In particular, the analysis applications and/or the classification applications are normalized and/or standardized to a specific classification, for example the format of the classification data. This is based in particular on the consideration that classification applications are compatible with different analysis applications.
Besonders bevorzugt ist es, dass die Analyseapplikation zusammen mit dem und/oder den benötigten Klassifikationsapplikationen, insbesondere zur Erfüllung der Ausführungsbedingung, von einem Applikationspaket umfasst sind. Das Applikationspaket ist beispielsweise von extern beziehbar, insbesondere von dem App Store. Durch das Beziehen und/oder bereitstellen des Applikationspaketes erhält ein Benutzer, insbesondere die Überwachungseinheit, die gewünschte Analyseapplikation sowie die dazu benötigten Klassifikationsapplikationen, sodass die Analyseapplikation nur dann ausgeführt wird, wenn dies basierend auf den Ausführungsbedingungen sinnvoll und/oder gewünscht ist. Besonders bevorzugt ist es, dass die Analyseapplikationen, die Klassifikationsapplikationen und/oder die Applikationspakete Metadaten umfassen und/oder aufweisen. Die Überwachungseinheit oder der App Store zur Bereitstellung der Applikationen und/oder Applikationspakete umfassen ein Validierungsmodul. Das Validierungsmodul ist ausgebildet basierend auf den Metadaten zu prüfen, ob die für die Ausführungsbedingungen benötigten klassifizierten Objekte, klassifizierten Ereignisse und/oder Klassifikationsdaten bestimmt werden können, beispielsweise ob die benötigten Klassifikationsapplikationen und/oder Überwachungsdaten vorliegen. It is particularly preferred that the analysis application together with the and/or the required classification applications, in particular for fulfilling the execution condition, are included in an application package. The application package can be obtained externally, for example, in particular from the App Store. By obtaining and/or providing the application package, a user, in particular the monitoring unit, receives the desired analysis application and the classification applications required for this, so that the analysis application is only executed if this makes sense and/or is desired based on the execution conditions. It is particularly preferred that the analysis applications, the classification applications and/or the application packages include and/or have metadata. The monitoring unit or the app store for providing the applications and/or application packages include a validation module. Based on the metadata, the validation module is designed to check whether the classified objects, classified events and/or classification data required for the execution conditions can be determined, for example whether the required classification applications and/or monitoring data are available.
Beispielsweise kann das Validierungsmodul so ausschließen, dass benötigte Klassifikationsmodule fehlen und so die zur Erfüllung der Ausführungsbedingungen benötigten klassifizierten Objekte gar bestimmbar sind. Im Speziellen kann das Validierungsmodul ausschließen, dass zwar die benötigte Klassifikationsapplikation vorhanden ist, jedoch die Überwachungseinheit und/oder die Überwachungsdaten nicht kompatibel mit der Klassifikationsapplikation sind. For example, the validation module can rule out that required classification modules are missing and the classified objects required to fulfill the execution conditions can even be determined. In particular, the validation module can rule out the possibility that the required classification application is present but the monitoring unit and/or the monitoring data are not compatible with the classification application.
Besonders bevorzugt ist es, dass das Validierungsmodul ausgebildet und/oder eingerichtet ist, bei einem Feststellen, dass eine Klassifikationsapplikation fehlt, unausführbar auf der Überwachungseinheit ist und/oder inkompatibel mit den Überwachungsdaten ist, dies dem Benutzer anzuzeigen. Vorzugsweise ist das Validierungsmodul ausgebildet, in diesem Fall Fehlerbehebungsvorschläge zu unterbreiten, beispielsweise zu ergänzende Klassifikationsmodule, zu verändernde Einstellungen und/oder Parameter der Überwachungseinheit mitzuteilen. It is particularly preferred that the validation module is designed and/or set up to indicate this to the user when it is determined that a classification application is missing, cannot be executed on the monitoring unit and/or is incompatible with the monitoring data. The validation module is preferably designed to submit troubleshooting suggestions in this case, for example to communicate classification modules to be supplemented, settings to be changed and/or parameters to the monitoring unit.
Eine Ausgestaltung der Erfindung sieht vor, dass ein Benutzer die Ausführungsbedingungen von Analyseapplikationen verändern und/oder anpassen kann. Beispielsweise kann der Benutzer in den Ausführungsbedingungen statt dem Benötigen eines ersten klassifizierten Objektes das Benötigen eines anderen benötigten Objektes fordern. Beispielsweise verlangt eine Ausführungsbedingung einer Analyseapplikation, das als klassifiziertes Objekt ein Gesicht vorliegt, der Benutzer jedoch feststellt, dass die Analyseapplikation lediglich dem Verfolgen einer Person dient und im Wesentlichen uninteressiert an der Identität ist, sodass der Benutzer die Ausführungsbedingungen so abändern kann, das als klassifiziertes Objekt lediglich eine Person verlangt wird. An embodiment of the invention provides that a user can change and/or adjust the execution conditions of analysis applications. For example, in the execution conditions, instead of requiring a first classified object, the user may require a different required object. For example, an execution condition of an analysis application requires that a face is available as a classified object, but the user determines that the analysis application is only used to track a person and im Essentially uninterested in identity, the user can change the execution conditions to require only a person as the classified object.
Besonders bevorzugt ist es, dass die Überwachungseinheit eine erste Prozessoreinheit und eine zweite Prozessoreinheit aufweist. Die Prozessoreinheiten sind insbesondere als Rechnereinheiten, im Speziellen als unabhängige Rechnereinheiten ausgebildet. Insbesondere umfasst jede der zwei Prozessoreinheiten Systemressourcen, beispielsweise Prozessorleistung, Speicher und/oder Arbeitsspeicher. Das Verfahren sieht in dieser Ausgestaltung vor, dass das Applikationsmodul auf der ersten Prozessoreinheit ausgeführt und/oder von ihr gebildet wird und das Analysemodul auf der zweiten Prozessoreinheit ausgeführt und/oder von ihr gebildet wird. Dies basiert auf der Überlegung, dass durch das separate Ausführen der Applikationsmodule und Analysemodule auf unterschiedlichen Prozessoreinheiten das Wechseln zwischen der Ausführung unterschiedlicher Applikationen und/oder Module vermieden werden kann, sodass eine Zeiteinsparung erreicht wird. Besonders bevorzugt ist es, dass das Analysemodul und/oder die zweite Prozessoreinheit so ausgebildet und/oder eingerichtet ist, dass bei der Ausführung mehrerer Analyseapplikationen zuerst die begonnene Analyseapplikation abgeschlossen wird bevor eine weitere und/oder neue Analyseapplikation ausgeführt wird. It is particularly preferred that the monitoring unit has a first processor unit and a second processor unit. The processor units are designed in particular as computer units, specifically as independent computer units. In particular, each of the two processor units includes system resources, for example processor power, memory and/or main memory. In this embodiment, the method provides that the application module is executed on and/or formed by the first processor unit and the analysis module is executed on and/or formed by the second processor unit. This is based on the consideration that by executing the application modules and analysis modules separately on different processor units, changing between the execution of different applications and/or modules can be avoided, so that time is saved. It is particularly preferred that the analysis module and/or the second processor unit is designed and/or set up such that when several analysis applications are executed, the analysis application that has started is completed first before a further and/or new analysis application is executed.
Eine Ausgestaltung der Erfindung sieht vor, dass die Überwachungseinheit ein Deaktivierungsmodul umfasst. Das Deaktivierungsmodul ist insbesondere ausgebildet die Überwachungsdaten und/oder Zusatzdaten auszuwerten und Kontextdaten zu bestimmen. Die Zusatzdaten umfassen beispielsweise Zustandsdaten der Überwachungseinheit und/oder Sensordaten für die Überwachungseinheit. Die Kontextdaten beschreiben beispielsweise Aufnahmeparameter der Überwachungseinheit, beispielsweise Zoom und/oder Blickrichtung. Ferner können die Kontextdaten eine Information umfassen, ob die Überwachungseinheit stationär oder bewegt ist, beispielsweise ob von den Überwachungsdaten umfasste Bilder verwackelt sind. Das Deaktivierungsmodul ist ausgebildet und/oder eingerichtet, basierend auf den Kontextdaten die Ausführung der Analyseapplikation, der Analyseapplikationen und/oder bestimmter Analyseapplikationen zu verhindern und/oder zu deaktivieren. Beispielsweise kann das Deaktivierungsmodul basierend auf den Kontextdaten die Ausführung einer Analyseapplikation verhindern, die verwackelte Bilder nicht auswerten kann. An embodiment of the invention provides that the monitoring unit includes a deactivation module. In particular, the deactivation module is designed to evaluate the monitoring data and/or additional data and to determine context data. The additional data include, for example, status data of the monitoring unit and/or sensor data for the monitoring unit. The context data describe, for example, recording parameters of the monitoring unit, for example zoom and/or viewing direction. Furthermore, the context data can include information as to whether the surveillance unit is stationary or moving, for example whether images comprised by the surveillance data are blurred. The deactivation module is designed and/or set up to prevent and/or deactivate the execution of the analysis application, the analysis applications and/or certain analysis applications based on the context data. For example, based on the context data, the deactivation module can prevent the execution of an analysis application that cannot evaluate shaky images.
Insbesondere ist es vorgesehen, dass die Überwachungseinheit als eine Kamera, im Speziellen als eine Überwachungskamera ausgebildet ist Insbesondere ist die Kamera Teil einer Überwachungsanordnung, wobei die Überwachungsanordnung insbesondere eine Mehrzahl solcher Kameras, weiterer Sensoren und/oder Aktoren umfasst. Die Kamera ist insbesondere ausgebildet als Überwachungsdaten Videodaten und/oder Bilddaten bereitzustellen und/oder aufzunehmen. Insbesondere umfasst die Kamera das Analysemodul und das Klassifizierungsmodul. In particular, it is provided that the monitoring unit is embodied as a camera, specifically as a surveillance camera. In particular, the camera is part of a surveillance arrangement, with the surveillance arrangement in particular comprising a plurality of such cameras, further sensors and/or actuators. The camera is designed in particular to provide and/or record video data and/or image data as monitoring data. In particular, the camera includes the analysis module and the classification module.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, wobei das Computerprogramm Programmcodemittel aufweist. Das Computerprogramm ist zur Ausführung auf einem Computer und/oder der Überwachungseinheit ausgebildet. Das Computerprogramm führt bei seiner Ausführung das Verfahren wie vorher beschrieben aus und/oder implementiert dieses. A further subject matter of the invention is a computer program, the computer program having program code means. The computer program is designed to be executed on a computer and/or the monitoring unit. When executed, the computer program executes and/or implements the method as previously described.
Einen weiteren Gegenstand der Erfindung bildet eine Überwachungseinheit. Die Überwachungseinheit ist beispielsweise als eine Kamera ausgebildet. Die Überwachungseinheit umfasst ein Analysemodul und ein Applikationsmodul. Insbesondere umfasst die Überwachungseinheit mindestens eine Analyseapplikation und mindestens eine Klassifikationsapplikation. Insbesondere sind auf der Überwachungseinheit von einem App-Store Analyseapplikationen und/oder Klassifikationsapplikationen beziehbar. Die Überwachungseinheit, insbesondere das Analysemodul und das Klassifizierungsmodul sind ausgebildet, das erfindungsgemäße Verfahren auszuführen, anzuwenden und/oder zu implementieren. Another subject of the invention is a monitoring unit. The monitoring unit is designed as a camera, for example. The monitoring unit includes an analysis module and an application module. In particular, the monitoring unit includes at least one analysis application and at least one classification application. In particular, analysis applications and/or classification applications can be obtained on the monitoring unit from an app store. The monitoring unit, in particular the analysis module and the classification module, are designed to execute, use and/or implement the method according to the invention.
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen: Further advantages, effects and configurations result from the accompanying figures and their description. show:
Figur 1 ein erstes Ausführungsbeispiel einer Überwachungseinheit; Figur 2 Ausführungsbeispiel einer Überwachungseinheit mit Ergänzung der Klassifikationsdaten; FIG. 1 shows a first exemplary embodiment of a monitoring unit; FIG. 2 exemplary embodiment of a monitoring unit with the addition of the classification data;
Figur 3 Ausführungsbeispiel einer Überwachungseinheit mit Metadaten; FIG. 3 exemplary embodiment of a monitoring unit with metadata;
Figur 4 Beispiel einer Überwachungseinheit mit Benutzeranpassung; FIG. 4 example of a monitoring unit with user adaptation;
Figur 5 Beispiel einer Überwachungseinheit mit Deaktivierungsmodul. FIG. 5 example of a monitoring unit with a deactivation module.
Figur 1 zeigt ein Ausführungsbeispiel eine Überwachungseinheit 1 in Form einer Kamera. Die Kamera ist zur Überwachung eines Überwachungsbereichs 2 ausgebildet Die Überwachungseinheit 1 nimmt Überwachungsdaten für den Überwachungsbereich 2 auf, wobei die Überwachungseinheit 1 als Überwachungsdaten 3 insbesondere Videos und/oder Bilder aufnimmt Insbesondere werden als Überwachungsdaten 3 ein Datenstrom verstanden, beispielsweise ein Bildstrom und/oder Videostrom. Die Überwachungseinheit 1 , insbesondere die Kamera, ist vorzugsweise Teil einer Überwachungsanordnung, beispielsweise umfassend eine Mehrzahl an Überwachungseinheiten 1 , insbesondere eine Mehrzahl an Kameras. Insbesondere sind die Überwachungseinheiten 1 datentechnisch verbunden, beispielsweise zum Austausch und/oder zur Bereitstellung der Überwachungsdaten 3, insbesondere untereinander. FIG. 1 shows an exemplary embodiment of a monitoring unit 1 in the form of a camera. The camera is designed to monitor a surveillance area 2. The surveillance unit 1 records surveillance data for the surveillance region 2, with the surveillance unit 1 recording videos and/or images in particular as surveillance data 3. In particular, surveillance data 3 is understood to be a data stream, for example an image stream and/or video stream . The surveillance unit 1, in particular the camera, is preferably part of a surveillance arrangement, for example comprising a plurality of surveillance units 1, in particular a plurality of cameras. In particular, the monitoring units 1 are connected in terms of data technology, for example for exchanging and/or providing the monitoring data 3, in particular with one another.
Die Überwachungseinheit 1 umfasst ein Klassifikationsmodul 4 und ein Analysemodul 5. Insbesondere sind Analysemodul 5 und Klassifikationsmodul 4 als separate Prozessor- und/oder Rechnermodule ausgebildet. Dem Klassifikationsmodul 4 sind die Überwachungsdaten 3 bereitgestellt. Ferner sind das Klassifikationsmodul 4 und das Analysemodul 5 datentechnisch verbunden, wobei dem Analysemodul 5 beispielsweise die Ergebnisse, Klassifizierungen und/oder Erkenntnisse des Klassifikationsmoduls 4 bereitgestellt sind und/oder werden. Insbesondere werden dem Analysemodul 5 die Überwachungsdaten 3 bereitgestellt, beispielsweise durchgeschleust durch das Klassifikationsmodul 4. Die Überwachungseinheit 1 , insbesondere das Klassifikationsmodul 4 und dasThe monitoring unit 1 comprises a classification module 4 and an analysis module 5. In particular, the analysis module 5 and the classification module 4 are designed as separate processor and/or computer modules. The monitoring data 3 are made available to the classification module 4 . Furthermore, the classification module 4 and the analysis module 5 are connected in terms of data technology, with the analysis module 5 being and/or being provided with the results, classifications and/or findings of the classification module 4 , for example. In particular, the analysis module 5 is provided with the monitoring data 3, for example passed through the classification module 4. The monitoring unit 1, in particular the classification module 4 and the
Analysemodul 5 sind ausgebildet, Applikationen auszuführen, insbesondere von extern beziehbare Applikationen. Das Klassifikationsmodul 4 ist ausgebildet Klassifikationsapplikationen 6a, b auszuführen, insbesondere zu speichern. Die Klassifikationsapplikationen 6a, b sind ausgebildet, bei ihrer Ausführung und/oder Anwendung die Überwachungsdaten 3 auszuwerten und zu analysieren. Insbesondere sind die Klassifikationsapplikationen 6a, b als Softwareapplikationen ausgebildet. Bei Ausführung der Klassifikationsapplikationen 6a, b und/oder deren Anwendung auf die Überwachungsdaten 3 werden Objekte, beispielsweise Personen oder dingliche Gegenstände, und/oder Ereignisse, beispielsweise Unfälle, Brände oder Einbrüche, detektiert und klassifiziert. Die das Klassifikationsmodul 4 ist ausgebildet, bei Anwendung der Klassifikationsapplikationen 6a, b für die Objekte und/oder Ereignisse im Überwachungsbereich 2, insbesondere den über Überwachungsdaten 3 Klassifizierungen 7, auch Klassifikationen genannt, zu bestimmen. Die Klassifizierungen 7 beschreibt insbesondere eine Klasse des klassifizierten Objekts und/oder klassifizierten Ereignisses im Überwachungsbereich 2 und/oder den Überwachungsdaten 3. Beispielsweise ist die Klassifikationsapplikation 6a ausgebildet Objekte zu detektieren und zu klassifizieren, beispielsweise für Personen die Klassifizierung 7a Person, für Fahrzeuge die Klassifikation 7b Fahrzeug und für alle anderen Objekte die Klassifizierung 7c „Sonstige“ vorzusehen. Die Klassifikationsapplikation 6b bestimmt als Klassifizierungen 7 beispielsweise PKW 7d, Motorrad 7e und 7f Fahrrad. Die Klassifizierungen 7 a-f sind insbesondere als klassifizierte Objekte und/oder klassifizierten Ereignisse zu verstehen. Die klassifizierten Objekte und/oder klassifizierten Ereignisse, insbesondere die Klassifizierungen 7, werden als Klassifizierungsdaten 8 weiteren Modulen, insbesondere dem AnalysemodulAnalysis module 5 are designed to run applications, in particular applications that can be obtained externally. The classification module 4 is designed to execute, in particular to store, classification applications 6a, b. The classification applications 6a, b are designed to evaluate and analyze the monitoring data 3 when they are executed and/or used. In particular, the classification applications 6a, b are designed as software applications. When the classification applications 6a, b are executed and/or they are applied to the monitoring data 3, objects, for example people or physical objects, and/or events, for example accidents, fires or burglaries, are detected and classified. The classification module 4 is designed to determine when using the classification applications 6a, b for the objects and/or events in the monitoring area 2, in particular the monitoring data 3 classifications 7, also called classifications. The classifications 7 describes in particular a class of the classified object and/or classified event in the monitoring area 2 and/or the monitoring data 3. For example, the classification application 6a is designed to detect and classify objects, for example the classification 7a person for people, the classification for vehicles 7b Vehicle and for all other objects the classification 7c "Other". The classification application 6b determines as classifications 7, for example, a car 7d, a motorcycle 7e and a bicycle 7f. The classifications 7 af are to be understood in particular as classified objects and/or classified events. The classified objects and/or classified events, in particular the classifications 7, are used as classification data 8 in further modules, in particular the analysis module
5 bereitgestellt. 5 provided.
Das Analysemodul 5 ist ausgebildet Analyseapplikationen 9a, b, c auszuführen. Die Analyseapplikationen 9 sind, zur Anwendung auf die Klassifikationsdaten 8 und/oder auf die Überwachungsdaten 3 ausgebildet. Die Analyseapplikationen 9 bilden insbesondere eine tiefere Auswertung der Überwachungsdaten 3, insbesondere detaillierte Klassifizierung als dies die KlassifikationsapplikationenThe analysis module 5 is designed to run analysis applications 9a, b, c. Analysis applications 9 are designed to be used on classification data 8 and/or on monitoring data 3 . The analysis applications 9 form in particular a deeper evaluation of the monitoring data 3, in particular detailed classification, than the classification applications
6 erlauben. Zur Vermeidung, dass die Analyseapplikationen 9 alle gleichzeitig ausgeführt werden, auch wenn bestimmte Analyseapplikationen 9 für die Überwachungsdaten 3 keine relevanten Ereignisse liefern können, weisen die Analyseapplikationen 9 Ausführungsbedingungen 10 auf. 6 allow. To avoid that the analysis applications 9 all at the same time are executed, even if specific analysis applications 9 for the monitoring data 3 can not deliver any relevant events, the analysis applications have 9 execution conditions 10.
Die Ausführungsbedingungen 10 beschreiben welche klassifizierten Objekte, klassifizierten Ereignisse und/oder Klassifizierungen 7 vom Klassifizierungsmodul 4 bestimmt sein müssen, damit die Analyseapplikationen 9 vom Analysemodul 5 ausgeführt und/oder angewendet wird. Beispielsweise ist die Analyseapplikationen 9a zur Verfolgung einer Person im Überwachungsbereich 2 ausgebildet, sodass die Ausführungsbedingung 10a als klassifiziertes Objekt eine Person verlangt, insbesondere die Klassifizierung 7a. Die Analyseapplikationen 9b ist beispielsweise ebenfalls zur Verfolgung von Personenbewegung ausgebildet, wobei diese als Ausführungsbedingungen 10b, c verlangt das eine Person klassifiziert wurde und/oder die Klassifizierung 7a vorliegt oder ein Fahrrad L Klassifizierung 7e vorliegt. Die Analyseapplikationen 9c umfasst als Ausführungsbedingung 10d sowohl die Klassifizierung 7b und die Klassifizierung 7d vorliegt. Das Analysemodul 5 ist ausgebildet, bei Erfüllung der Ausführungsbedingung 10 die jeweilige Analyseapplikation 9 auszuführen und auf die Überwachungsdaten 3 und/oder die Klassifizierungsdaten 8 anzuwenden. Dies erlaubt, dass von dem Analysemodul 5 jeweils nur die Analyseapplikationen 9 ausgeführt und/oder angewendet werden, deren Anwendung für die Überwachungsdaten 3 und/oder die klassifizierten Objekte sinnvolle Ergebnisse liefern kann. The execution conditions 10 describe which classified objects, classified events and/or classifications 7 must be determined by the classification module 4 in order for the analysis application 9 to be executed and/or used by the analysis module 5 . For example, the analysis application 9a is designed to track a person in the surveillance area 2, so that the execution condition 10a requires a person as a classified object, in particular the classification 7a. The analysis application 9b is also designed, for example, to track the movement of people, with this requiring as execution conditions 10b, c that a person has been classified and/or the classification 7a is present or a bicycle L classification 7e is present. The analysis application 9c includes both the classification 7b and the classification 7d as the execution condition 10d. The analysis module 5 is designed to execute the respective analysis application 9 and apply it to the monitoring data 3 and/or the classification data 8 when the execution condition 10 is met. This allows the analysis module 5 to execute and/or use only those analysis applications 9 whose use can deliver meaningful results for the monitoring data 3 and/or the classified objects.
Figur 2 zeigt ein Ausführungsbeispiel einer Überwachungseinheit 1 , das im Wesentlichen aufgebaut und/oder angelehnt ist an die Überwachungseinheit 1 aus Figur 1 . In diesem Ausführungsbeispiel ist es vorgesehen, dass die Analyseapplikationen 9a bei ihrer Ausführung und/oder Anwendung ein Objekt und/oder Ereignis näher klassifiziert. Beispielsweise verlangt es als Ausführungsbedingung 10a den die Klassifizierung 7a, wobei die Klassifizierung 7a für eine klassifizierte Person steht. Als Ergebnis liefert die Analyseapplikation 9a klassifizierte Gesichter. Die klassifizierten Gesichter von der Analyseapplikationen 9a bilden selbst Klassifizierungen 7, hier 7d. Die klassifizierten Gesichter als Klassifizierungen 7d werden den Klassifizierungsdaten hinzugefügt und/oder als Klassifizierungen weiteren Modulen, insbesondere dem Analysemodul 5 und/oder weiteren Analyseapplikationen 9 des Analysemoduls 5 bereitgestellt Auf diese Weise können die Analyseapplikationen 9 selbst zur weiteren Klassifizierung von Objekten und/oder Ereignissen, insbesondere zur Ergänzung der Klassifizierungsdaten, genutzt werden. FIG. 2 shows an exemplary embodiment of a monitoring unit 1 which is essentially constructed and/or based on the monitoring unit 1 from FIG. In this exemplary embodiment, it is provided that the analysis application 9a classifies an object and/or event more closely when it is executed and/or used. For example, it requires classification 7a as execution condition 10a, where classification 7a stands for a classified person. As a result, the analysis application 9a delivers classified faces. The classified faces from the analysis application 9a themselves form classifications 7, here 7d. The classified faces as classifications 7d are added to the classification data and/or other as classifications Modules, in particular the analysis module 5 and/or further analysis applications 9 of the analysis module 5. In this way, the analysis applications 9 themselves can be used for further classification of objects and/or events, in particular for supplementing the classification data.
Figur 3 zeigt ein Ausführungsbeispiel eine Überwachungseinheit 1 , die im Wesentlichen ausgebildet ist wie die Ausführungsbeispiele aus Figur 1 und Figur 2, wobei die Überwachungseinheit 1 zusätzlich ein Validierungsmodul 11 aufweist. Das Validierungsmodul 11 ist ausgebildet zu prüfen, ob Applikationen, insbesondere Klassifizierungapplikationen, Analyseapplikationen oder Applikationspakete von der Überwachungseinheit aus 1 ausführbar sind. Hierzu weisen Applikationen 12 Metadaten 13 auf. Beispielsweise ist die Applikation 12a aber als eine Klassifikationsapplikation 6 ausgebildet, wobei diese zusätzlich die Metadaten 13a aufweist und/oder zugeordnet hat. Die Metadaten 13 geben beispielsweise an welche System Voraussetzungen und/oder Eigenschaften die Überwachungseinheit 1 mit sich bringen muss, beispielsweise welche Überwachungsdaten 3 und/oder Aufnahmeparameter verlangt werden. Das Validierungsmodul 11 gibt bei Feststellen der Inkompatibilität der Applikation mit der Überwachungseinheit 1 dem Nutzer eine Fehlermeldung aus. Die Applikation 12b ist beispielsweise eine Analyseapplikation 9 und umfasst ebenfalls Metadaten 13b. Die Metadaten 13b geben beispielsweise an, welche Klassifizierungsdaten benötigt werden, insbesondere welche Klassifikationsapplikationen 6 solche Daten bereitstellen können. Stellt das Validierungsmodul 11 fest, dass die Überwachungseinheit 1 keine Klassifikationsapplikationen 6 aufweist, welche solche Klassifizierungen 6 und/oder Klassifizierungsdaten bereitstellen kann, wird dem Benutzer eine Fehlermeldung ausgegeben. Die Applikation 12c ist als ein Applikationspaket ausgebildet und umfasst eine Analyseapplikation 9b und eine Klassifikationsapplikation 6b sowie Metadaten 13c. Die Metadaten 13c sind ausgebildet, dass das Validierungsmodul 11 die Ausführbarkeit der Klassifikationsapplikation 6b und der Analyseapplikation 9b prüfen und/oder sicherstellen kann, beispielsweise, dass die Klassifikationsapplikation 6b basierend auf den Überwachungsdaten 3 auch die Klassifizierungen bestimmen kann, welche die Analyseapplikation 9b benötigt. Figur 4 zeigt ein Ausführungsbeispiel einer Überwachungseinheit 1 , im Wesentlichen ausgebildet wie die Überwachungseinheiten der vorherigen Figuren. Bei diesem Ausführungsbeispiel ist dargestellt, dass ein Benutzer 14 Ausführungsbedingungen 10 von Analyseapplikationen 9 anpassen und/oder verändern kann. Beispielsweise benötigt die Analyseapplikation 9 als Ausführungsbedingung 10 eine Klassifizierung 7a, wobei die Klassifizierung 7a beispielsweise ein erkanntes Gesicht beschreibt. Stellt der Benutzer 14 beispielsweise fest, dass Personen unerkannt bleiben, weil die Gesichter nur teilweise klassifiziert wurden verändert der Benutzer 14 die Ausführungsbedingungen 10, beispielsweise so, dass als Ausführungsbedingung 10 die Klassifizierung 7b gefordert wird, wobei die Klassifizierung 7b beispielsweise eine detektierte Person gefordert wird und allgemeiner als ein klassifiziertes Gesicht ist. Auf diese Weise kann der Benutzer 14 die Ausführung von Analyseapplikationen 9 anpassen. FIG. 3 shows an exemplary embodiment of a monitoring unit 1 which is designed essentially like the exemplary embodiments from FIG. 1 and FIG. 2, with the monitoring unit 1 additionally having a validation module 11 . The validation module 11 is designed to check whether applications, in particular classification applications, analysis applications or application packages, can be executed by the monitoring unit from 1 . Applications 12 have metadata 13 for this. For example, the application 12a is embodied as a classification application 6, which additionally has and/or has been assigned the metadata 13a. The metadata 13 indicate, for example, which system requirements and/or properties the monitoring unit 1 must have, for example which monitoring data 3 and/or recording parameters are required. When it is determined that the application is incompatible with the monitoring unit 1, the validation module 11 issues an error message to the user. The application 12b is, for example, an analysis application 9 and also includes metadata 13b. The metadata 13b indicate, for example, which classification data are required, in particular which classification applications 6 can provide such data. If the validation module 11 determines that the monitoring unit 1 does not have any classification applications 6 which can provide such classifications 6 and/or classification data, an error message is output to the user. The application 12c is designed as an application package and includes an analysis application 9b and a classification application 6b as well as metadata 13c. The metadata 13c are designed so that the validation module 11 can check and/or ensure the executability of the classification application 6b and the analysis application 9b, for example that the classification application 6b can also determine the classifications based on the monitoring data 3, which the analysis application 9b requires. FIG. 4 shows an exemplary embodiment of a monitoring unit 1, designed essentially like the monitoring units of the previous figures. This exemplary embodiment shows that a user 14 can adapt and/or change execution conditions 10 of analysis applications 9 . For example, the analysis application 9 requires a classification 7a as the execution condition 10, the classification 7a describing a recognized face, for example. If the user 14 determines, for example, that persons remain undetected because the faces were only partially classified, the user 14 changes the execution conditions 10, for example in such a way that the execution condition 10 requires classification 7b, with classification 7b for example requiring a detected person and is more general than a classified face. In this way the user 14 can adapt the execution of analysis applications 9 .
Figur 5 zeigt ein Ausführungsbeispiel einer Überwachungseinheit 1 , im Wesentlichen ausgebildet und/oder angelehnt wie bei den vorherigen Figuren. Zusätzlich umfasst die Überwachungseinheit 1 ein Deaktivierungsmodul 15. Das Deaktivierungsmodul 15 ist ausgebildet, die Überwachungsdaten 3, beispielsweise die Videodaten auszuwerten, und/oder Zusatzdaten der Überwachungseinheit 1 auszuwerten. Die Zusatzdaten sind beispielsweise Daten eines Beschleunigungssensors, welcher beispielsweise Verwandlungen und/oder Bewegungen der Überwachungseinheit 1 detektiert. Werden vom Deaktivierungsmodul 15 beispielsweise Bewegungen festgestellt, deaktiviert das Deaktivierungsmodul 15 die Ausführung bestimmter Analysemodule 9, insbesondere unterdrückt das Modul die Analyseapplikationen 9, welche nicht auf verwackelte Bilder und/oder verwackelte Videos anwendbar sind. Auf diese Weise kann basierend auf den Überwachungsdaten 3 und/oder Zugangsdaten der Überwachungseinheit 1 die Ausführung der Analyseapplikationen 9, im Speziellen auch der Klassifikationsapplikationen, gemanagt und/oder geregelt werden. Figure 5 shows an embodiment of a monitoring unit 1, essentially designed and / or based on the previous figures. In addition, the monitoring unit 1 includes a deactivation module 15. The deactivation module 15 is designed to evaluate the monitoring data 3, for example the video data, and/or to evaluate additional data from the monitoring unit 1. The additional data is, for example, data from an acceleration sensor, which detects, for example, transformations and/or movements of the monitoring unit 1 . If, for example, movements are detected by the deactivation module 15, the deactivation module 15 deactivates the execution of certain analysis modules 9, in particular the module suppresses the analysis applications 9 which cannot be used on blurred images and/or blurred videos. In this way, based on the monitoring data 3 and/or access data of the monitoring unit 1, the execution of the analysis applications 9, in particular also the classification applications, can be managed and/or regulated.

Claims

Ansprüche Expectations
1 . Verfahren zur Überwachung mit mindestens einer Überwachungseinheit (1), wobei die Überwachungseinheit (1) Überwachungsdaten (3) aufnimmt und/oder der Überwachungseinheit (1) die Überwachungsdaten (3) bereitgestellt werden, wobei die Überwachungseinheit (1) ein Klassifikationsmodul (4) und ein Analysemodul (5) aufweist, wobei das Klassifikationsmodul (4) mindestens eine Klassifikationsapplikation (6a, b) ausführt, wobei die Klassifikationsapplikation (6a, b) basierend auf einer Auswertung der Überwachungsdaten (3) Objekte und/oder Ereignisse klassifiziert und als Klassifikationsdaten (8) dem Analysemodul (5) bereitstellt, wobei das Analysemodul (5) zur Ausführung mindestens einer Analyseapplikation (9a, b) ausgebildet ist, wobei die Analyseapplikation (9a, b) Ausführungsbedingungen (10) umfasst und/oder aufweist, wobei die Ausführungsbedingungen (10) benötigte klassifizierte Objekte, klassifizierte Ereignisse und/oder Klassifikationsdaten (8) umfassen und/oder beschreiben, wobei das Analysemodul (5) für die Analyseapplikation (9) basierend auf den Klassifikationsdaten (8) ein Erfüllen der Ausführungsbedingungen (10) prüft, wobei das Analysemodul (5) bei Erfüllen der Ausführungsbedingungen (10) die Analyseapplikation (9) ausführt. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Analysemodul (5) bei Ausführung der Analyseapplikation (9) die Analyseapplikation (9) auf die Überwachungsdaten (3) und/oder Klassifikationsdaten (8) anwendet. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ausführungsbedingungen (10) Verknüpfungen, insbesondere basierend auf boolescher Logik, von klassifizierten Objekten, klassifizierten Ereignissen und/oder Klassifikationsdaten (8) umfasst und/oder beschreibt. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das die Analyseapplikation (9) bei ihrer Ausführung und/oder Anwendung auf die Überwachungsdaten (3) Objekte und/oder Ereignisse näher klassifiziert, wobei die Analyseapplikation (9) und/oder das Analysemodul (5) die Klassifikationsdaten (8) basierend auf der näheren Klassifizierung erweitert und/oder ergänzt. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Klassifikationsdaten (8) für das Objekt und/oder das Ereignisse eine hierarchische Klassifikation bilden und/oder umfassen. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Analyseapplikation (9) von Extern beziehbar ist. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Analyseapplikation (9) zusammen mit den benötigten Klassifikationsapplikationen (6a, b) als Applikationspaket bereitgestellt sind und/oder beziehbar sind. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die die Analyseapplikationen (9) und/oder Applikationspakete jeweils Metadaten (13) umfassen, wobei die Überwachungseinheit (1) ein Validierungsmodul (11) aufweist, wobei das Validierungsmodul (11) basierend auf Metadaten (13) prüft, ob die von der zugehörigen Analyseapplikation (9) zur Erfüllung der Ausführungsbedingungen (10) benötigten Klassifikationsdaten (8) durch das Klassifikationsmodul (4) und/oder die Klassifikationsapplikationen (6a, b) ermittelbar und/oder bestimmbar sind. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Validierungsmodul (11) bei nicht ermittelbaren und/oder nicht bestimmbaren Klassifikationsdaten (8) zu ergänzende Klassifikationsmodule (4) vorschlägt. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass durch einen Benutzer (14) die Ausführungsbedingungen (10) veränderbar sind und/oder in den Ausführungsbedingungen (10) benötigte klassifizierte Objekte und/oder klassifizierte Ereignisse veränderbar sind. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass Überwachungseinheit (1) eine erste und eine zweite Prozessoreinheit aufweist, wobei die das Applikationsmodul auf der ersten Prozessoreinheit ausgeführt wird und das Analysemodul (5) auf der zweiten Prozessoreinheit ausgeführt wird. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Überwachungseinheit (1) ein Deaktivierungsmodul (15) umfasst, wobei das Deaktivierungsmodul (15) basierend auf den Überwachungsdaten (3) Kontextdaten bestimmt, wobei das Deaktivierungsmodul (15) basierend auf den Kontextdaten die Ausführung mindestens einer Analyseapplikation (9) und/oder mindestens einer Klassifikationsapplikation (6a, b) unterbindet. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Überwachungseinheit (1) als eine Kamera ausgebildet ist. Computerprogramm zur Ausführung auf einem Computer und/oder auf einer Überwachungseinheit ausgebildet, das Verfahren und/oder Verfahrensschritte des Verfahrens nach einem der vorherigen Ansprüche auszuführen und/oder zu implementieren. Überwachungseinheit (1) umfassend ein Analysemodul (5) und ein Klassifikationsmodul (4), wobei die Überwachungseinheit (1), insbesondere das Analysemodul (5) und das Klassifizierungsmodul (4), ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 13 auszuführen, anzuwenden und/oder zu implementieren. 1 . Method for monitoring with at least one monitoring unit (1), the monitoring unit (1) recording monitoring data (3) and/or the monitoring unit (1) being provided with the monitoring data (3), the monitoring unit (1) having a classification module (4) and has an analysis module (5), the classification module (4) executing at least one classification application (6a, b), the classification application (6a, b) classifying objects and/or events based on an evaluation of the monitoring data (3) and classifying them as classification data ( 8) provides the analysis module (5), the analysis module (5) being designed to execute at least one analysis application (9a, b), the analysis application (9a, b) including and/or having execution conditions (10), the execution conditions ( 10) include and/or describe required classified objects, classified events and/or classification data (8), the analysis module (5) for the analysis application (9) based on the classification data (8) checking whether the execution conditions (10) are met, wherein the analysis module (5) executes the analysis application (9) when the execution conditions (10) are met. Method according to Claim 1, characterized in that the analysis module (5) applies the analysis application (9) to the monitoring data (3) and/or classification data (8) when the analysis application (9) is executed. Method according to Claim 1 or 2, characterized in that the execution conditions (10) include and/or describe links, in particular based on Boolean logic, of classified objects, classified events and/or classification data (8). Method according to one of the preceding claims, characterized in that the analysis application (9) classifies objects and/or events more closely when it is executed and/or applied to the monitoring data (3), the analysis application (9) and/or the analysis module ( 5) expands and/or supplements the classification data (8) based on the more detailed classification. Method according to one of the preceding claims, characterized in that the classification data (8) for the object and/or the event form and/or comprise a hierarchical classification. Method according to one of the preceding claims, characterized in that the analysis application (9) can be obtained externally. Method according to one of the preceding claims, characterized in that the analysis application (9) together with the required classification applications (6a, b) are provided as an application package and/or can be obtained. Method according to one of the preceding claims, characterized in that the analysis applications (9) and / or application packages each include metadata (13), wherein the monitoring unit (1) has a validation module (11), wherein the validation module (11) checks, based on metadata (13), whether the classification data (8) required by the associated analysis application (9) to fulfill the execution conditions (10) are provided by the classification module (4) and/or the classification applications (6a, b) can be determined and/or determined. Method according to Claim 8, characterized in that the validation module (11) proposes classification modules (4) to be supplemented if the classification data (8) cannot be determined and/or cannot be determined. Method according to one of the preceding claims, characterized in that the execution conditions (10) can be changed by a user (14) and/or classified objects and/or classified events required in the execution conditions (10) can be changed. Method according to one of the preceding claims, characterized in that the monitoring unit (1) has a first and a second processor unit, the application module being executed on the first processor unit and the analysis module (5) being executed on the second processor unit. Method according to one of the preceding claims, characterized in that the monitoring unit (1) comprises a deactivation module (15), the deactivation module (15) based on the monitoring data (3) determines context data, the deactivation module (15) based on the context data Execution of at least one analysis application (9) and / or at least one classification application (6a, b) prevents. Method according to one of the preceding claims, characterized in that the monitoring unit (1) is designed as a camera. Computer program designed to be executed on a computer and/or on a monitoring unit, to execute and/or implement the method and/or method steps of the method according to one of the preceding claims. Monitoring unit (1) comprising an analysis module (5) and a classification module (4), wherein the monitoring unit (1), in particular the analysis module (5) and the classification module (4), is designed to carry out the method according to one of claims 1 to 13 , apply and/or implement.
PCT/EP2023/051755 2022-01-26 2023-01-25 Method for monitoring by means of at least one monitoring unit, computer program, and monitoring unit WO2023144180A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022200832.4A DE102022200832A1 (en) 2022-01-26 2022-01-26 Monitoring method with at least one monitoring unit, computer program and monitoring unit
DE102022200832.4 2022-01-26

Publications (1)

Publication Number Publication Date
WO2023144180A1 true WO2023144180A1 (en) 2023-08-03

Family

ID=85122490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/051755 WO2023144180A1 (en) 2022-01-26 2023-01-25 Method for monitoring by means of at least one monitoring unit, computer program, and monitoring unit

Country Status (2)

Country Link
DE (1) DE102022200832A1 (en)
WO (1) WO2023144180A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070052803A1 (en) * 2005-09-08 2007-03-08 Objectvideo, Inc. Scanning camera-based video surveillance system
US20200184227A1 (en) * 2017-06-02 2020-06-11 Netatmo Improved generation of alert events based on a detection of objects from camera images
EP3671550A1 (en) * 2018-12-20 2020-06-24 HERE Global B.V. Dynamically loaded neural network models

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018091110A1 (en) 2016-11-21 2018-05-24 Robert Bosch Gmbh Display device for a monitoring system of a monitoring region, monitoring system having the display device, method for monitoring a monitoring region by means of a monitoring system, and computer program for performing the method
US10776695B1 (en) 2019-03-08 2020-09-15 Ai Concepts, Llc Intelligent recognition and alert methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070052803A1 (en) * 2005-09-08 2007-03-08 Objectvideo, Inc. Scanning camera-based video surveillance system
US20200184227A1 (en) * 2017-06-02 2020-06-11 Netatmo Improved generation of alert events based on a detection of objects from camera images
EP3671550A1 (en) * 2018-12-20 2020-06-24 HERE Global B.V. Dynamically loaded neural network models

Also Published As

Publication number Publication date
DE102022200832A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
DE102005018301B4 (en) Data transfer device
DE102017122712A1 (en) Method for operating a self-propelled agricultural machine
EP2174260A2 (en) Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program
DE112019004711T5 (en) VEHICLE MONITORING DEVICE
EP3499473A1 (en) Automated detection of hazardous situations
DE102018222720B4 (en) Monitoring of driving functions based on neural networks
AT523727A4 (en) Computer-implemented method for analyzing the interior of a vehicle
WO2023144180A1 (en) Method for monitoring by means of at least one monitoring unit, computer program, and monitoring unit
EP3947100B1 (en) Method and device for producing a status signal
DE102017116016A1 (en) A motor vehicle sensor device having a plurality of sensor units and a neural network for generating an integrated representation of an environment
DE102015216086A1 (en) Method and device for monitoring a state of an electronic circuit unit of a vehicle
EP3493171A1 (en) Detection of aggressive behaviour in public transportation
WO2022058074A1 (en) Method for detecting and classifying objects in road traffic
DE112021001861T5 (en) DRIVING ASSISTANCE DEVICE
DE102017206396A1 (en) Control method, control unit, environment detection system and mobile and / or stationary equipment
DE102020215885A1 (en) PROCEDURE AND SYSTEM FOR DETECTING AND MITIGATION OF INTERFERENCE
DE102020202974A1 (en) Detection of adversarial attacks by an image signal preprocessor
EP3734557A1 (en) Method for providing training data for adaptive situation recognition algorithms and method for automated situation detection of operating situations of a vehicle for public transport
WO2023180354A1 (en) Monitoring device, monitoring assembly, method, computer program, and storage medium
DE102007054835A1 (en) Method for the computer-aided analysis of an object
DE102022200833A1 (en) Surveillance arrangement, method for registering surveillance cameras and analysis modules, computer program and storage medium
DE112021001862T5 (en) DRIVING ASSISTANCE DEVICE
DE102020119743A1 (en) SYSTEM AND METHOD FOR PROCESSING INFORMATION SIGNALS
EP4150458A1 (en) Automated monitoring of artificial intelligence
DE102021131868A1 (en) Reliability check of an object classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23702265

Country of ref document: EP

Kind code of ref document: A1