WO2023180354A1 - Überwachungsvorrichtung, überwachungsanordnungen, verfahren, computerprogramm und speichermedium - Google Patents

Überwachungsvorrichtung, überwachungsanordnungen, verfahren, computerprogramm und speichermedium Download PDF

Info

Publication number
WO2023180354A1
WO2023180354A1 PCT/EP2023/057263 EP2023057263W WO2023180354A1 WO 2023180354 A1 WO2023180354 A1 WO 2023180354A1 EP 2023057263 W EP2023057263 W EP 2023057263W WO 2023180354 A1 WO2023180354 A1 WO 2023180354A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
image
surveillance
designed
image model
Prior art date
Application number
PCT/EP2023/057263
Other languages
English (en)
French (fr)
Inventor
Christoph BURGER-SCHEIDLIN
Mark DEN HARTOG
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023180354A1 publication Critical patent/WO2023180354A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the invention relates to a surveillance device with a camera for recording at least one surveillance image of a surveillance scene.
  • a monitoring device with the features of claim 1 is proposed. Furthermore, a monitoring arrangement, a method, a computer program and a storage medium are proposed. Preferred and/or advantageous embodiments result from the subclaims, the description and the attached figures.
  • a monitoring device is proposed.
  • the monitoring device is designed in particular to record, evaluate and/or process images and/or videos. In particular, images and video are used essentially synonymously below, so that an evaluation and/or an analysis of an image is understood as the evaluation and analysis of frames of a video.
  • the monitoring device can form a hardware module, for example a surveillance camera, or can form a module for connection and/or integration into the surveillance camera. Alternatively, the monitoring device can form a software module, for example for execution, application and/or implementation in the surveillance camera.
  • the monitoring device comprises at least one camera, in particular a surveillance camera.
  • the monitoring device itself forms a camera.
  • the camera is designed and/or set up to record at least one surveillance image, referred to as an image for short.
  • the camera is designed to record a video, whereby the video can be understood as a large number of surveillance images.
  • the camera records a surveillance scene as the surveillance image.
  • the surveillance scene can, for example, include or form an indoor area and/or an outdoor area.
  • the surveillance scene includes static and moving objects, referred to as moving and dynamic objects.
  • the surveillance scene can be divided into a background and a foreground, the background in particular comprising static objects.
  • the surveillance image is in particular a high-resolution surveillance image, for example with a quality of at least 4K or HD.
  • the monitoring device in particular the camera, comprises a first and a second computing unit.
  • the first and second computing units form separate and/or separate units, in particular separate and/or separate hardware units, hardware components, computer and/or processor units.
  • the first and second include Computing unit each has its own and/or independent system resource, such as processors and/or memory.
  • the first and second computing units are connected for data via a feedback connection.
  • the feedback connection is designed, for example, as a wired connection, as a conductor track or as a wireless connection.
  • the feedback connection is designed as a bidirectional connection.
  • the first computing unit includes a discrimination module and an image model determination module.
  • the discrimination module and the image model determination module can form a common module.
  • the discrimination module and/or the image model determination module can form hardware or software modules.
  • the discrimination module and/or the image model determination module are designed and/or set up to use a machine learning algorithm and/or include a neural network.
  • the discrimination module is designed to evaluate and/or analyze the surveillance image, the surveillance images and/or the video, in particular to use methods of image evaluation, object recognition and/or object tracking.
  • the discrimination module is designed to detect, discriminate and/or classify objects in the surveillance image.
  • the discrimination module is designed to segment the surveillance image and/or to determine features of objects in the surveillance image, with the objects being detected, defined and/or localized based on the specific features.
  • the discrimination module is designed to determine object information data for the detected, discriminated and/or classified objects, in particular to determine separate and/or separate object information data for each of the detected objects.
  • the object information data preferably includes and/or forms alphanumeric data.
  • the object information data each includes and/or describes an object class of the associated detected object and/or an object type of the associated detected object, an object ID and/or object geometry information.
  • the object class describes, for example, which class of objects the respective object belongs to, in particular the Classes can be customized.
  • static, moving and/or dynamic objects can be used as object classes; alternatively and/or additionally, human, face, vehicle, security-relevant event, firearm or piece of luggage can be used as object classes.
  • the object ID in particular forms a unique identification option, for example number, designation or similar.
  • the detected objects are numbered consecutively.
  • the object geometry information describes and/or includes at least one piece of information about the geometry of the object, for example a size, position, shape and/or a relationship to another of the detected objects.
  • the image model determination module is designed and/or set up to determine an image model.
  • the object information data is provided to the image model determination module, and the surveillance image is also provided to it, in particular also the detected objects and/or determined object areas for the detected objects.
  • the image model is determined in particular based on the surveillance image, in particular the video, and the object information data.
  • the image forms and/or describes in particular a scene model, in short a model of the surveillance scene.
  • the image model includes the object information data and/or a subset of the information comprised of the object information data.
  • the scene model forms an abstraction of the surveillance scene, in particular having a smaller data size, generalized areas and/or sections, summaries and/or a representation of areas through symbols, data sets or other representatives.
  • the discrimination module and/or the image model determination module determined object areas for the detected objects, for example in the form of bounding boxes.
  • the image model determination module is designed to reproduce the object information data in the scene model instead of the image content of the object areas, the image content being, for example, simplified, alienated, removed or blackened.
  • the scene model can form a description of the surveillance scene using the object information data, for example the structure of the surveillance scene through the object information data and their relationships, for example based on the Object geometry information.
  • the objects and/or the object regions are included and/or represented in a simplified manner in the scene model, in particular in the form of the object information data.
  • the scene model describes that there are two objects in the surveillance scene, one of the Car object class and one of the Person object class, the position, size and orientation for each of the objects being determined and/or described by the object information data.
  • the second computing unit includes an event detection module.
  • the event detection module is designed in particular as a software or hardware module.
  • the image model and/or the object information data is provided to the second computing unit by the first computing unit and/or the image model determination module.
  • the event detection module is designed to detect and/or determine one or more events based on the image model, in particular the evaluation of the image model.
  • the events are, for example, events in the surveillance scene and/or events of the object and/or events between objects.
  • the event is the crossing of a physical and/or virtual boundary.
  • the discrimination module for example, differentiated, classified and/or discriminated against objects into humans and non-humans.
  • the second computing unit in particular the event detection module, is designed and/or set up to provide, transmit and/or send feedback data to the first computing unit, the discrimination module and/or the image determination module.
  • the feedback data is provided and/or transmitted via the feedback connection.
  • Feedback data from the second computing unit includes in particular static information about necessary discrimination information and/or dynamic feedback resulting from the situation.
  • accident detection fundamentally requires information about the position of vehicles, pedestrians and, if necessary, animals.
  • An accident can at least be estimated based on the position of the detected objects, in particular due to the overlapping of the objects.
  • the feedback data here includes the necessary object classes and additional information, in particular the position of the detected objects and their size.
  • the invention is based on the idea of processing images and videos into a scene model on the camera side, before their transmission and/or in the immediate vicinity of the camera, whereby the scene model describes and/or includes the essential and/or relevant information of the objects in the surveillance scene , so that for further use and/or evaluation it is not the high-resolution surveillance images and/or videos that need to be transmitted, but rather the scene model with a smaller size.
  • the invention is based on the consideration that most methods for monitoring and/or image evaluation include several method steps, with the different steps and/or methods often having in common that the amount of data is significantly reduced in each step, the information content and/or the semantic meaning of the data increases significantly after each step and the process steps become more specific after each step.
  • the invention uses the consideration that in particular the initial steps, here detection of objects and object information data, are essentially generic and/or similar for all subsequent method steps, so that they can be taken over together by the discrimination module and the further method steps on the resulting scene model can be applied.
  • the discrimination module is designed to track the detected objects, in particular the moving and/or dynamic objects.
  • tracking the object is understood to mean tracking the object, determining the change in position of the object with respect to images recorded at different times and/or determining a trajectory of the object.
  • Tracking data is determined and/or determined for the detected objects by the discrimination module, wherein the tracking data is and/or is preferably provided to further modules and/or algorithms.
  • the object information data includes the tracking data of the associated object.
  • the object information data includes, as tracking data, the change in the position of the object and/or the object area over time, in particular with regard to two successive surveillance images.
  • the image model and/or the scene model forms and/or comprises a symbolic representation of the surveillance scene, in particular that the objects and/or object areas of the surveillance scene and/or the surveillance image in the image model and/or in the scene model as symbolic ones representation are included.
  • the symbolic representations can be designed as an alphanumeric data set comprising the object information data.
  • the symbolic representations include, for example, simplified pictograms or object areas without image content, so that in the image model, for example, the object areas of the detected objects, in particular their image content, are removed and/or simplified.
  • the image model is designed as the surveillance image with simplified image content, for example in the form of pictograms.
  • the image model and/or the scene model is thus designed as a simplified version of the surveillance image, with the detected objects being included in the form of the object information data, so that the correspondingly removed and/or simplified object areas can be further used and/or evaluated using the object information data.
  • object class car, object ID 2 is assigned to one of the object areas as object information data and a size, orientation and/or position within the surveillance scene and/or the surveillance image is assigned as object geometry information.
  • object model can be used by applications and/or Image evaluation methods can be used for evaluation, since the corresponding object areas contain the essential generic information and / or features even without the presence and transmission of the actual image content.
  • the image model, the scene model and/or the object information data include and/or describe the detected objects as symbolic representatives.
  • the object areas or the image contents of the object areas are replaced by symbolic representatives, with the symbolic representatives forming, for example, simple pictograms, monochrome, regular and/or irregular areas.
  • representatives and representations are understood to be synonymous.
  • this embodiment is based on the consideration that the image contents of the object areas no longer have to be transmitted for data reduction when symbolic representatives are used, in particular when using symbolic representatives, for example simple pictograms, an intuitive interpretation by the monitoring personnel is still possible.
  • the geometry information data for the respective object include and/or describe an object size, an object position, an object orientation and/or a Z order.
  • the object size describes, for example, an extent and/or size of the object, preferably in image space, for example in pixels.
  • the object size can, for example, include partial sizes such as width, height and object shape.
  • the object position is in particular the position of the object, the object area and/or a center point and/or center of gravity of the object area within and/or in relation to the surveillance scene, the surveillance image, an image coordinate system or a reference coordinate system.
  • the object orientation describes, for example, the orientation of the object with respect to a reference orientation, for example determined by the surveillance image.
  • the object orientation includes, for example, a relative rotation of the length and width of the object with respect to the image coordinate system and/or reference coordinate system.
  • the object orientation, the object size and/or the object position is in particular relative to a reference object or the or the other detected object.
  • the geometry information data allows the arrangement of the objects shown in the surveillance image to be reproduced in a simplified but reconstructable manner.
  • the second computing unit and/or the event detection module is designed to adapt, configure and/or optimize the first computing unit, the discrimination module and/or the image model determination module based on the feedback data and/or by means of the feedback data.
  • the second computing unit and/or the event detection module is designed to use the feedback data to adapt and/or configure the discrimination module for the detection, discrimination and/or classification of specific objects and/or those required for event determination, for example the quantity of objects to be detected, discriminated and /or classifying objects.
  • the event detection module is designed to execute and/or use at least one evaluation application, in particular to apply it to the image model to determine the event.
  • the evaluation applications are in particular interchangeable, supplementable and/or individually obtainable, for example from an app store.
  • the evaluation applications are in particular applications for the specific evaluation of the image, for example for facial recognition, person recognition, object tracking and/or for the recognition of certain events, such as a fire, a panic or a shooting.
  • the evaluation application is designed to determine entry into an area, for example as a virtual tripwire, whereby instead of evaluating the actual surveillance images, the evaluation application evaluates the image model, since the object information data includes and can be determined sufficient information and / or details to carry out the task is whether an object has entered a certain area and/or whether the object is an authorized or unauthorized person.
  • the event detection module and/or the second computing unit is designed to provide, send and/or transmit the feedback data, in particular to the first computing unit, the discrimination module and/or the event detection module, when an evaluation application is started or initialized , installed and/or registered.
  • the second computing unit and/or the event detection module transmits and/or sends the feedback data when the image model is received, in particular when it is received for the first time and/or the received image model changes more than a tolerated change.
  • the monitoring device has a validation module.
  • the event detection module is designed, for example, to detect an event, in particular also called a scene event.
  • the evaluation application is applied to the image model.
  • the scene event is, for example, the occurrence of an event that the evaluation application should determine, for example entering the area or a fire.
  • the validation module is designed and/or set up to apply the evaluation and/or the application of the evaluation application to the surveillance image belonging to the image model and to determine validation data in the event of the detection of the scene event. In other words, after detecting the scene event based on the image model, the validation module checks whether the scene event actually occurred by evaluating the surveillance images itself.
  • the validation data describes and/or includes, for example, the results of the application of the evaluation application to the surveillance image, in particular a statement as to whether the scene event actually occurred or was incorrectly detected as such by the evaluation application based on the image model.
  • This embodiment is based on the idea that only when an event is detected and/or the evaluation application is positively applied to the simplified data, here the image model, is the evaluation and/or transmission of the more data-intensive surveillance images initiated.
  • the evaluation application has a basic module and a special module.
  • the basic module is a simplified version and/or abstraction of the special module and/or the evaluation by the special module.
  • the basic module is designed for simplified evaluation of images, in particular the image model, while the special module is designed and/or set up for more detailed evaluation.
  • the special module is designed for use on the surveillance image instead of for use on the image model. It is provided, for example, that the validation module applies the special module to the surveillance image to determine the validation data, while the discrimination module applies the basic module to the image model to apply the evaluation application to the image model.
  • a further subject of the invention is a monitoring arrangement with the monitoring device and a remote module.
  • the remote module is designed, for example, as a central computer or a cloud.
  • the monitoring device and the remote module are connected in terms of data technology for wired or wireless data transmission.
  • the monitoring device includes a transmission module for providing the image model to the remote module.
  • the remote module comprises a remote application module, wherein the remote application module is preferably designed and/or set up like the application module of the monitoring device.
  • the remote application module is designed and/or set up to execute and/or use evaluation applications, in particular evaluation applications as described for the application module of the monitoring device.
  • the remote application module applies the evaluation application to the image model.
  • This embodiment is based on the idea that the preprocessing of the surveillance image takes place on the camera side or on the side of the monitoring device and the provision and determination of the image model takes place.
  • This image model which requires less storage space, is then provided to the remote module for further use and/or evaluation, so that less data needs to be transmitted than for transmitting the surveillance image. Further evaluation then takes place on the remote module, or by means of the remote application module, in which the evaluation application is applied to the provided image model. For example, in order to use the evaluation application, an increased need for computing and/or storage power is required, which in particular would not be available on the monitoring device or the camera, so that the computing and/or storage-intensive parts of the evaluation are carried out centrally.
  • the transmission module is designed and/or set up to provide and/or send the image model to the remote module in encrypted, photographic and/or compressed form.
  • the remote application module comprises a remote validation module, wherein the remote validation module is designed and/or set up like the validation module of the monitoring device.
  • the remote validation module is designed and/or set up to cause an evaluation of the monitoring image and/or the application of the evaluation application to the monitoring image based on the detection of a scene event by the evaluation application, for example to cause the transmission module to provide the monitoring image to the remote module. This is based on the consideration that in the event of the detection of a specific event, for example the recognition of a person based on the image model, the original data, here the surveillance image, is evaluated and/or initiated for verification purposes.
  • a further subject of the invention is a method in which at least one surveillance image showing and/or comprising a surveillance scene is recorded. Based on the surveillance image and/or in the surveillance image, objects are detected, with the object information data being determined and/or determined for the detected objects as previously described. Based on the surveillance images and/or for the surveillance image, an image model is ascertained and/or determined, wherein the image model comprises and/or forms a scene model of the surveillance scene and/or comprises the object information data.
  • a further subject of the invention is a computer program, the computer program comprising a program code.
  • the computer program is designed and/or set up, when executed on a computer, the monitoring device and/or the monitoring arrangement to carry out, apply and/or implement the method steps.
  • a further subject of the invention is a storage medium, in particular a machine-readable storage medium, the computer program being stored on the storage medium.
  • Figure 1 shows a schematic representation of an exemplary embodiment of a monitoring device
  • Figure 2 further exemplary embodiment comprising a validation module
  • Figure 3 exemplary embodiment of a monitoring device as part of a monitoring arrangement.
  • FIG. 1 shows an exemplary embodiment of a monitoring device 1.
  • the monitoring device 1 is designed to monitor an indoor or outdoor area, in particular for video- and / or image-based monitoring of the area, for example for tracking, recognizing people or taking on other monitoring tasks.
  • the monitoring device 1 includes a camera 2.
  • the camera 2 is designed, for example, as a pivotable and/or zoomable camera, in particular as a color camera.
  • the camera 2 is arranged and designed to record and provide a surveillance image 3, in particular the surveillance image 3 is part of a video, the video being understood as a sequence of surveillance images 3.
  • the surveillance image 3 shows a surveillance scene 4, the surveillance scene 4 being part of the surveillance area.
  • the surveillance scene 4 shows and/or includes a plurality of objects 5a-e, which belong to different objects, in particular different object types or categories.
  • the surveillance scene 4 and the surveillance image 3 include a background.
  • the monitoring device 1, in particular the camera 2, includes a first computing unit 6.
  • the first computing unit 6 includes a discrimination module 6a and an image model determination module 6b.
  • the surveillance image 3 is provided to the discrimination module 6a.
  • the discrimination module 6a is designed to apply object recognition to the surveillance image 3 or the video.
  • the discrimination module 6a detects, discriminates and/or classifies the objects 5a-e based on the surveillance image 3, for example based on a neural network and/or other algorithms and/or methods of object recognition.
  • the discrimination module 6a is designed to classify, identify and/or track the objects 5a-e based on the surveillance image 3.
  • the discrimination module 6b is designed to determine object information data 7a-e for the detected objects 5a-e, surveillance images 3.
  • the object information data 7a-e are preferably alphanumeric data and/or metadata of the surveillance image 3 and/or the objects 5a-e shown in the surveillance image 3.
  • the object information data 7a-e describe and/or form the results of the object recognition, for example outputs of a layer of the applied neural network.
  • the object information data 7a-e include an object class, the object class describing which class the associated object 5 belongs to, for example by assigning a class name.
  • the object classes are the Person class
  • Object 5b is the Dog class
  • Object 5c is the Plant class
  • Object 5d is the Car class
  • Object 5e is the Bucket class.
  • the object information data 7a-e includes an object ID 8a-8e.
  • the object ID is, for example, a unique number for the object 5a-e and/or for the data record of the object information data 7a-e.
  • the object information data 7a-e each includes object geometry information 9a-e for the associated object 5a-e.
  • the object geometry information 9a-e is determined and/or designed, for example, as a bounding box, with information about the orientation, position and/or distances to other objects also being included in the object geometry information 9a-e.
  • the object information data includes and/or describes 7a-e for the object 5a, the size, shape, orientation and position of the bounding box for the object 5a, the information that it is a person as object classes and carries and/or includes the object ID 8a-e.
  • the image model determination module 6b is designed to determine an image model 11.
  • the image model determination module 6b determines the image model 11 based on the surveillance image 3 and the object information data 7a-e.
  • the image model 11 forms a model and/or an abstraction of the surveillance scene 4 of the surveillance image 3, in which the objects 5a-e are abstracted in the form of the object information data 7a-e.
  • the image content and/or the individual pixels of the surveillance image 3, in particular the objects 5a-e, the objects 5a-e and/or their object areas are included and/or represented as metadata in the image model 11, the metadata comprising the object information data .
  • the image model 11 forms and/or describes a scene model 12 in which the essential contents of the surveillance image 3 are represented and/or reproduced, in particular distances and/or size ratios of objects 5a-e, which are reproduced and preserved, objects 5a- e are described abstractly based on the object class and/or the object type and the objects 5a-e can be clearly identified using their IT.
  • the monitoring device 1, in particular the camera 2, comprises a second computing unit 13.
  • the second computing unit 13 comprises an event detection module and is designed to execute and/or use at least one evaluation application.
  • the evaluation application is, for example, an application for image-based monitoring and/or image evaluation.
  • the evaluation application is designed to determine whether a person or an object 5a-e enters a definable area based on the surveillance image 3 and/or the image model 11.
  • the event detection module applies the evaluation application to the image model 11 and determines the variables to be determined, for example entering an area.
  • the application module applies the evaluation application and/or the evaluation applications on the image model 11, so that the basic process steps regarding object detection, classification and/or tracking have already been carried out.
  • the first and second computing units 6, 13 are via a feedback connection 14 for transmitting data, in particular for transmitting the image model 11 and feedback data.
  • the feedback data is provided and/or sent by the second computing unit 13, in particular the event detection module, to the first computing unit 6, in particular to the discrimination module 6a.
  • the second computing unit 13, in particular the event detection module is designed to execute and/or use a plurality of evaluation applications for determining events, in particular for determining different events.
  • the event detection module uses a first evaluation application to determine whether a boundary and/or line has been exceeded as a first event and uses a second evaluation application to determine the behavior of a person as a second event.
  • the first evaluation application requires people, animals and vehicles as detected and/or discriminated objects 5a-e, whereby the second evaluation application requires 5a-e people as detected and/or discriminated objects.
  • the second computing unit 13 and/or the event detection module provides feedback data for the two evaluation applications.
  • the event determination module determines an event by applying the evaluation application to the image model 11.
  • the event is, for example, the detection of the occurrence and/or existence of a constellation of objects 5a-e.
  • the evaluation application is designed to detect the entry and/or entry into an area by an object 5a-e, the entry and/or Occurrence forms an event.
  • the occurrence of the event is provided and/or communicated to the validation module 15, whereby the validation module 15 triggers or is triggered to request and evaluate the monitoring image 3 when the event occurs.
  • the validation module 15 then applies the evaluation application, in particular a special module included in the evaluation application, to the monitoring image 3 and determines validation data.
  • the evaluation application in particular a special module included in the evaluation application
  • the validation data includes, for example, the confirmation and/or the denial of the existence of the event and/or additional information and/or data about the scene event.
  • FIG 3 shows a monitoring arrangement 16 comprising the monitoring device 1 and a remote module 17.
  • the monitoring device 1 is based in particular on the exemplary embodiment from Figure 1 and Figure 2, in contrast to which the application module or the extended application module 14 is not part of the camera 2, but part of the remote module 17, for example a cloud.
  • the camera 2 is again designed to record the surveillance image 3 and includes the discrimination module 6a and the image model determination module 6b for determining the image model 11.
  • the camera 2 includes a transmitting module 18 and the remote module 17 includes a receiving module 19.
  • the transmitting module 18 and the receiving module 19 are connected to one another in terms of data technology, the data connection in particular allowing and/or carrying out an encrypted, typographical and/or compressed data transmission.
  • the transmitting module 18 is designed to provide the image model 11 to the remote module 17, in particular to the receiving module 19, in particular to provide it in encrypted and compressed form.
  • the receiving module 19 provides the image module 11 to the second computing unit 13.
  • the second computing unit 1 13 is in turn designed to carry out further evaluations and/or analyzes based on the image model 11.
  • the surveillance image 3 is requested from the camera 2, in particular the transmission module 18, the reception module 19 providing the surveillance image 3 to the validation module 15 and the validation module 15 is designed to apply the evaluation application to the surveillance images 3 and the

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Überwachungsvorrichtung (1) mit einer Kamera (2) zur Aufnahme von mindestens einem Überwachungsbild (3), einer Überwachungsszene (4), wobei die Kamera (2) ein Diskriminierungsmodul (6a) und ein Bildmodellbestimmungsmodul (6b) aufweist, wobei das Diskriminierungsmodul (6a) ausgebildet ist, Objekte (5a-e) in dem Überwachungsbild (3) zu detektieren und für die detektierten Objekte (5a-e) Objektinformationsdaten (7a-e) zu bestimmen, wobei die Objektinformationsdaten (7a-e) eine Objektklasse, einen Objekttyp, eine Objekt-ID (8a-e) und/oder eine Objektgeometrieinformation (9a-e) umfassen, wobei das Bildmodellbestimmungsmodul (6b) ausgebildet ist, basierend auf dem Überwachungsbild (3) ein Bildmodell (11) zu bestimmen, wobei das Bildmodell (11) ein Szenenmodell (12) der Überwachungsszene (4) und die Objektinformationsdaten (7a-e) umfasst.

Description

Beschreibung
Überwachungsvorrichtung, Überwachungsanordnungen, Verfahren, Computerprogramm und Speichermedium
Stand der Technik
Die Erfindung betrifft eine Überwachungsvorrichtung mit einer Kamera zur Aufnahme von mindestens einem Überwachungsbild einer Überwachungsszene.
Die Überwachung von Innen- und Außenbereichen mittels Kameras zu Überwachungszwecken ist weit verbreitet. Während in Anfangszeiten der Videoüberwachung die Kameraaufnahmen vollständig von Überwachungspersonal gesichtet und ausgewertet wurden, werden mittlerweile häufig computerimplementierte Bildauswerteverfahren angewendet, im Speziellen eine auf neuronalen Netzen basierende Bildauswertung. Verfahren und Algorithmen zur Bildauswertung umfassen zumeist eine Vielzahl an Verfahrensschritten, beispielsweise beginnend mit einem Vorverarbeitungsschritt, einer Filterung und einer Skalierung in den einzelnen Frames, wobei häufig zur Weiterverarbeitung, Segmentierungsverfahren, Klassifikationsverfahren und/oder Verfolgungsverfahren Anwendung finden. Zur Auswertung werden die aufgenommenen Videos und/oder Bilder von der Kamera an eine Auswerteeinrichtung gesendet, wobei angesichts der Bild- und Videoqualitäten große Datenmengen zu übertragen sind.
Offenbarung der Erfindung
Es wird eine Überwachungsvorrichtung mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden eine Überwachungsanordnung, ein Verfahren, ein Computerprogramm und ein Speichermedium vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren. Es wird eine Überwachungsvorrichtung vorgeschlagen. Die Überwachungsvorrichtung ist insbesondere zur Aufnahme, Auswertung und/oder Verarbeitung von Bildern und/oder Videos ausgebildet. Insbesondere werden im Folgenden Bilder und Video im Wesentlichen gleichbedeutend verwendet, so dass eine Auswertung und/oder eine Analyse eines Bildes als das Auswerten und Analyse von Frames eines Videos verstanden wird. Die Überwachungsvorrichtung kann ein Hardwaremodul, beispielsweise eine Überwachungskamera bilden oder ein Modul zur Verbindung und/oder Integration in die Überwachungskamera bilden. Alternativ kann die Überwachungsvorrichtung ein Software- Modul bilden, beispielsweise zur Ausführung, Anwendung und/oder Implementierung in der Überwachungskamera.
Die Überwachungsvorrichtung umfasst mindestens eine Kamera, insbesondere eine Überwachungskamera. Im Speziellen bildet die Überwachungsvorrichtung selbst eine Kamera. Die Kamera ist zur Aufnahme von mindestens einem Überwachungsbild, kurz Bild genannt, ausgebildet und/oder eingerichtet. Im Speziellen ist die Kamera zur Aufnahme eines Videos ausgebildet, wobei das Video als eine Vielzahl von Überwachungsbildern verstanden werden kann. Die Kamera nimmt eine Überwachungsszene als das Überwachungsbild auf. Die Überwachungsszene kann beispielsweise einen Innenbereich und/ oder einen Außenbereich umfassen oder bilden. Insbesondere umfasst die Überwachungsszene statische und bewegliche Objekte, wobei die beweglichen und dynamischen Objekte genannt werden. Ferner kann die Überwachungsszene aufgeteilt werden in einen Hintergrund und einen Vordergrund, wobei der Hintergrund insbesondere statische Objekte umfasst. Das Überwachungsbild ist insbesondere ein hochauflösendes Überwachungsbild, beispielsweise mit einer Qualität von mindestens 4K oder HD.
Die Überwachungsvorrichtung, im Speziellen die Kamera, umfasst eine erste und eine zweite Computingeinheit. Insbesondere bilden die erste und die zweite Computingeinheiten getrennte und/oder separate Einheiten, insbesondere getrennte und/oder separate Hardwareeinheiten, Hardwarebausteine, Rechner- und/oder Prozessoreinheiten. Vorzugsweise umfassen die erste und die zweite Computingeinheit jeweils eigene und/oder unabhängige Systemressource, wie Prozessoren und/oder Speicher. Die erste und die zweite Computingeinheit sind über eine Feedbackverbindung datentechnisch verbunden. Die Feedbackverbindung ist beispielsweise als Drahtgebundene Verbindung, als Leiterbahn oder als drahtlose Verbindung ausgebildet. Im Speziellen ist die Feedbackverbindung als eine bidirektionale Verbindung ausgebildet.
Die erste Computingeinheit umfasst ein Diskriminierungsmodul und ein Bildmodellbestimmungsmodul. Im Speziellen können Diskriminierungsmodul und Bildmodellbestimmungsmodul ein gemeinsames Modul bilden. Das Diskriminierungsmodul und/oder das Bildmodellbestimmungsmodul können Hardware- oder Softwaremodule bilden. Besonders bevorzugt sind das Diskriminierungsmodul und/oder das Bildmodellbestimmungsmodul zur Anwendung eines Algorithmus des maschinellen Lernens ausgebildet und/oder eingerichtet und/oder umfassen ein neuronales Netz.
Das Diskriminierungsmodul ist ausgebildet, das Überwachungsbild, die Überwachungsbilder und/oder das Video auszuwerten und/oder zu analysieren, insbesondere Verfahren der Bildauswertung, Objekterkennung und/oder Objektverfolgung anzuwenden. Das Diskriminierungsmodul ist ausgebildet, in dem Überwachungsbild, Objekte zu detektieren, zu diskriminieren und/oder zu klassifizieren. Beispielsweise ist das Diskriminierungsmodul ausgebildet, das Überwachungsbild zu segmentieren und/oder Merkmale von Objekten in dem Überwachungsbild zu bestimmen, wobei basierend auf den bestimmten Merkmalen die Objekte detektiert, festgelegt und/oder lokalisiert werden.
Das Diskriminierungsmodul ist ausgebildet, für die detektierten, diskriminierten und/oder klassifizierten Objekte Objektinformationsdaten zu bestimmen, insbesondere für jedes der detektierten Objekte jeweils separate und/oder eigene Objektinformationsdaten zu bestimmen. Die Objektinformationsdaten umfassen und/oder bilden vorzugsweise alphanumerische Daten. Die Objektinformationsdaten umfassen und/oder beschreiben jeweils eine Objektklasse des zugehörigen detektierten Objektes und/oder einen Objekttyp des zugehörigen detektierten Objektes, eine Objekt-ID und/oder eine Objektgeometrieinformation. Die Objektklasse beschreibt beispielsweise zu welcher Klasse von Objekten das jeweilige Objekt gehört, insbesondere sind die Klassen benutzerdefiniert festlegbar. Beispielsweise können als Objektklasse statisches, bewegtes und/oder dynamisches Objekt Verwendung finden, alternativ und/oder ergänzend können als Objektklassen beispielsweise Mensch, Gesicht, Fahrzeug, sicherheitsrelevantes Ereignis, Schusswaffe oder Gepäckstück verwendet werden. Die Objekt-ID bildet insbesondere eine eindeutige Identifikationsmöglichkeit, beispielsweise Nummer, Bezeichnung oder ähnliches. Beispielsweise werden die detektierten Objekte fortlaufend durchnummeriert. Die Objektgeometrieinformation beschreibt und/oder umfasst mindestens eine Information zur Geometrie des Objektes, beispielsweise eine Größe, Position, Form und/oder eine Beziehung zu einem weiteren der detektierten Objekte.
Das Bildmodellbestimmungsmodul ist ausgebildet und/oder eingerichtet, ein Bildmodell zu bestimmen. Dem Bildmodellbestimmungsmodul sind hierzu die Objektinformationsdaten bereitgestellt, ferner sind ihm das Überwachungsbild bereitgestellt, im speziellen auch die detektierten Objekte und/oder ermittelte Objektbereiche zu den detektierten Objekten. Das Bildmodell wird insbesondere basierend auf dem Überwachungsbild, im Speziellen dem Video, sowie den Objektinformationsdaten bestimmt. Das Bild bildet und/oder beschreibt insbesondere ein Szenenmodell, kurz ein Modell der Überwachungsszene. Ferner umfasst das Bildmodell die Objektinformationsdaten und/oder eine Teilmenge der Informationen umfasst von den Objektinformationsdaten. Im Speziellen bildet das Szenenmodell eine Abstraktion der Überwachungsszene, insbesondere aufweisend eine geringere Datengröße, verallgemeinerte Bereiche und/oder Abschnitte, Zusammenfassungen und/oder eine Repräsentation von Bereichen durch Symbole, Datensätze oder anderweitigen Repräsentanten. Im Speziellen wurden vom Diskriminierungsmodul und/oder dem Bildmodellbestimmungsmodul für die detektierten Objekte jeweils Objektbereiche bestimmt, beispielsweise in Form von Bounding-Boxen. Beispielsweise ist das Bildmodellbestimmungsmodul ausgebildet, im Szenenmodell, statt den Bildinhalt der Objektbereiche die Objektinformationsdaten wiederzugeben, wobei der Bildinhalt beispielsweise vereinfacht, verfremdet, entfernt oder geschwärzt ist. Insbesondere kann das Szenenmodell eine Beschreibung der Überwachungsszene mittels der Objektinformationsdaten bilden, beispielsweise den Aufbau der Überwachungsszene durch die Objektinformationsdaten und deren Verhältnisse beispielsweise basierend auf den Objektgeometrieinformationen. Insbesondere sind die Objekte und/oder die Objektbereiche in dem Szenenmodell vereinfacht umfasst und/oder repräsentiert, insbesondere in Form der Objektinformationsdaten. Beispielsweise und/ oder beschreibt das Szenenmodell, dass in der Überwachungsszene zwei Objekte vorhanden sind, eines der Objektklasse Auto und eines der Objektklasse Person, wobei für die Objekte jeweils Position, Größe und Orientierung durch die Objektinformationsdaten festgelegt und/oder beschrieben sind.
Die zweite Computingeinheit umfasst ein Ereignisdetektionsmodul. Das Ereignisdetektionsmodul ist insbesondere als Software- oder Hardwaremodul ausgebildet. Der zweiten Computingeinheit ist von der ersten Computingeinheit und/oder dem Bildmodellbestimmungsmodul das Bildmodell und/oder die Objektinformationsdaten bereitgestellt. Das Ereignisdetektionsmodul ist ausgebildet basierend auf dem Bildmodell, insbesondere der Auswertung des Bildmodells, ein oder mehrere Ereignisse zu detektieren und/oder zu bestimmen. Die Ereignisse sind beispielsweise Ereignisse in der Überwachungsszene und/oder Ereignisse des Objektes und/oder Ereignisse zwischen Objekten. Beispielsweise ist das Ereignis das Übertreten einer physischen und/oder virtuellen Grenze. Hierzu wurden von dem Diskriminierungsmodul beispielsweise Objekte in Menschen und Nichtmenschen unterschieden, klassifiziert und/oder diskriminiert.
Die zweite Computingeinheit, im Speziellen das Ereignisdetektionsmodul, ist ausgebildet und/oder eingerichtet, der ersten Computingeinheit, dem Diskriminierungsmodul und/oder dem Bildbestimmungsmodul Feedbackdaten bereitzustellen, zu übertragen und/oder zu senden. Insbesondere werden die Feedbackdaten über die Feedbackverbindung bereitgestellt und/oder übertragen.
Feedbackdaten der zweiten Computingeinheit umfassen insbesondere statische Informationen über notwendige Diskriminierungsinformationen und/oder dynamisches Feedback, welches sich aus der Situation ergibt. Insbesondere benötigt eine Unfallerkennung grundsätzlich die Information über die Position von Fahrzeugen, Fußgängern und gegebenenfalls Tieren. Anhand der Position der erkannten Objekte kann ein Unfall zumindest abgeschätzt werden, insbesondere durch das Überlappen der Objekte. Die Feedbackdaten umfassen hier die nötigen Objektklassen und zusätzliche Informationen insbesondere die Position der erkannten Objekte und deren Größe.
Für dynamische Feedbackdaten wird insbesondere von statischen Informationen über notwendige Diskriminierungsinformationen ausgegangen, die zusätzlich analysiert werden. Insbesondere kann eine Gesichtserkennung eingeschaltet werden, wenn eine Person in einem bestimmten Bereich erkannt wurde. Die Gesichtserkennung findet also nicht grundsätzlich für den kompletten Videostrom statt, sondern wird nur dann aktiviert, wenn bestimmte vorangehende Ereignisse erkannt worden sind. Die Feedbackdaten umfassen hierbei nicht nur die benötigte Diskriminierung (die Daten des Gesichts), sondern zusätzlich Informationen für welches Objekt oder für welchen Bereich diese Diskriminierung erfolgen muss, falls das Objekt eindeutig identifizierbar ist.
Die Erfindung basiert auf der Überlegung, Bilder und Videos bereits kameraseitig, vor ihrer Übertragung und/oder in unmittelbarer Nähe zur Kamera zu einem Szenenmodell zu verarbeiten, wobei das Szenenmodell die wesentlichen und/oder relevanten Informationen der Objekte in der Überwachungsszene beschreibt und/oder umfasst, so dass zur weiteren Verwendung und/oder Auswertung nicht die hochauflösenden Überwachungsbilder und/oder Videos zu übertragen sind, sondern das Szenenmodell mit geringerer Größe. Insbesondere basiert die Erfindung auf der Überlegung, dass die meisten Verfahren zur Überwachung und/oder Bildauswertung mehrere Verfahrensschritte umfassen, wobei häufig den unterschiedlichen Schritten und/oder Verfahren gemeinsam ist, dass die Datenmenge sich in jedem Schritt signifikant reduziert, der Informationsgehalt und/oder die semantische Bedeutung der Daten nach jedem Schritt signifikant zunimmt und die Verfahrensschritte nach jedem Schritt spezifischer werden. Die Erfindung nutzt die Überlegung, dass insbesondere die anfänglichen Schritte, hier Detektion von Objekten und Objektinformationsdaten, im Wesentlichen generisch und/oder ähnlich für alle nachfolgenden Verfahrensschritte sind, so dass sie gemeinsam vom Diskriminierungsmodul übernommen werden können und die weiteren Verfahrensschritte auf das daraus resultierende Szenenmodell angewendet werden können. Besonders bevorzugt ist es, dass das Diskriminierungsmodul ausgebildet ist, die detektierten Objekte, insbesondere die bewegten und/oder dynamischen Objekte, zu verfolgen. Insbesondere wird unter Verfolgung des Objektes ein Tracken des Objektes, die Bestimmung der Positionsveränderung des Objektes bezüglich zeitlich beanstandet aufgenommenen Bilder verstanden und/oder das Bestimmen einer Trajektorie des Objektes verstanden. Für die detektierten Objekte werden vom Diskriminierungsmodul Trackingdaten bestimmt und/oder ermittelt, wobei die Trackingdaten vorzugsweise weiteren Modulen und/oder Algorithmen bereitgestellt sind und/oder werden. Insbesondere umfassen die Objektinformationsdaten die Trackingdaten des zugehörigen Objekts. Beispielsweise umfassen die Objektinformationsdaten als Trackingdaten die Veränderung der Position des Objekts und/oder des Objektbereichs über die Zeit, insbesondere bezüglich zwei aufeinanderfolgenden Überwachungsbildern.
Besonders bevorzugt ist es, dass das Bildmodell und/oder das Szenenmodell eine symbolische Repräsentation der Überwachungsszene bildet und/oder umfasst, im Speziellen, dass die Objekte und/oder Objektbereiche der Überwachungsszene und/oder des Überwachungsbildes in Bildmodell und/oder im Szenenmodell als symbolische Repräsentation umfasst sind. Beispielsweise können die symbolischen Repräsentationen als ein alphanumerischer Datensatz umfassend die Objektinformationsdaten ausgebildet sein. Alternativ und/oder ergänzend umfassen die symbolischen Repräsentationen beispielsweise vereinfachte Piktogramme oder Objektbereiche ohne Bildinhalt, so dass im Bildmodell beispielsweise die Objektbereiche der detektierten Objekte, im Speziellen deren Bildinhalt, entfernt und/oder vereinfacht ist. Beispielsweise ist das Bildmodell als das Überwachungsbild mit vereinfacht dargestellten Bildinhalt, beispielsweise in Form von Piktogrammen ausgebildet. Das Bildmodell und/oder das Szenenmodell ist somit als eine vereinfachte Version des Überwachungsbildes ausgebildet, wobei die detektierten Objekte in Form der Objektinformationsdaten umfasst sind, so dass die entsprechend entfernten und/oder vereinfachten Objektbereiche mittels der Objektinformationsdaten weiter verwertbar und/oder auswertbar sind. Beispielsweise sind einem der Objektbereich als Objektinformationsdaten zugeordnet Objektklasse Auto, Objekt-ID 2 und als Objektgeometrieinformation eine Größe, Orientierung und/oder Position innerhalb der Überwachungsszene und/oder des Überwachungsbildes. Ein solches Bildmodell kann von Applikationen und/oder Bildauswerteverfahren zur Auswertung herangezogen werden, da die entsprechenden Objektbereiche auch ohne Vorhandensein und Übertragen des eigentlichen Bildinhaltes die wesentlichen generischen Informationen und/oder Features umfasst.
Insbesondere ist es vorgesehen, dass das Bildmodell, das Szenenmodell und/oder die Objektinformationsdaten die detektierten Objekte als symbolische Repräsentanten umfassen und/oder beschreiben. Beispielsweise sind die Objektbereiche bzw. die Bildinhalte der Objektbereiche durch symbolische Repräsentanten ersetzt, wobei die symbolischen Repräsentanten beispielsweise einfache Piktogramme, einfarbige, regelmäßige und/oder unregelmäßige Flächen bilden. Im speziellen werden Repräsentant und Repräsentationen als gleichbedeutend verstanden. Insbesondere basiert diese Ausgestaltung auf der Überlegung, dass zur Datenreduktion die Bildinhalte der Objektbereiche nicht länger übertragen werden müssen, wenn symbolische Repräsentanten verwendet werden, insbesondere ist bei der Verwendung von symbolischen Repräsentanten beispielsweise einfachen Piktogrammen, eine intuitive Interpretation durch das Überwachungspersonal weiterhin möglich.
Besonders bevorzugt ist es, dass die Geometrieinformationsdaten für das jeweilige Objekt eine Objektgröße, eine Objektposition, eine Objektorientierung und/oder eine Z-Ordnung umfassen und/oder beschreiben. Die Objektgröße beschreibt beispielsweise eine Ausdehnung und/oder Größe des Objektes, vorzugsweise im Bildraum, beispielsweise in der Einheit Pixel. Die Objektgröße kann beispielsweise Teilgrößen wie Breite, Höhe und Objektform umfassen. Die Objektposition ist insbesondere die Position des Objektes, des Objektsbereichs und/oder eines Mittelpunktes und/oder Schwerpunkt des Objektbereiches innerhalb und/oder in Bezug auf die Überwachungsszene, das Überwachungsbild, ein Bildkoordinatensystem oder ein Referenzkoordinatensystem. Die Objektorientierung beschreibt beispielsweise die Orientierung des Objektes bezüglich einer Referenzorientierung, beispielsweise festgelegt durch das Überwachungsbild. Die Objektorientierung umfasst beispielsweise eine relative Verdrehung von Länge und Breite des Objekts bezüglich des Bildkoordinatensystems und/oder Referenzkoordinatensystems. Die Objektorientierung, die Objektgröße und/oder die Objektposition ist insbesondere relativ zu einem Referenzobjekt oder den oder dem weiteren detektierten Objekt angegeben. Die Geometrieinformationsdaten erlauben insbesondere die Anordnung der im Überwachungsbild gezeigten Objekte vereinfacht aber rekonstruierbar wiederzugeben.
Vorzugsweise ist die zweite Computingeinheit und/oder das Ereignisdetektionsmodul ausgebildet, die erste Computingeinheit, das Diskriminierungsmodul und/oder das Bildmodellbestimmungsmodul basierend auf den Feedbackdaten und/oder mittels der Feedbackdaten anzupassen, zu konfigurieren und/oder zu optimieren. Beispielsweise ist die zweite Computingeinheit und/oder das Ereignisdetektionsmodul ausgebildet, mittels der Feedbackdaten das Diskriminierungsmodul zur Detektion, Diskriminierung und/oder Klassifizierung von bestimmten und/oder zur Ereignisbestimmung benötigten Objekten anzupassen und/oder zu konfigurieren, beispielsweise die Menge der zu detektierenden, diskriminierenden und/oder klassifizierenden Objekte einzuschränken.
Besonders bevorzugt ist das Ereignisdetektionsmodul ausgebildet mindestens eine Auswerteapplikation auszuführen und/oder anzuwenden, insbesondere zur Bestimmung des Ereignisses auf das Bildmodells anzuwenden. Die Auswerteapplikationen sind insbesondere austauschbar, ergänzbar und/oder individuell beziehbar, beispielsweise aus einem App Store. Die Auswerteapplikationen sind insbesondere Applikationen zur spezifischen Auswertung des Bildes, beispielsweise zur Gesichtserkennung, Personenerkennung, Objektverfolgung und/oder zur Erkennung von bestimmten Ereignissen, wie z.B. einem Brand, einer Panik oder einer Schießerei.
Beispielsweise ist die Auswerteapplikation zur Bestimmung des Betretens eines Bereiches ausgebildet, beispielsweise als eine virtueller Stolperschnur (Tripwire), wobei statt der Auswertung der eigentlichen Überwachungsbilder die Auswerteapplikation das Bildmodell auswertet, da die Objektinformationsdaten genügend Informationen und/oder Details zur Ausführung der Aufgabe umfassen und bestimmbar ist, ob in einem bestimmten Bereich ein Objekt eingetreten ist und/oder ob es sich bei dem Objekt um eine berechtigte oder unberechtigte Person handelt. Besonders bevorzugt ist es, dass das Ereignisdetektionsmodul und/oder die zweite Computingeinheit ausgebildet ist, die Feedbackdaten, insbesondere an die erste Computingeinheit, das Diskriminierungsmodul und/oder das Ereignisdetektionsmodul, bereitzustellen, zu senden und/oder zu übertragen, wenn eine Auswerteapplikation gestartet, initialisiert, installiert und/oder registriert wird. Alternativ und/oder ergänzend überträgt und/oder sendet die zweite Computingheinheit und/oder das Ereignisdetektionsmodul die Feedbackdaten, wenn von das Bildmodell empfangen wird, insbesondere erstmalig empfangen wird und/oder sich das empfangene Bildmodell mehr als eine tolerierte Änderung ändert.
Insbesondere ist es vorgesehen, dass die Überwachungsvorrichtung ein Validierungsmodul aufweist. Dabei ist das Ereignisdetektionsmodul beispielsweise ausgebildet, ein Ereignis, insbesondere auch Szenenereignis genannt, zu detektieren. Beispielsweise wird zur Detektion des Szenenereignisses die Auswerteapplikation auf das Bildmodell angewendet. Das Szenenereignis ist beispielsweise das Eintreten eines Ereignisses, dass die Auswerteapplikation bestimmen soll, beispielsweise das Betreten des Bereiches oder einen Brand. Das Validierungsmodul ist ausgebildet und/oder eingerichtet, im Falle der Detektion des Szenenereignisses die Auswertung und/oder die Anwendung der Auswerteapplikation auf das zu dem Bildmodell gehörigen Überwachungsbild anzuwenden und Validierungsdaten zu bestimmen. Das Validierungsmodul überprüft mit anderen Worten nach der Detektion des Szenenereignisses basierend auf dem Bildmodell, ob das Szenenereignis tatsächlich eingetreten ist, indem die Überwachungsbilder, selbst ausgewertet werden. Die Validierungsdaten beschreiben und/oder umfassen beispielsweise die Ergebnisse der Anwendung der Auswerteapplikation auf das Überwachungsbild, insbesondere eine Aussage, ob das Szeneereignis tatsächlich eingetreten ist oder fälschlicherweise als solches von der Auswerteapplikation basierend auf dem Bildmodell detektiert wurde. Diese Ausgestaltung basiert auf der Überlegung, dass erst bei Feststellung eines Ereignisses und/oder der positiven Anwendung der Auswerteapplikation auf die vereinfachten Daten, hier das Bildmodell, die Auswertung und/oder Übertragung der datenintensiveren Überwachungsbilder veranlasst wird. Besonders bevorzugt ist es, dass die Auswerteapplikation ein Basismodul und ein Spezialmodul aufweist. Beispielsweise ist das Basismodul eine vereinfachte Version und/oder Abstraktion des Spezialmoduls und/oder der Auswertung durch das Spezialmodul. Beispielsweise ist das Basismodul zur vereinfachten Auswertung von Bildern, im Speziellen dem Bildmodell, ausgebildet, wobei das Spezialmodul zur detaillierteren Auswertung ausgebildet und/oder eingerichtet ist. Im Speziellen ist das Spezialmodul zur Anwendung auf das Überwachungsbild statt zur Anwendung auf das Bildmodell ausgebildet. Dabei ist es beispielsweise vorgesehen, dass das Validierungsmodul zur Bestimmung der Validierungsdaten das Spezialmodul auf das Überwachungsbild anwendet, während das Diskriminierungsmodul zur Anwendung der Auswerteapplikation auf das Bildmodell das Basismodul auf das Bildmodell anwendet.
Einen weiteren Gegenstand der Erfindung bildet eine Überwachungsanordnung mit der Überwachungsvorrichtung und einem Remotemodul. Das Remotemodul ist beispielsweise als ein Zentralrechner oder eine Cloud ausgebildet. Insbesondere sind die Überwachungsvorrichtung und das Remotemodul datentechnisch zur drahtgebundenen oder drahtlosen Datenübertragung verbunden. Die Überwachungsvorrichtung umfasst hierzu ein Sendemodul zur Bereitstellung des Bildmodells an das Remotemodul. Das Remotemodul umfasst ein Remoteapplikationsmodul, wobei das Remoteapplikationsmodul vorzugsweise wie das Applikationsmodul der Überwachungsvorrichtung ausgebildet und/oder eingerichtet ist. Das Remoteapplikationsmodul ist ausgebildet und/oder eingerichtet, Auswerteapplikationen, insbesondere Auswerteapplikationen wie für das Applikationsmodul der Überwachungsvorrichtung beschrieben, auszuführen und/oder anzuwenden. Das Remoteapplikationsmodul wendet die Auswerteapplikation auf das Bildmodell an. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass kameraseitig, bzw. auf Seite der Überwachungsvorrichtung, die Vorverarbeitung des Überwachungsbildes erfolgt und die Bereitstellung und Bestimmung des Bildmodells erfolgt. Dieses Bildmodell, welches einen geringeren Speicherplatz benötigt, wird dann an das Remotemodul zur weiteren Verwendung und/oder Auswertung bereitgestellt, sodass weniger Daten als zur Übertragung des Überwachungsbildes zu übertragen sind. Auf dem Remotemodul, bzw. mittels des Remoteapplikationsmoduls, erfolgt dann die weitere Auswertung in dem die Auswerteapplikation auf das bereitgestellte Bildmodell angewendet wird. Beispielsweise wird zur Anwendung der Auswerteapplikation ein erhöhter Bedarf an Rechen- und/oder Speicherleistung benötigt, der insbesondere nicht auf der Überwachungsvorrichtung bzw. der Kamera verfügbar wäre, so dass die rechen- und/oder speicherintensiven Teile der Auswertung zentral durchgeführt werden.
Insbesondere ist das Sendemodul ausgebildet und/oder eingerichtet, das Bildmodell verschlüsselt, fotografisch und/oder komprimiert an das Remotemodul bereitzustellen und/oder zu senden. Beispielsweise basiert dies auf einem Schlüsselaustausch zwischen Sendemodul und Remotemodul. Im Speziellen ist es vorgesehen, dass das Remoteapplikationsmodul ein Remotevalidierungsmodul umfasst, wobei das Remotevalidierungsmodul ausgebildet und/oder eingerichtet ist wie das Validierungsmodul der Überwachungsvorrichtung. Das Remotevalidierungsmodul ist ausgebildet und/oder eingerichtet, basierend auf der Detektion eines Szenenereignisses durch die Auswerteapplikation eine Auswertung des Überwachungsbildes und/oder die Anwendung der Auswerteapplikation auf das Überwachungsbild zu veranlassen, beispielsweise das Sendemodul zur Bereitstellung des Überwachungsbildes an das Remotemodul zu veranlassen. Dies basiert auf der Überlegung, dass im Falle der Detektion eines spezifischen Ereignisses, beispielsweise der Erkennung einer Person basierend auf dem Bildmodell, zur Überprüfung die Auswertung der originalen Daten, hier des Überwachungsbildes erfolgt und/oder veranlasst wird.
Einen weiteren Gegenstand der Erfindung bildet ein Verfahren, wobei mindestens ein Überwachungsbild zeigend und/oder umfassend eine Überwachungsszene aufgenommen wird. Basierend auf dem Überwachungsbild und/oder in dem Überwachungsbild werden Objekte detektiert, wobei für die detektierten Objekte die Objektinformationsdaten wie vorher beschrieben bestimmt und/oder ermittelt werden. Basierend auf den Überwachungsbildern und/oder für das Überwachungsbild wird ein Bildmodell ermittelt und/oder bestimmt, wobei das Bildmodell ein Szenenmodell der Überwachungsszene umfasst und/oder bildet und/oder die Objektinformationsdaten umfasst.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, wobei das Computerprogramm einen Programmcode umfasst. Das Computerprogramm ist ausgebildet und/oder eingerichtet, bei seiner Ausführung auf einem Computer, der Überwachungsvorrichtung und/oder der Überwachungsanordnung die Verfahrensschritte auszuführen, anzuwenden und/oder zu implementieren.
Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium, insbesondere ein maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm gespeichert ist.
Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
Figur 1 schematische Darstellung eines Ausführungsbeispiels einer Überwachungsvorrichtung;
Figur 2 weiteres Ausführungsbeispiel umfassend ein Validierungsmodul;
Figur 3 Ausführungsbeispiel einer Überwachungsvorrichtung als Teil einer Überwachungsanordnung.
Figur 1 zeigt ein Ausführungsbeispiel einer Überwachungsvorrichtung 1. Die Überwachungsvorrichtung 1 ist zur Überwachung eines Innen- oder Außenbereichs ausgebildet, insbesondere zur video- und/oder bildbasierenden Überwachung des Bereichs, beispielsweise zur Verfolgung, Personenerkennung oder Übernahme anderweitiger Überwachungsaufgaben. Hierzu umfasst die Überwachungsvorrichtung 1 eine Kamera 2. Die Kamera 2 ist beispielsweise als eine schwenkbare und/oder zoombare Kamera ausgebildet, insbesondere als eine Farbkamera. Die Kamera 2 ist angeordnet und ausgebildet, ein Überwachungsbild 3 aufzunehmen und bereitzustellen, insbesondere ist das Überwachungsbild 3 Teil eines Videos, wobei das Video als eine Abfolge von Überwachungsbildern 3 verstanden wird. Das Überwachungsbild 3 zeigt eine Überwachungsszene 4, wobei die Überwachungsszene 4 Teil des Überwachungsbereiches ist. Die Überwachungsszene 4 zeigt und/oder umfasst eine Mehrzahl an Objekten 5a-e, die unterschiedlichen Objekte, insbesondere unterschiedliche Objekttypen bzw. Kategorien angehören. Insbesondere umfasst die Überwachungsszene 4 und das Überwachungsbild 3 einen Hintergrund. Die Überwachungsvorrichtung 1 , insbesondere die Kamera 2 umfasst eine erste Computingeinheit 6. Die erste Computingeinheit 6 umfasst ein Diskriminierungsmodul 6a und ein Bildmodellbestimmungsmodul 6b. Das Überwachungsbild 3 ist dem Diskriminierungsmodul 6a bereitgestellt. Das Diskriminierungsmodul 6a ist ausgebildet, eine Objekterkennung auf das Überwachungsbild 3 bzw. das Video, anzuwenden. Das Diskriminierungsmodul 6a detektiert, diskriminiert und/oder klassifiziert basierend auf dem Überwachungsbild 3 die Objekte 5a-e, beispielsweise basierend auf einem neuronalen Netz und/oder anderweitigen Algorithmen und/oder Verfahren der Objekterkennung. Ferner ist das Diskriminierungsmodul 6a ausgebildet basierend auf dem Überwachungsbild 3 die Objekte 5a-e zu klassifizieren, zu identifizieren und/oder zu verfolgen.
Das Diskriminierungsmodul 6b ist ausgebildet, für die detektierten Objekte 5a-e, Überwachungsbilder 3, Objektinformationsdaten 7a-e zu bestimmen. Vorzugsweise sind die Objektinformationsdaten 7a-e alphanumerische Daten und/oder Metadaten des Überwachungsbildes 3 und/oder der gezeigten Objekte 5a-e im Überwachungsbild 3. Beispielsweise beschreiben und/oder bilden die Objektinformationsdaten 7a-e die Ergebnisse der Objekterkennung, beispielsweise Ausgaben einer Schicht des angewendeten neuronalen Netzes.
Die Objektinformationsdaten 7a-e umfassen eine Objektklasse, wobei die Objektklasse beschreibt, zu welcher Klasse das zugehörige Objekt 5 gehört, beispielsweise durch Zuordnung eines Klassennamens. Als Objektklassen sind im vorliegenden Beispiel den Objekt 5a die Klasse Person, den Objekt 5b die Klasse Hund, den Objekt 5c die Klasse Pflanze, dem Objekt 5d steht die Klasse PKW und dem Objekt 5e die Klasse Eimer angeordnet. Ferner umfassen die Objektinformationsdaten 7a-e eine Objekt-ID 8a-8e. Die Objekt-ID ist beispielsweise eine eindeutige Nummer für das Objekt 5a-e und/oder für den Datensatz der Objektinformationsdaten 7a-e. Ferner umfassen die Objektinformationsdaten 7a-e für das zugehörige Objekt 5a-e je eine Objektgeometrieinformation 9a-e. Die Objektgeometrieinformation 9a-e ist beispielsweise als eine Bounding Box bestimmt und/oder ausgebildet, wobei ferner eine Information zur Orientierung, Position und/oder Abständen zu anderen Objekten von den Objektgeometrieinformationen 9a-e umfasst sind. Beispielsweise umfassen und/oder beschreiben die Objektinformationsdaten 7a-e für das Objekt 5a die Größe, Form, Orientierung und Position der Bounding Box für das Objekt 5a, die Information, dass es sich um eine Person als Objektklassen handelt und die Objekt-ID 8a-e trägt und/oder umfasst.
Das Bildmodellbestimmungsmodul 6b ist zur Bestimmung eines Bildmodells 11 ausgebildet. Das Bildmodellbestimmungsmodul 6b ermittelt das Bildmodell 11 basierend auf dem Überwachungsbild 3 und den Objektinformationsdaten 7a-e. Das Bildmodell 11 bildet ein Modell und/oder eine Abstraktion der Überwachungsszene 4 des Überwachungsbildes 3, in welchem die Objekte 5a-e abstrahiert umfasst sind in Form der Objektinformationsdaten 7a-e. Statt der Bildinformationen, des Bildinhalts und/oder der einzelnen Pixel des Überwachungsbildes 3, insbesondere der Objekte 5a-e sind die Objekte 5a-e und/oder deren Objektbereiche als Metadaten im Bildmodell 11 umfasst und/oder dargestellt, wobei die Metadaten die Objektinformationsdaten umfassen. Insbesondere bildet und/oder beschreibt das Bildmodell 11 so ein Szenenmodell 12, in welchem die wesentlichen Inhalte des Überwachungsbildes 3 dargestellt und/oder wiedergegeben sind, insbesondere Abstände und/oder Größenverhältnisse von Objekten 5a-e, die wiedergegeben und erhalten sind, Objekte 5a-e abstrakt anhand der Objektklasse und/oder des Objekttyps beschrieben sind und die Objekte 5a-e mittels ihrer IT eindeutig identifizierbar.
Die Überwachungsvorrichtung 1 , insbesondere die Kamera 2, umfasst eine zweite Computingeinheit 13. Die zweite Computingeinheit 13 umfasst ein Ereignisdetektionsmodul und ist ausgebildet, mindestens eine Auswerteapplikation auszuführen und/oder anzuwenden. Die Auswerteapplikation ist beispielsweise eine Applikation der bildbasierten Überwachung und/oder der Bildauswertung. Beispielsweise ist die Auswerteapplikation ausgebildet das Betreten eines festlegbaren Bereiches durch eine Person oder ein Objekt 5a-e basierend auf dem Überwachungsbild 3 und/oder dem Bildmodell 11 zu bestimmen. Hierzu wendet des Ereignisdetektionsmodul die Auswerteapplikation auf das Bildmodell 11 an und bestimmt die zu ermittelnden Größen, beispielsweise das Betreten eines Bereiches. Statt der Anwendung der Auswerteapplikation auf das Überwachungsbild 3 oder bei paralleler Anwendung und/oder Ausführung von Auswerteapplikationen durch das Applikationsmodul auf das Überwachungsbild 3, wendet das Applikationsmodul die Auswerteapplikation und/oder die Auswerteapplikationen auf das Bildmodell 11 an, so dass die grundlegenden Verfahrensschritte über die Objektdetektion, Klassifikation und/oder Verfolgung bereits durchgeführt sind.
Die erste und die zweite Computingeinheit 6, 13 sind über eine Feedbackverbindung 14 zur Übertragung von Daten, insbesondere zur Übertragung des Bildmodells 11 und von Feedbackdaten. Die Feedbackdaten werden von der zweiten Computingeinheit 13, insbesondere dem Ereignisdetektionsmodul, an die erste Computingeinheit 6, im Speziellen an das Diskriminierungsmodul 6a bereitgestellt und/oder gesendet.
Insbesondere ist die zweite Computingeinheit 13, im Speziellen das Ereignisdetektionsmodul, ausgebildet eine Mehrzahl an Auswerteapplikationen zur Bestimmung von Ereignissen auszuführen und/oder anzuwenden, insbesondere zur Bestimmung unterschiedlicher Ereignisse. Beispielweise wendet das Ereignisdetektionsmodul eine erste Auswerteapplikation zur Bestimmung eines Überschreitens einer Grenze und/oder Linie als ein erstes Ereignis an und eine zweite Auswerteapplikation zur Verhaltensbestimmung einer Person als zweites Ereignis an. Die erste Auswerteapplikation benötigt als detektierte und/oder diskriminierte Objekte 5a-e Personen, Tiere und Fahrzeuge, wobei die zweite Auswerteapplikation als detektierte und/oder diskriminierte Objekte 5a-e Personen benötigt. Hierzu werden von der zweiten Computingeinheit 13 und/oder dem Ereignsdetektionsmodul Feedbackdaten für die zwei Auswerteapplikationen bereitstellt.
Figur 2 zeigt ein Ausführungsbeispiel der Überwachungsvorrichtung 1 , insbesondere angelehnt und/oder basierend auf dem Ausführungsbeispiel aus Figur 1 im Unterschied hierzu umfasst die die zweite Computingheinheit 13 ein Validierungsmodul 15. Das Diskriminierungsmodul 6 und das Bildmodellbestimmungsmodul 6b sind wie in Figur 1 ausgebildet und zur Ermittlung des Bildmodells 11 ausgebildet. Das Ereignisbestimmungsmodul bestimmt durch Anwenden der Auswerteapplikation auf das Bildmodell 11 ein Ereignis. Das Ereignis ist beispielsweise das Feststellen des Eintretens und/oder Vorliegens einer Konstellation der Objekte 5a-e. Beispielsweise ist die Auswerteapplikation ausgebildet das Eintreten und/oder Betreten eines Bereiches durch ein Objekt 5a-e zu detektieren, wobei das Betreten und/oder Eintreten ein Ereignis bildet Das Eintreten des Ereignisses ist dem Validierungsmodul 15 bereitgestellt und/oder mitgeteilt, wobei das Validierungsmodul 15 triggert oder getriggert wird bei Eintreten des Ereignis das Überwachungsbild 3 anzufordern und auszuwerten. Das Validierungsmodul 15 wendet dann die Auswerteapplikation, im Speziellen ein Spezialmodul umfasst von der Auswerteapplikation, auf das Überwachungsbild 3 an und bestimmt Validierungsdaten. Durch das Anwenden der Auswerteapplikation auf das Überwachungsbild 3 kann gezielt die rechenintensivere Auswertung der tatsächlichen Bilddaten erst dann ausgeführt und/oder angewendet werden, wenn vermutet werden kann, dass das Ereignis eingetreten ist. Die Validierungsdaten umfassen beispielsweise die Bestätigung und/oder das Verneinen des Vorliegens des Ereignisses und/oder ergänzende Informationen und/oder Daten zu dem Szenenereignis.
Figur 3 zeigt eine Überwachungsanordnung 16 umfassend die Überwachungsvorrichtung 1 und ein Remotemodul 17. Die Überwachungsvorrichtung 1 ist insbesondere angelehnt an das Ausführungsbeispiel aus Figur 1 und Figur 2, wobei im Unterschied hierzu das Applikationsmodul bzw. das erweiterte Applikationsmodul 14 nicht Teil der Kamera 2 ist, sondern Teil des Remotemoduls 17, beispielsweise einer Cloud.
Die Kamera 2 ist wieder zur Aufnahme des Überwachungsbildes 3 ausgebildet und umfasst das Diskriminierungsmodul 6a und das Bildmodellbestimmungsmodul 6b zur Bestimmung des Bildmodells 11. Die Kamera 2 umfasst ein Sendemodul 18 und das Remotemodul 17 umfasst ein Empfangsmodul 19. Das Sendemodul 18 und das Empfangsmodul 19 sind datentechnisch miteinander verbunden wobei die datentechnische Verbindung insbesondere eine verschlüsselte, typografische und/oder komprimierte Datenübertragung erlaubt und/oder durchführt.
Das Sendemodul 18 ist ausgebildet, das Bildmodell 11 dem Remotemodul 17, insbesondere dem Empfangsmodul 19 bereitzustellen, insbesondere verschlüsselt und komprimiert bereitzustellen. Das Empfangsmodul 19 stellt das Bildmodul 11 der zweiten Computingeinheit 13 bereit, Die zweite Computingeinheit 1 13 ist wiederum ausgebildet basierend auf dem Bildmodell 11 weitere Auswertungen und/oder Analysen durchzuführen Bei Bestimmung eines Ereignisses durch das Ereignisdetektionsmodul wird von der Kamera 2, insbesondere dem Sendemodul 18 das Überwachungsbild 3 angefordert, wobei das Empfangsmodul 19 das Überwachungsbild 3 dem Validierungsmodul 15 bereitstellt und das Validierungsmodul 15 ausgebildet ist, die Auswerteapplikation auf die Überwachungsbilder 3 anzuwenden und die
Validierungsdaten zu bestimmen.

Claims

Ansprüche
1. Überwachungsvorrichtung (1) mit einer Kamera (2) zur Aufnahme von mindestens einem Überwachungsbild (3), einer Überwachungsszene (4), wobei die Kamera (2) eine erste Computingeinheit (6) und eine zweite Computingeinheit (13) aufweist, wobei die erste und die zweite Computingeinheit (6,13) über eine Feedbackverbindung (14) datentechnisch verbunden sind, wobei die erste Computingeinheit (6) ein Diskriminierungsmodul (6) und ein Bildmodellbestimmungsmodul (6b) aufweist, wobei das Diskriminierungsmodul (6a) ausgebildet ist, Objekte (5a-e) in dem Überwachungsbild (3) zu detektieren, diskriminieren und/oder zu klassifizieren und für die Objekte (5a-e) Objektinformationsdaten (7a-e) zu bestimmen, wobei die Objektinformationsdaten (7a-e) eine Objektklasse, einen Objekttyp, eine Objekt-ID (8a-e) und/oder eine Objektgeometrieinformation (9a-e) umfassen, wobei das Bildmodellbestimmungsmodul (6b) ausgebildet ist, basierend auf dem Überwachungsbild (3) ein Bildmodell (11) zu bestimmen, wobei das Bildmodell (11) ein Szenenmodell (12) der Überwachungsszene (4) und die Objektinformationsdaten (7a-e) umfasst, wobei die zweite Computingeinheit (13) ein Ereignisdetektionsmodul aufweist und der zweiten Computingeinheit (13) das Bildmodell (11) bereitgestellt ist, wobei das Ereignisdetektionsmodul ausgebildet ist, das Bildmodell (11) auszuwerten und basierend auf der Auswertung des Bildmodells (11) Ereignisse in der Überwachungsszene (4) zu detektieren, wobei die zweite Computingeinheit (13) und/oder das
Ereignisdetektionsmodul ausgebildet ist, der ersten Computingeinheit (6) über die Feedbackverbindung (14) Feedbackdaten bereitzustellen. Überwachungsvorrichtung (1) nach Anspruch 1 , dadurch gekennzeichnet, dass das Diskriminierungsmodul (6a) ausgebildet ist, die detektierten Objekte (5a-e) zu verfolgen und Trackingdaten bereitzustellen, wobei die Objektinformationsdaten (7a-e) die Trackingdaten umfassen. Überwachungsvorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bildmodell (11) und/oder das Szenenmodell (12) eine symbolische Repräsentation der Überwachungsszene (4) bildet und/oder umfasst. Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Bildmodell (11) und/oder die Objektinformationsdaten (7a-e) die detektierten Objekte (5a-e) als symbolische Repräsentanten umfassen. Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die zweite Computingeinheit (13) und/oder das Ereignisdetektionsmodul ausgebildet ist, die erste Computingeinheit (6) und/oder das Diskriminierungsmodul (6a) basierend auf den Feedbackdaten anzupassen und/oder zu konfigurieren, insbesondere zur Diskriminierung, Detektion und/oder Klassifizierung einer Auswahl an Objekten (5a-e) anzupassen. Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Ereignisdetektionsmodul ausgebildet ist, zur Auswertung des Bildmodells (11) und/oder zur Bestimmung der Ereignisse eine Auswerteapplikation auszuführen, wobei die zweite Computingeinheit (13) und/oder das Ereignisdetektionsmodul ausgebildet ist, die Feedbackdaten bei einer Registrierung, ersten Ausführung und/oder Initialisierung der Auswerteapplikation bereitzustellen und/oder als Reaktion auf die Bereitstellung des Bildmodells (11) durch die erste Computingeinheit (6) die Bereitstellung der Feedbackdaten zu veranlassen. Überwachungsvorrichtung (1) nach Anspruch 6, gekennzeichnet durch ein Validierungsmodul (15), wobei das Ereignisdetektionsmodul ausgebildet ist, basierend auf der Anwendung der Auswerteapplikation auf das Bildmodell (11) das Ereignis zu detektieren, wobei das Validierungsmodul (15) ausgebildet ist, bei und/oder basierend auf der Detektion des Ereignisses die Auswerteapplikation auf das Überwachungsbild (3) anzuwenden und Validierungsdaten zu bestimmen. Überwachungsvorrichtung (1) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Auswerteapplikation ein Basismodul zur Anwendung auf das Bildmodell (11) und ein Spezialmodul zur Anwendung auf das Überwachungsbild (3) umfasst. Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Feedbackverbindung (14) als eine bidirektionale Verbindung zur Übertragung des Bildmodelles (11) und der Feedbackdaten ausgebildet ist. Überwachungsanordnung (16) mit der Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche und einem Remotemodul (17), wobei die Überwachungsvorrichtung (1) ein Sendemodul (18) zur Bereitstellung des Bildmodells (11) an das Remotemodul (17) umfasst, wobei das Remotemodul (17) ein Remoteapplikationsmodul umfasst, wobei das Remoteapplikationsmodul ausgebildet ist, eine Auswerteapplikation auf das Bildmodell (11) anzuwenden. Überwachungsanordnung (16) nach Anspruch 10, dadurch gekennzeichnet, dass das Sendemodul (18) ausgebildet ist, das Bildmodell (11) verschlüsselt und/oder komprimiert an das Remotemodul (17) zu senden. Überwachungsanordnung (16) nach einem der Ansprüche 10 oder 11 , dadurch gekennzeichnet, dass das Remoteapplikationsmodul ein Remotevalidierungsmodul umfasst, wobei das Remotevalidierungsmodul ausgebildet ist, bei Detektion eines Ereignisses eine Auswertung des Überwachungsbildes (3) und/oder die Anwendung der Auswerteapplikation auf das Überwachungsbild (3) zu veranlassen. Verfahren, wobei mindestens ein Überwachungsbild (3) zeigend und/oder umfassend eine Überwachungsszene (4) aufgenommen wird, wobei von einer ersten Computingeinheit (6) basierend auf dem Überwachungsbild (3) und/oder in dem Überwachungsbild (3) Objekte (5a-e) detektiert werden und für die detektierten Objekte (5a-e) Objektinformationsdaten (7a-e) bestimmt und/oder ermittelt werden, wobei von der ersten Computingeinheit (6) basierend auf dem Überwachungsbild (3) und/oder für das Überwachungsbild (3) ein Bildmodell (11) ermittelt und/oder bestimmt wird, wobei das Bildmodell (11) ein Szenenmodell (12) der Überwachungsszene (4) umfasst und/oder bildet und die Objektinformationsdaten (7a-e) umfasst, wobei das Bildmodell (11) einer zweiten Computingeinheit (13) bereitgestellt wird und die zweite Computingeinheit (13) das Bildmodell (11) auswertet und basierend auf der Auswertung des Bildmodells (11) Ereignisse in der Überwachungsszene (4) detektiert, wobei die zweite Computingeinheit (13) der ersten Computingeinheit (6) über die Feedbackverbindung (14) Feedbackdaten bereitstellt. Computerprogramm umfassend einen Programmcode, wobei das Computerprogramm ausgebildet und/oder eingerichtet ist, bei seiner Ausführung auf einem Computer, der Überwachungsvorrichtung (1) und/oder der Überwachungsanordnung (16) das Verfahren und/oder die Verfahrensschritte nach Anspruch 12 auszuführen, anzuwenden und/oder zu implementieren. Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm nach Anspruch 13 gespeichert ist.
PCT/EP2023/057263 2022-03-25 2023-03-22 Überwachungsvorrichtung, überwachungsanordnungen, verfahren, computerprogramm und speichermedium WO2023180354A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022202942.9 2022-03-25
DE102022202942.9A DE102022202942A1 (de) 2022-03-25 2022-03-25 Überwachungsvorrichtung, Überwachungsanordnungen, Verfahren, Computerprogramm und Speichermedium

Publications (1)

Publication Number Publication Date
WO2023180354A1 true WO2023180354A1 (de) 2023-09-28

Family

ID=85778793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/057263 WO2023180354A1 (de) 2022-03-25 2023-03-22 Überwachungsvorrichtung, überwachungsanordnungen, verfahren, computerprogramm und speichermedium

Country Status (2)

Country Link
DE (1) DE102022202942A1 (de)
WO (1) WO2023180354A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201591A1 (de) * 2012-02-03 2013-08-08 Robert Bosch Gmbh Auswertevorrichtung für ein Überwachungssystem sowie Überwachungssystem mit der Auswertevorrichtung
US20170039387A1 (en) * 2015-08-03 2017-02-09 Agt International Gmbh Method and system for differentiated privacy protection
US20190279019A1 (en) * 2018-03-09 2019-09-12 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
US20210192816A1 (en) * 2018-04-12 2021-06-24 Panasonic Intellectual Property Management Co., Ltd. Video processing device, video processing system, and video processing method
US20210227271A1 (en) * 2020-01-22 2021-07-22 Microsoft Technology Licensing, Llc Privacy-preserving video analytics
US20210383018A1 (en) * 2020-06-09 2021-12-09 Axis Ab Method and device for partially unmasking an object in a video stream

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999600B2 (en) 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
DE102007024868A1 (de) 2006-07-21 2008-01-24 Robert Bosch Gmbh Bildverarbeitungsvorrichtung, Überwachungssystem, Verfahren zur Erzeugung eines Szenenreferenzbildes sowie Computerprogramm
NZ578752A (en) 2007-02-08 2012-03-30 Behavioral Recognition Sys Inc Behavioral recognition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201591A1 (de) * 2012-02-03 2013-08-08 Robert Bosch Gmbh Auswertevorrichtung für ein Überwachungssystem sowie Überwachungssystem mit der Auswertevorrichtung
US20170039387A1 (en) * 2015-08-03 2017-02-09 Agt International Gmbh Method and system for differentiated privacy protection
US20190279019A1 (en) * 2018-03-09 2019-09-12 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
US20210192816A1 (en) * 2018-04-12 2021-06-24 Panasonic Intellectual Property Management Co., Ltd. Video processing device, video processing system, and video processing method
US20210227271A1 (en) * 2020-01-22 2021-07-22 Microsoft Technology Licensing, Llc Privacy-preserving video analytics
US20210383018A1 (en) * 2020-06-09 2021-12-09 Axis Ab Method and device for partially unmasking an object in a video stream

Also Published As

Publication number Publication date
DE102022202942A1 (de) 2023-09-28

Similar Documents

Publication Publication Date Title
DE102014105351B4 (de) Detektion von menschen aus mehreren ansichten unter verwendung einer teilumfassenden suche
DE102014210820B4 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
DE102013205810B4 (de) System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen
DE102014106210B4 (de) Probabilistische Personennachführung unter Verwendung der Mehr- Ansichts-Vereinigung
DE602005005583T2 (de) Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen
DE112018006337T5 (de) Verfahren und System zum Klassifizieren eines Objekts von Interesse unter Verwendung eines künstlichen neuronalen Netzes
DE60224853T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
Yimyam et al. Video Surveillance System Using IP Camera for Target Person Detection
DE102018217091A1 (de) Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten
DE102023125422A1 (de) Hybrides Objekterkennungsverfahren auf der Basis von Wärmebildern in Kombination mit YOLO-Modellen und Objektverfolgungstechniken
CN118351487A (zh) 基于ai的员工违章行为辨识方法
CN116416281A (zh) 一种粮库ai视频监管分析方法及系统
DE102014100364B4 (de) Verfahren zum Bestimmen, ob eine Augen-abseits-der-Straße-Bedingung vorliegt
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
WO2023180354A1 (de) Überwachungsvorrichtung, überwachungsanordnungen, verfahren, computerprogramm und speichermedium
EP4097647A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
DE102020133626A1 (de) Verfahren zum Erkennen von für ein neuronales Netz schwierig korrekt zu klassifizierenden Szenen, Assistenzeinrichtung und Kraftfahrzeug
DE102016200854B4 (de) Verfahren und Recheneinheit zur Dimensionierung eines Klassifikators
Fuad et al. A Novel Traffic System for Detecting Lane-Based Rule Violation
WO2023144182A1 (de) Überwachungsanordnung, verfahren zur registrierung von überwachungskameras und analysemodulen, computerprogramm sowie speichermedium
DE102022200832A1 (de) Verfahren zur Überwachung mit mindestens einer Überwachungseinheit, Computerprogramm und Überwachungseinheit
DE102020205724A1 (de) Verfahren, Computerprogramm, Speichermedium und Vorrichtung zur Erweiterung von Objektsignaturdaten
DE102023116850A1 (de) System und einrichtung zum zählen von personen in einem seitenansichtsbild

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23713871

Country of ref document: EP

Kind code of ref document: A1