WO2023285651A1 - Monitoring arrangement and monitoring method - Google Patents

Monitoring arrangement and monitoring method Download PDF

Info

Publication number
WO2023285651A1
WO2023285651A1 PCT/EP2022/069850 EP2022069850W WO2023285651A1 WO 2023285651 A1 WO2023285651 A1 WO 2023285651A1 EP 2022069850 W EP2022069850 W EP 2022069850W WO 2023285651 A1 WO2023285651 A1 WO 2023285651A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
designed
unit
interest
areas
Prior art date
Application number
PCT/EP2022/069850
Other languages
German (de)
French (fr)
Inventor
Christoph BURGER-SCHEIDLIN
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023285651A1 publication Critical patent/WO2023285651A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Definitions

  • the invention relates to a surveillance arrangement with a central module and at least one client module, image data being provided to the client module.
  • Camera-based surveillance is used in the public, private and commercial sectors.
  • the images and/or videos recorded by the cameras are usually sent to a control center for storage and/or evaluation.
  • the quality of the recorded images and/or videos is often very good, for example 4K, so that their transmission to the control center means a large data stream.
  • the publication DE 102018219067 A1 describes a method for the local composition of personal, distributed user data.
  • a central access server is provided, which serves as an access node for a client computer for the central coordination of access.
  • the invention relates to a monitoring arrangement having the features of claim 1.
  • the invention also relates to a method for monitoring, a computer program and a storage medium. Preferred and/or advantageous Embodiments result from the dependent claims, the description and the accompanying figures.
  • the invention relates to a monitoring arrangement.
  • the monitoring arrangement comprises a central module and at least one client module, preferably a plurality of client modules, for example more than ten.
  • the central module can be designed, for example, as a computer, calculator, server or a cloud.
  • the client modules are preferably arranged in a decentralized manner, for example within a surveillance area.
  • the monitoring arrangement is preferably designed to monitor the monitored area.
  • Image data is provided to the client module.
  • the image data can form and/or include images, individual images or videos.
  • the client modules are connected to a camera in terms of data technology or are part of a camera.
  • the image data is preferably of high quality, for example 4K or HD.
  • the client module has an analysis unit and a processing unit.
  • the processing unit and analysis unit can form a common unit.
  • the analysis unit and/or the processing unit are designed in particular as software units, alternatively as hardware units, for example comprising a computer module, processor or a data processing unit.
  • the analysis unit is provided with the image data, in particular unprocessed, uncompressed and/or in full quality.
  • the analysis unit is designed to detect and/or determine areas of interest in the image data.
  • the analysis unit evaluates the image data for this purpose, for example using image evaluation algorithms and/or methods, specifically based on object recognition.
  • the analysis unit is designed to use a neural network and/or machine learning algorithms to determine the areas of interest.
  • Areas of interest are, for example, sections and/or areas of the image data, in particular in images or videos of the image data, which are relevant and/or of particular interest to a user and/or to a task. For example, for a user and/or a Rarely applying the entire image and/or video of interest, for example, the background is often irrelevant.
  • a static image area is of no or less interest to applications and/or a user than certain types of objects, for example moving objects, people, suitcases or weapons.
  • the areas of interest include, show and/or describe areas in the images of the image data and/or the image data in which objects relevant and/or interesting for the user and/or the application can be detected.
  • areas of interest are areas and/or portions in images that show faces, license plates, weapons, or security events.
  • the areas of interest are limited sections and/or areas within an image, a video or a video frame.
  • the analysis unit is designed to determine and/or provide form, position and/or position as additional data for the detected areas of interest.
  • the processing unit is designed to generate compressed image data.
  • the compressed image data is generated based on and/or from the image data.
  • the compressed image data is generated in particular with knowledge and/or with the aid of detected areas of interest.
  • the compressed image data are designed in particular for transmission and/or data transmission.
  • the compressed image data is in particular encoded image data.
  • the image data is encoded and compressed for this purpose.
  • the compression and/or coding takes place in particular with the knowledge and use of detected areas of interest, for example in that the detected areas of interest are compressed and/or coded differently than areas of no interest, in particular the areas of interest and areas of no interest are compressed and/or coded in different quality .
  • the client module includes a deployment unit.
  • the provision unit is designed in particular for the data connection with the central module, for example for the data connection of the client module with the central module, preferably as a wireless connection or as a mixed connection comprising wireless and wired connection sections.
  • the delivery unit is designed to use the compressed image data provide central module.
  • the provision unit can be designed to transmit further coded, compressed and/or packed image data or data based on the image data in addition to the compressed image data.
  • the central module includes a decompression unit.
  • the decompressed unit is designed in particular as a software unit, alternatively as a hardware unit, for example comprising a data processing device, a processor or computer.
  • the decompression unit is designed to determine decompressed image data based on the compressed image data.
  • the compressed image data is decompressed, for example unpacked and decoded.
  • the decompressed image data can in particular be evaluated and/or viewed by a user, for example through visualization on a display or use in further evaluation algorithms.
  • the decompressed image data shows the image sections, which show and/or are assigned areas of interest, in an increased quality and/or in a quality that is at least necessary for further evaluation and/or use. Specifically, non-interest areas may or may not be included in the lower quality decompressed image data.
  • the invention is based on the consideration that for users and/or further evaluations, certain sections of image data must be of higher quality than others, with the transmission of the images with the increased quality in the entire image area being undesirable, since this means the transmission of large amounts of data would.
  • compressed image data which are generated based on the knowledge of the detected areas of interest, relevant areas can be transmitted in a targeted manner with increased quality, while uninteresting areas have a lower quality at the same time.
  • the areas of interest are determined and the compressed image data is generated on the part of the client module.
  • the decoding in turn takes place centrally in the central module, so that the client module and central module are coordinated with one another.
  • a compression application and an associated decompression application are provided and/or can be obtained from a provider module.
  • the provider module is designed as an app store, a database from a manufacturer or a third party.
  • the compression application and associated decompression application are particularly preferably provided as a common application package and/or can be obtained as such.
  • an analysis application can be obtained and/or provided by the provider module, in which case the analysis application can specifically be part of the common application package made up of compression application and decompression application.
  • the analysis application is designed in particular to be executed by the analysis unit.
  • the analysis application is designed, for example, to detect the areas of interest, for example based on different objects, interests, users and/or application information.
  • the processing unit is designed to use, execute and/or install the provided compression application, the compressed image data being generated by executing the compression application and/or using it.
  • the compression application is designed to encode and/or compress the image data to form the compressed image data.
  • the decompression unit is designed to execute, use and/or install the decompression application associated with the compression application for determining the decompressed image data.
  • the monitoring arrangement is designed to use, execute and/or include the respective compression application and associated decompression application.
  • the processing unit is designed to check when obtaining, installing, executing and/or using the compression application, whether the decompression unit uses an associated decompression application, is installed and/or the decompression unit for obtaining, installing, using and/or executing the associated To trigger decompression application and / or to cause this.
  • obtaining and/or installing the compression application or the decompression application through the Client module or central module for installing and/or obtaining the respectively associated decompression application or compression application.
  • a compression application or analysis application is obtained and/or installed by a client module, so that the processing unit or the provider module causes the decompression unit to obtain and/or install the associated decompression application.
  • the central module is designed in particular for the storage of data and/or the central processing and/or evaluation of data, in particular image data.
  • the central module and/or the cloud particularly preferably includes a processor, main memory and/or storage space better and/or larger than the client module.
  • the surveillance arrangement particularly preferably comprises at least one surveillance camera, referred to as a camera for short, specifically a plurality of surveillance cameras.
  • the number of surveillance cameras particularly preferably corresponds to the number of client modules.
  • the surveillance camera is preferably designed as a color camera, specifically as a 4K and/or HD camera.
  • the surveillance camera is designed to record and/or provide the image data. It is particularly preferred that the surveillance camera includes the client module and/or the client module is designed as a surveillance camera.
  • the client module is connected to the surveillance camera in terms of data technology.
  • each client module is connected to a surveillance camera in terms of data technology; alternatively, a client module is connected to a plurality of surveillance cameras to provide a plurality of image data.
  • This design lies based on the idea of carrying out the determination of the areas of interest and the generation of the compressed image data in a decentralized manner, in particular within the camera and/or in a direct data connection to the surveillance camera.
  • the surveillance camera can be modified for a respective user and/or application by obtaining compression applications and/or analysis applications from a provider module.
  • the compressed image data include the areas of interest of the image data and/or areas of the image data or the images of the image data that belong to the areas of interest in a higher quality than sections and/or areas that do not form any areas of interest.
  • the higher quality is selected in such a way that it is sufficient for the respective user and/or the respective application, for example unreduced and/or form 4K or HD image sections.
  • the areas of non-interest can in particular be included with a reduced quality and/or a quality equal to zero, with quality equal to zero corresponding to non-transmission and/or not including the areas of non-interest.
  • the non-interest areas can and/or are provided to the central module, for example, by a further data set and/or data stream, for example by general compression and/or coding of the image data to transmission image data, which preferably include and/or describe the entire image area of the images with reduced quality.
  • This refinement is based on the consideration of making the areas of interest available to the central module in better quality and thus not transmitting unnecessarily large amounts of data that would be irrelevant for the user or the application.
  • the client module includes an encoding unit.
  • the encoding unit is preferably designed to process the image data into encoding data, for example by general and/or global coding and/or compression of the image data, in particular independently of the areas of interest.
  • the encoding unit is designed to reduce the quality of the image data and/or to increase the data size reduce, for example by compressing and encoding.
  • the provision unit is designed to provide the encoding data to the central module.
  • the central module has a decoding unit and has a superposition unit.
  • the decoding unit is designed, for example, to decode and/or decompress the encoding data.
  • the decoding unit determines and/or ascertains a decoding image based on the encoding data, the decoding image corresponding, for example, to the image of the image data with a lower resolution, quality and/or detail density.
  • the superposition unit is designed to generate a superposition image based on the decoding image and the compressed image data, for example by overlaying the decoding image with the image content of the compressed image data or the areas of interest, which is included in higher quality.
  • the superposition image thus shows sections, areas and/or image content of the areas of interest in higher quality and areas of no interest of the decoding image.
  • the user and/or the application is provided with a superposition image that includes and/or shows the relevant areas in higher quality than the other image areas.
  • the generation of the encoding data, the compressed image data, the decoding image and the superposition image is divided between different modules.
  • the processing unit is designed to determine the compressed image data based on object information of an object in the area of interest.
  • the object information is information that describes the type, type and/or movement options of the associated object.
  • the object is a license plate, the shape and identification of which has already been transmitted in the compressed image data, so that instead of the further transmission of the image content of the area of interest in the compressed image data, a change in view and/or change in movement of the object is transmitted, for example how the view of the known license plate changed and / or transformed. This allows a further reduction in the data stream for transmission of the image data.
  • the provision unit is designed to monitor the data traffic between the client module and the central module, for example the utilization of the data connection.
  • the processing unit is designed to determine the compressed image data based on the determined utilization and/or the data traffic, for example to determine compressed image data comprising a plurality of areas of interest with higher quality when the utilization of the data traffic is low, with compressed image data having less with increased utilization Areas of interest are determined and / or transferred. For example, the processing unit is designed to prioritize areas of interest and/or to create a ranking.
  • the processing unit is designed to subsequently provide areas of interest that have already been transmitted in compressed image data in higher quality, in particular with a minimum quality, wherein the minimum quality is preferably area-of-interest-dependent, with lower quality in the compressed image data.
  • the minimum quality is preferably area-of-interest-dependent, with lower quality in the compressed image data.
  • areas of interest that have already been transmitted in the compressed image data with minimum quality or with all essential and/or required information are then treated as non-interest areas, for example no longer provided with higher quality in the compressed image data.
  • An embodiment of the invention provides that the supply unit is designed to transmit the compressed image data as progressively encoded image data. For example, after a certain amount of compressed image data has been transmitted and/or after the relevant information has been transmitted in the areas of interest, the data to be transmitted are clipped as in the case of progressive encoding.
  • a further subject matter of the invention is a method for transmitting data between a client module and a central module.
  • the image data are provided to a client module and/or the image data are provided, preferably by a camera. Alternatively forms the client module a camera to record the image data.
  • areas of interest are detected in the image data, in particular in the images and/or videos of the image data, preferably based on image analysis and/or object recognition.
  • Compressed image data are determined and/or generated based on the image data and the detected areas of interest and are made available to the central module, in particular transmitted in terms of data technology.
  • decompressed image data are assigned to the compressed image data.
  • the compressed image data is generated by means of a compression application and the decompression and/or determination of the decompressed image data takes place by means of a decompression application associated with the compression application.
  • a further object of the invention is a computer program comprising commands which cause the monitoring arrangement, in particular the central module and/or the client module, to carry out the method for transmitting data between the client module and the central module.
  • the invention relates to a computer-readable medium on which the computer program is stored.
  • FIG. 1 shows an exemplary embodiment of a monitoring arrangement
  • FIG. 2 further exemplary embodiment of a monitoring arrangement with delta encoding
  • FIG. 3 exemplary embodiment of a monitoring arrangement taking data traffic into account.
  • FIG. 1 shows a monitoring arrangement 1.
  • the monitoring arrangement 1 comprises at least one client module 2 and a central module 3.
  • the client module 2 and the central module 3 are connected to one another in terms of data technology. That Central module 3 is arranged, for example, centrally at a manufacturer, security service provider and/or a monitoring center. In particular, the central module 3 forms a cloud.
  • the client module 2 is decentralized, for example arranged in a surveillance area.
  • the surveillance area is video-monitored with video cameras, image data 4 being provided to the client module 2 .
  • the image data 4 are in particular of high quality, for example HD or 4K.
  • the client module 2 comprises an analysis unit 5 and a processing unit 6.
  • the analysis unit 5 is provided with the image data 4, the processing unit 6 also being provided with the image data 4 as well as results and/or data of the analysis unit 5.
  • the transmission of the entire image data 4 to the central module 3 in the high quality would lead to a large amount of data traffic. Frequently, not all areas and/or sections of images are for further processing and/or evaluation.
  • the monitoring arrangement 1 is designed to provide compressed image data to the central module 3 so that only those image areas that are required in this quality are transmitted in high quality.
  • the monitoring arrangement 1 has the advantage that both sides, central module 3 and client module 2, are matched to one another and are therefore compatible at all times in order to generate and decrypt the compressed image data. This is based on the idea of checking both sides, central module 3 and client module 2.
  • Applications can be obtained, in particular acquired, downloaded and/or scaled from a provider module 7 .
  • the provider module 7 is an app store, for example.
  • a compression application 8 a decompression application 9 and an analysis application 10 can be obtained from the provider module 7 .
  • a user is interested in certain image areas and/or objects or events in the image data 4, for example faces or number plates.
  • the user can obtain a compression application 8 and/or download it, which is used to generate compressed image data 11, in which the image sections and/or image areas with these objects and/or Includes events of increased quality compared to other areas and / or are stored.
  • Obtaining and/or installing the compression application 8 automatically and/or causes the associated decompression application to be installed and/or used
  • the analysis unit 5 of the client module 2 is designed to evaluate the provided image data 4, in particular to examine the images and/or videos comprised by the image data 4 for the presence of areas of interest.
  • the areas of interest are, for example, the image areas that show objects or events in which a user or further evaluation is interested.
  • the analysis unit 5 is designed to use the analysis application 10 to apply object recognition and/or event recognition to the image data 4, in particular using neural networks.
  • the areas of interest are made available to the processing unit 6 by the analysis unit 5; in particular, the areas of interest result in the remaining image areas as areas of no interest.
  • the processing unit 6 is designed to determine the compressed image data 11 based on the detected areas of interest 14 and the image data 4 .
  • the areas of interest 14 in the compressed image data 11 are provided in a higher quality than areas of no interest.
  • the images and/or image data constructed in this way are encoded and compressed to include the areas of interest and/or image contents of the areas of interest.
  • the compressed image data 11 are made available to the central module 3 , in particular to the decompression unit 12 .
  • the compressed image data 11 is provided to a memory unit of the central module 3 .
  • the decompression unit 12 is designed to determine the decompressed image data 16 based on the compressed image data 11, for example by decompressing and decoding the compressed image data 11.
  • the decompressed image data 16 is displayed and/or visualized by a display unit, for example.
  • the areas of interest 14 are provided by the analysis unit 5, so that the areas of interest 14 are highlighted in the display and/or visualization of the decompressed image data 16, for example by framing or colored background.
  • FIG. 2 shows an exemplary embodiment of a monitoring arrangement 1, delta coding being provided here for generating the compressed image data 11.
  • delta coding being provided here for generating the compressed image data 11.
  • This is based in particular on the consideration that instead of encoding and compressing an entire image or frame, the generation of the compressed image data provides for the encoding and/or compression of delta areas.
  • This can be a complete image or a section of an image, for example. For example, if a car accident is detected, the entire image is to be sent to the central module 3 in the highest quality, for example HD.
  • This high-resolution image can in particular be overlaid with encoding data, with the encoding data forming, for example, a conventional compression and coding of the image data 4 of reduced quality.
  • the client module 2 comprises the analysis unit 5 and the processing unit 6.
  • the client module 2 also comprises an encoding unit 18 and a decoding unit 19.
  • the encoding unit 18 is designed to generate encoding data 20, which encodes and compresses the image data in a reduced-quality manner 4 form.
  • the encoding data 20 are provided to the decoding unit 19 of the client module 2 , and the encoding data 20 are also provided to the central module 3 , in particular a decoding unit 19 of the central module 3 .
  • the decoding unit 19 is designed to decode and/or decompress the encoding data 20 so that the decompressed, quality-reduced images and/or image content are obtained.
  • the processing unit 6 is designed to generate the compressed image data 11 based on the provided areas of interest 14 , the image data 4 and the provided decompressed and decoded encoding data 21 . It is thus possible for the compressed image data 11 to only include a delta, with the delta forming, for example, the difference in the areas of interest 14 between the image data 4 and the quality-reduced, decompressed and decoded encoding data 21 .
  • the compressed image data thus essentially includes the image content of the areas of interest 14 which has been lost in the encoding data 20 as a result of the quality reduction.
  • the decompression unit 12 determines the decompressed image data 16 based on the compressed image data 11, the decoded and decompressed encoding data 21 being provided for this purpose by the decoding unit 19 for superposition.
  • the display unit 17 can thus display images showing the areas of interest 14 in high quality based on the compressed image data 11 and showing the areas of no interest based on the encoding data 20 with lower quality.
  • the compressed image data 11, the encoding data 20, the decoded and/or decompressed encoding data 21 are stored in the storage unit 15.
  • FIG. 3 shows an exemplary embodiment of a monitoring arrangement 1 in which the compressed image data 11 is generated taking data traffic into account.
  • the central module 3 includes a management unit 22 and the client module 2 includes a communication management unit 23.
  • Communication management unit 23 is designed to determine the utilization of the data traffic from the client module 2 to the central module 3 .
  • the processing unit 6 is designed to plan and/or carry out the generation of the compressed image data based on this data. For example, the processing unit 6 is designed to generate compressed image data 11 with a large number of areas of interest when the Data traffic or utilization is low, so that larger amounts of data can be transferred. If the communication management unit 23 determines a high utilization of the data traffic between the client module 2 and the central module 3, the processing unit 6 causes the generation of compressed image data 11 with fewer areas of interest and/or areas of interest with reduced quality, so that the transmission of encoding data and compressed data is ensured Image data 11 between client module 2 and central module 3 is given.

Abstract

A monitoring arrangement (1) having a central module (3) and at least one client module (2), wherein the client module (2) is provided with image data (4), wherein the client module (2) has an analysis unit (5) and a processing unit (6), wherein the analysis unit (5) is designed to detect regions of interest (14) in the image data (4), wherein the processing unit (6) is designed to generate compressed image data (11) based on the image data (4) and the detected regions of interest (14), wherein the client module (2) has a provision unit, wherein the provision unit is designed to provide the compressed image data (11) to the central module (3), wherein the central module (3) has a decompression unit (12), wherein the decompression unit (12) is designed to determine decompressed image data (16) based on the compressed image data (11).

Description

Beschreibung description
Titel title
Überwachungsanordnung und Verfahren zur Überwachung Surveillance arrangement and procedure for surveillance
Stand der Technik State of the art
Die Erfindung betrifft eine Überwachungsanordnung mit einem Zentralmodul und mindestens einem Clientmodul wobei dem Clientmodul Bilddaten bereitgestellt sind. The invention relates to a surveillance arrangement with a central module and at least one client module, image data being provided to the client module.
Kamerabasierte Überwachung findet im öffentlichen als auch im privaten und gewerblichen Bereich Einsatz. Dabei werden die von den Kameras aufgenommenen Bilder und/oder Videos zumeist an eine Zentrale zur Speicherung und/oder Auswertung übersendet. Häufig ist die Qualität der aufgenommenen Bilder und/oder Videos sehr gut, beispielsweise 4K, sodass deren Übertragung an die Zentrale einen großen Datenstrom bedeutet. Camera-based surveillance is used in the public, private and commercial sectors. The images and/or videos recorded by the cameras are usually sent to a control center for storage and/or evaluation. The quality of the recorded images and/or videos is often very good, for example 4K, so that their transmission to the control center means a large data stream.
Beispielsweise beschreibt die Druckschrift DE 102018219067 Al ein Verfahren zur lokalen Komposition von personenbezogenen, verteilt gespeicherten Nutzerdaten. Dabei ist ein zentraler Zugriffsserver vorgesehen, der als Zugriffsknoten für einen Clientcomputer zur zentralen Koordination der Zugriffe dient. For example, the publication DE 102018219067 A1 describes a method for the local composition of personal, distributed user data. A central access server is provided, which serves as an access node for a client computer for the central coordination of access.
Offenbarung der Erfindung Disclosure of Invention
Die Erfindung betrifft eine Überwachungsanordnung mit den Merkmalen des Anspruchs 1. Ferner betrifft die Erfindung ein Verfahren zur Überwachung, ein Computerprogramm und ein Speichermedium. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren. The invention relates to a monitoring arrangement having the features of claim 1. The invention also relates to a method for monitoring, a computer program and a storage medium. Preferred and/or advantageous Embodiments result from the dependent claims, the description and the accompanying figures.
Die Erfindung betrifft eine Überwachungsanordnung. Die Überwachungsanordnung umfasst ein Zentralmodul und mindestens ein Clientmodul, vorzugsweise eine Mehrzahl an Clientmodulen, beispielsweise mehr als zehn. Das Zentralmodul kann beispielsweise als ein Computer, Rechner, Server oder eine Cloud ausgebildet sein. Die Clientmodule sind vorzugsweise dezentral angeordnet, beispielsweise innerhalb eines Überwachungsbereichs. Die Überwachungsanordnung ist vorzugsweise zur Überwachung des Überwachungsbereichs ausgebildet. The invention relates to a monitoring arrangement. The monitoring arrangement comprises a central module and at least one client module, preferably a plurality of client modules, for example more than ten. The central module can be designed, for example, as a computer, calculator, server or a cloud. The client modules are preferably arranged in a decentralized manner, for example within a surveillance area. The monitoring arrangement is preferably designed to monitor the monitored area.
Dem Clientmodul sind Bilddaten bereitgestellt. Die Bilddaten können Bilder, Einzelbilder oder Videos bilden und/oder umfassen. Beispielsweise sind die Clientmodule hierzu mit einer Kamera datentechnisch verbunden oder Teil einer Kamera. Die Bilddaten sind vorzugsweise qualitativ hochwertig, beispielsweise 4K oder HD. Das Clientmodul weist eine Analyseeinheit und eine Verarbeitungseinheit auf. Insbesondere können Verarbeitungseinheit und Analyseeinheit eine gemeinsame Einheit bilden. Die Analyseeinheit und/oder die Verarbeitungseinheit sind insbesondere als Softwareeinheiten ausgebildet, alternativ als Hardwareeinheiten, beispielsweise umfassend ein Rechnermodul, Prozessor oder eine Datenverarbeitungseinheit. Insbesondere sind der Analyseeinheit die Bilddaten bereitgestellt, insbesondere unverarbeitet, unkomprimiert und/oder in voller Qualität. Image data is provided to the client module. The image data can form and/or include images, individual images or videos. For example, the client modules are connected to a camera in terms of data technology or are part of a camera. The image data is preferably of high quality, for example 4K or HD. The client module has an analysis unit and a processing unit. In particular, the processing unit and analysis unit can form a common unit. The analysis unit and/or the processing unit are designed in particular as software units, alternatively as hardware units, for example comprising a computer module, processor or a data processing unit. In particular, the analysis unit is provided with the image data, in particular unprocessed, uncompressed and/or in full quality.
Die Analyseeinheit ist ausgebildet, in den Bilddaten Interessensbereiche zu detektieren und/oder zu bestimmen. Insbesondere wertet die Analyseeinheit hierzu die Bilddaten aus, beispielsweise mittels Bildauswertungsalgorithmen und/oder -verfahren, im Speziellen basierend auf Objekterkennung. Insbesondere ist die Analyseeinheit ausgebildet, ein neuronales Netz und/oder Maschine-Iearning-Algorithmen zur Bestimmung der Interessensbereiche anzuwenden. Interessensbereiche sind beispielsweise Abschnitte und/oder Bereiche der Bilddaten, insbesondere in Bildern oder Videos der Bilddaten, die von einem Benutzer und/oder für eine Aufgabe relevant und/oder von besonderem Interesse sind. Beispielsweise ist für einen Benutzer und/oder eine Anwendung selten das gesamte Bild und/oder Video von Interesse, zum Beispiel, ist der Hintergrund häufig irrelevant. Zum Beispiel ist für Anwendungen und/oder einen Benutzer ein statischer Bildbereich uninteressant oder von geringerem Interesse als bestimmte Objektarten, beispielsweise bewegte Objekte, Personen, Koffer oder Waffen. Die Interessensbereiche umfassen, zeigen und/oder beschreiben Bereiche in den Bildern der Bilddaten und/oder der Bilddaten, in denen für den Benutzer und/oder die Anwendung relevante und/oder interessante Objekte detektierbar sind. Beispielsweise sind Interessensbereiche Bereiche und/oder Abschnitte in Bildern, die Gesichter zeigen, Nummernschilder, Waffen oder sicherheitsrelevante Ereignisse. Insbesondere sind die Interessensbereiche begrenzte Abschnitte und/oder Bereiche innerhalb eines Bildes, eines Videos bzw. Videoframes. Im Speziellen ist die Analyseeinheit ausgebildet, für die detektieren Interessensbereiche Form, Position und/oder Lage als Zusatzdaten zu bestimmen und/oder bereitzustellen. The analysis unit is designed to detect and/or determine areas of interest in the image data. In particular, the analysis unit evaluates the image data for this purpose, for example using image evaluation algorithms and/or methods, specifically based on object recognition. In particular, the analysis unit is designed to use a neural network and/or machine learning algorithms to determine the areas of interest. Areas of interest are, for example, sections and/or areas of the image data, in particular in images or videos of the image data, which are relevant and/or of particular interest to a user and/or to a task. For example, for a user and/or a Rarely applying the entire image and/or video of interest, for example, the background is often irrelevant. For example, a static image area is of no or less interest to applications and/or a user than certain types of objects, for example moving objects, people, suitcases or weapons. The areas of interest include, show and/or describe areas in the images of the image data and/or the image data in which objects relevant and/or interesting for the user and/or the application can be detected. For example, areas of interest are areas and/or portions in images that show faces, license plates, weapons, or security events. In particular, the areas of interest are limited sections and/or areas within an image, a video or a video frame. In particular, the analysis unit is designed to determine and/or provide form, position and/or position as additional data for the detected areas of interest.
Die Verarbeitungseinheit ist ausgebildet, komprimierte Bilddaten zu generieren. Insbesondere werden die komprimierten Bilddaten basierend auf und/oder aus den Bilddaten generiert. Das Generieren der komprimierten Bilddaten erfolgt insbesondere unter Kenntnis und/oder Zuhilfenahme detektierter Interessensbereiche. Die komprimierten Bilddaten sind insbesondere zur Übersendung und/oder datentechnischen Übermittlung ausgebildet. Die komprimierten Bilddaten sind insbesondere codierte Bilddaten. Beispielsweise sind hierzu die Bilddaten codiert und komprimiert. Das Komprimieren und/oder Codieren erfolgt insbesondere unter Kenntnis und Verwendung detektierter Interessensbereiche, beispielsweise in dem die detektierten Interessensbereiche anders als Nicht-Interessensbereiche komprimiert und/oder codiert werden, im Speziellen das Interessensbereiche und Nicht-Interessensbereiche in unterschiedlicher Qualität komprimiert und/oder codiert werden. The processing unit is designed to generate compressed image data. In particular, the compressed image data is generated based on and/or from the image data. The compressed image data is generated in particular with knowledge and/or with the aid of detected areas of interest. The compressed image data are designed in particular for transmission and/or data transmission. The compressed image data is in particular encoded image data. For example, the image data is encoded and compressed for this purpose. The compression and/or coding takes place in particular with the knowledge and use of detected areas of interest, for example in that the detected areas of interest are compressed and/or coded differently than areas of no interest, in particular the areas of interest and areas of no interest are compressed and/or coded in different quality .
Das Clientmodul umfasst eine Bereitstellungseinheit. Die Bereitstellungseinheit ist insbesondere zur datentechnischen Verbindung mit dem Zentralmodul ausgebildet, beispielsweise zur datentechnischen Kopplung des Clientmoduls mit dem Zentralmodul, vorzugsweise als drahtlose Verbindung oder als gemischte Verbindung umfassend drahtlose und kabelgebundene Verbindungsabschnitte. Die Bereitstellungseinheit ist ausgebildet, die komprimierten Bilddaten dem Zentralmodul bereitzustellen. Insbesondere kann die Bereitstellungseinheit ausgebildet sein, zusätzlich zu den komprimierten Bilddaten weitere auf den Bilddaten basierende codierte, komprimierte und/oder gepackte Bilddaten oder Daten zu übermitteln. The client module includes a deployment unit. The provision unit is designed in particular for the data connection with the central module, for example for the data connection of the client module with the central module, preferably as a wireless connection or as a mixed connection comprising wireless and wired connection sections. The delivery unit is designed to use the compressed image data provide central module. In particular, the provision unit can be designed to transmit further coded, compressed and/or packed image data or data based on the image data in addition to the compressed image data.
Das Zentralmodul umfasst eine Dekomprimierungseinheit. Die dekomprimierte Einheit ist insbesondere als eine Softwareeinheit ausgebildet, alternativ als eine Hardwareeinheit, beispielsweise umfassend eine Datenverarbeitungseinrichtung, einen Prozessor oder Computer. Die Dekomprimierungseinheit ist ausgebildet, basierend auf den komprimierten Bilddaten dekomprimierte Bilddaten zu bestimmen. Beispielsweise werden hierzu die komprimierten Bilddaten dekomprimiert, beispielsweise entpackt und decodiert. Die dekomprimierten Bilddaten sind insbesondere von einem Benutzer auswertbar und/oder einsehbar, beispielsweise durch Visualisierung auf eine Anzeige oder Verwendung in weiteren Auswertealgorithmen. Insbesondere zeigen die dekomprimierten Bilddaten die Bildabschnitte, welche Interessensbereiche zeigen und/oder zugeordnet sind, in einer erhöhten Qualität und/oder in einer Qualität, die zur weiteren Auswertung und/oder Verwendung mindestens nötig ist. Im Speziellen sind Nicht-Interessensbereiche in den dekomprimierten Bilddaten mit geringerer Qualität umfasst oder nicht umfasst. The central module includes a decompression unit. The decompressed unit is designed in particular as a software unit, alternatively as a hardware unit, for example comprising a data processing device, a processor or computer. The decompression unit is designed to determine decompressed image data based on the compressed image data. For this purpose, for example, the compressed image data is decompressed, for example unpacked and decoded. The decompressed image data can in particular be evaluated and/or viewed by a user, for example through visualization on a display or use in further evaluation algorithms. In particular, the decompressed image data shows the image sections, which show and/or are assigned areas of interest, in an increased quality and/or in a quality that is at least necessary for further evaluation and/or use. Specifically, non-interest areas may or may not be included in the lower quality decompressed image data.
Die Erfindung basiert auf der Überlegung, dass für Benutzer und/oder weitere Auswertungen gewisse Abschnitte in Bilddaten in höherer Qualität vorliegen müssen als andere, wobei die Übertragung der Bilder mit der erhöhten Qualität im gesamten Bildbereich unerwünscht ist, da dies die Übertragung von großen Datenmengen bedeuten würde. Durch das Übersenden von komprimierten Bilddaten, die auf der Kenntnis der detektierten Interessensbereiche erzeugt werden, kann so eine gezielte Übermittlung relevanter Bereiche mit erhöhter Qualität erfolgen, wobei gleichzeitig uninteressante Bereiche eine geringere Qualität aufweisen. Insbesondere erfolgt das Bestimmen der Interessenbereiche und das Generieren der komprimierten Bilddaten auf Seiten des Clientmoduls. Das Dekodieren erfolgt wiederum zentral im Zentralmodul, so das Clientmodul und Zentralmodul aufeinander abgestimmt sind. Eine Ausgestaltung der Erfindung sieht vor, dass von einem Anbietermodul eine Komprimierungsapplikation und eine zugehörige Dekomprimierungsapplikation bereitgestellt ist und/oder beziehbar ist. Beispielsweise ist das Anbietermodul als ein App-Store, eine Datenbank eines Herstellers oder einer dritten Partei ausgebildet. Besonders bevorzugt werden Komprimierungsapplikation und zugehörige Dekomprimierungsapplikation als gemeinsames Applikationspaket bereitgestellt und/oder sind so beziehbar. Im Speziellen ist vom Anbietermodul eine Analyseapplikation beziehbar und/oder bereitgestellt, wobei die Analyseapplikation im Speziellen Teil des gemeinsamen Applikationspaketes aus Komprimierungsapplikation und Dekomprimierungsapplikation sein kann. Die Analyseapplikation ist insbesondere zur Ausführung durch die Analyseeinheit ausgebildet. Die Analyseapplikation ist beispielsweise zur Detektion der Interessenbereiche ausgebildet, beispielsweise basierend auf unterschiedlichen Objekten, Interessen, Benutzer und/oder Anwendungsinformationen. Insbesondere ist die Verarbeitungseinheit ausgebildet, die bereitgestellte Komprimierungsapplikation anzuwenden, auszuführen und/oder zu installieren, wobei durch Ausführung der Komprimierungsapplikation und/oder dessen Anwendung das Generieren der komprimierten Bilddaten erfolgt. Beispielsweise ist die Komprimierungsapplikation zur Kodierung und/oder Komprimierung der Bilddaten zu den komprimierten Bilddaten ausgebildet. Die Dekomprimierungseinheit ist ausgebildet, die zu der Komprimierungsapplikation zugehörige Dekomprimierungsapplikation zur Bestimmung der dekomprimierten Bilddaten auszuführen, anzuwenden und/oder installieren. Insbesondere ist die Überwachungsanordnung ausgebildet, jeweils die Komprimierungsapplikation und zugehörige Dekomprimierungsapplikation anzuwenden, auszuführen und/oder zu umfassen. The invention is based on the consideration that for users and/or further evaluations, certain sections of image data must be of higher quality than others, with the transmission of the images with the increased quality in the entire image area being undesirable, since this means the transmission of large amounts of data would. By sending compressed image data, which are generated based on the knowledge of the detected areas of interest, relevant areas can be transmitted in a targeted manner with increased quality, while uninteresting areas have a lower quality at the same time. In particular, the areas of interest are determined and the compressed image data is generated on the part of the client module. The decoding in turn takes place centrally in the central module, so that the client module and central module are coordinated with one another. One embodiment of the invention provides that a compression application and an associated decompression application are provided and/or can be obtained from a provider module. For example, the provider module is designed as an app store, a database from a manufacturer or a third party. The compression application and associated decompression application are particularly preferably provided as a common application package and/or can be obtained as such. In particular, an analysis application can be obtained and/or provided by the provider module, in which case the analysis application can specifically be part of the common application package made up of compression application and decompression application. The analysis application is designed in particular to be executed by the analysis unit. The analysis application is designed, for example, to detect the areas of interest, for example based on different objects, interests, users and/or application information. In particular, the processing unit is designed to use, execute and/or install the provided compression application, the compressed image data being generated by executing the compression application and/or using it. For example, the compression application is designed to encode and/or compress the image data to form the compressed image data. The decompression unit is designed to execute, use and/or install the decompression application associated with the compression application for determining the decompressed image data. In particular, the monitoring arrangement is designed to use, execute and/or include the respective compression application and associated decompression application.
Insbesondere ist die Verarbeitungseinheit ausgebildet, bei Beziehen, Installieren, Ausführen und/oder Anwenden der Komprimierungsapplikation zu überprüfen, ob von der Dekomprimierungseinheit eine zugehörige Dekomprimierungsapplikation angewendet wird, installiert ist und/oder die Dekomprimierungseinheit zum Beziehen, Installieren, Anwenden und/oder Ausführen der zugehörigen Dekomprimierungsapplikation zu triggern und/oder dies zu veranlassen. Im Speziellen ist es vorgesehen, dass das Beziehen und/oder Installieren der Komprimierungsapplikation oder der Dekomprimierungsapplikation durch das Clientmodul oder Zentralmodul zur Installation und/oder zum Beziehen der jeweils zugehörigen Dekomprimierungsapplikation oder Komprimierungsapplikation führt. Beispielsweise wird von einem Clientmodul eine Komprimierungsapplikation oder Analyseapplikation bezogen und/oder installiert, sodass von der Verarbeitungseinheit oder dem Anbietermodul veranlasst wird, dass die Dekomprimierungseinheit die zugehörige Dekomprimierungsapplikation bezieht und/oder installiert. Diese Ausgestaltung basiert auf der Überlegung, dass Überwachungsanordnungen mit Clientmodul und Zentralmodul häufig nicht rückwärts kompatibel sind, beispielsweise sind bekannte Dekomprimierungsapplikationen in zentralen Modulen häufig inkompatibel mit den codierten Modulen auf der Clientseite. Durch die vorgeschlagene Erfindung ist die Kompatibilität beider Applikationen stets gegeben. In particular, the processing unit is designed to check when obtaining, installing, executing and/or using the compression application, whether the decompression unit uses an associated decompression application, is installed and/or the decompression unit for obtaining, installing, using and/or executing the associated To trigger decompression application and / or to cause this. In particular, it is envisaged that obtaining and/or installing the compression application or the decompression application through the Client module or central module for installing and/or obtaining the respectively associated decompression application or compression application. For example, a compression application or analysis application is obtained and/or installed by a client module, so that the processing unit or the provider module causes the decompression unit to obtain and/or install the associated decompression application. This refinement is based on the consideration that monitoring arrangements with client module and central module are often not backwards compatible, for example known decompression applications in central modules are often incompatible with the coded modules on the client side. The proposed invention always ensures that both applications are compatible.
Optional ist es vorgesehen, dass das Zentralmodul als eine Cloud ausgebildet ist oder Teil einer Cloud ist. Das Zentralmodul und/oder die Cloud ist insbesondere zur Speicherung von Daten und/oder der zentralen Verarbeitung und/oder Auswertung von Daten, insbesondere Bilddaten, ausgebildet. Besonders bevorzugt umfasst das Zentralmodul und/oder die Cloud einen Prozessor, Arbeitsspeicher und/oder Speicherplatz besser und/oder größer als das Clientmodul. Provision is optionally made for the central module to be in the form of a cloud or to be part of a cloud. The central module and/or the cloud is designed in particular for the storage of data and/or the central processing and/or evaluation of data, in particular image data. The central module and/or the cloud particularly preferably includes a processor, main memory and/or storage space better and/or larger than the client module.
Besonders bevorzugt umfasst die Überwachungsanordnung mindestens eine Überwachungskamera, kurz Kamera genannt, im Speziellen eine Mehrzahl an Überwachungskameras. Besonders bevorzugt entspricht die Anzahl der Überwachungskameras der Anzahl der Clientmodule. Die Überwachungskamera ist vorzugsweise als eine Farbkamera, im Speziellen als eine 4K und/oder HD Kamera ausgebildet. Die Überwachungskamera ist ausgebildet, die Bilddaten aufzunehmen und/oder bereitzustellen. Besonders bevorzugt ist es, dass die Überwachungskamera das Clientmodul umfasst und/oder das Clientmodul als eine Überwachungskamera ausgebildet ist. Alternativ ist das Clientmodul datentechnisch mit der Überwachungskamera verbunden. Im Speziellen ist jedes Clientmodul mit einer Überwachungskamera datentechnisch verbunden, alternativ ist ein Clientmodul mit einer Mehrzahl an Überwachungskamera zur Bereitstellung einer Mehrzahl an Bilddaten verbunden. Dieser Ausgestaltung liegt die Überlegung zugrunde, die Bestimmung der Interessenbereiche sowie das Generieren der komprimierten Bilddaten dezentral durchzuführen, insbesondere innerhalb der Kamera und/oder in unmittelbarer datentechnischer Verbindung zur Überwachungskamera. Insbesondere ist so vorgesehen, dass von der Überwachungskamera durch Beziehen von Komprimierungsapplikationen und/oder Analyseapplikationen von einem Anbietermodul die Überwachungskameras für einen jeweiligen Benutzer und/oder Anwendung modifizierbar ist. The surveillance arrangement particularly preferably comprises at least one surveillance camera, referred to as a camera for short, specifically a plurality of surveillance cameras. The number of surveillance cameras particularly preferably corresponds to the number of client modules. The surveillance camera is preferably designed as a color camera, specifically as a 4K and/or HD camera. The surveillance camera is designed to record and/or provide the image data. It is particularly preferred that the surveillance camera includes the client module and/or the client module is designed as a surveillance camera. Alternatively, the client module is connected to the surveillance camera in terms of data technology. In particular, each client module is connected to a surveillance camera in terms of data technology; alternatively, a client module is connected to a plurality of surveillance cameras to provide a plurality of image data. This design lies based on the idea of carrying out the determination of the areas of interest and the generation of the compressed image data in a decentralized manner, in particular within the camera and/or in a direct data connection to the surveillance camera. In particular, it is provided that the surveillance camera can be modified for a respective user and/or application by obtaining compression applications and/or analysis applications from a provider module.
Insbesondere ist es vorgesehen, dass die komprimierten Bilddaten die Interessenbereiche der Bilddaten und/oder Bereiche der Bilddaten bzw. der Bilder der Bilddaten, die zu den Interessensbereichen gehören, in einer höheren Qualität umfassen als Abschnitte und/oder Bereiche, die keine Interessensbereiche bilden. Insbesondere ist die höhere Qualität so gewählt, dass sie für den jeweiligen Benutzer und/oder die jeweilige Anwendung ausreichend ist, beispielsweise unreduziert und/oder 4K bzw. HD Bildabschnitte bilden. Die Nichtinteressensbereiche können insbesondere mit einer reduzierten Qualität und/oder einer Qualität gleich Null umfasst sein, wobei Qualität gleich Null einem Nichtübertragen und/oder Nichtumfassen der Nichtinteressensbereiche entspricht. Die Nichtinteressenbereiche können und/oder werden beispielsweise durch einen weiteren Datensatz und/oder Datenstrom dem Zentralmodul bereitgestellt, beispielsweise durch generelles Komprimieren und/oder Codieren der Bilddaten zu Übertragungsbilddaten, welche vorzugsweise den gesamten Bildbereich der Bilder mit reduzierter Qualität umfassen und/oder beschreiben. Dieser Ausgestaltung liegt die Überlegung zugrunde, die Interessenbereiche in besserer Qualität dem Zentralmodul bereitzustellen und so nicht unnötig große Datenmengen zu übertragen, die für den Benutzer oder die Anwendung irrelevant wären. In particular, it is provided that the compressed image data include the areas of interest of the image data and/or areas of the image data or the images of the image data that belong to the areas of interest in a higher quality than sections and/or areas that do not form any areas of interest. In particular, the higher quality is selected in such a way that it is sufficient for the respective user and/or the respective application, for example unreduced and/or form 4K or HD image sections. The areas of non-interest can in particular be included with a reduced quality and/or a quality equal to zero, with quality equal to zero corresponding to non-transmission and/or not including the areas of non-interest. The non-interest areas can and/or are provided to the central module, for example, by a further data set and/or data stream, for example by general compression and/or coding of the image data to transmission image data, which preferably include and/or describe the entire image area of the images with reduced quality. This refinement is based on the consideration of making the areas of interest available to the central module in better quality and thus not transmitting unnecessarily large amounts of data that would be irrelevant for the user or the application.
Beispielsweise umfasst das Clientmodul eine Encodingeinheit. Die Encodingeinheit ist vorzugsweise ausgebildet, die Bilddaten zu Encodingdaten zu verarbeiten, beispielsweise durch generelles und/oder globales Codieren und/oder Komprimieren der Bilddaten, insbesondere unabhängig von den Interessensbereichen. Insbesondere ist die Encodingeinheit ausgebildet die Bilddaten in ihrer Qualität zu reduzieren und/oder in ihrer Datengröße zu reduzieren, beispielsweise durch Komprimieren und Codieren. Die Bereitstellungseinheit ist ausgebildet die Encodingdaten dem Zentralmodul bereitzustellen. For example, the client module includes an encoding unit. The encoding unit is preferably designed to process the image data into encoding data, for example by general and/or global coding and/or compression of the image data, in particular independently of the areas of interest. In particular, the encoding unit is designed to reduce the quality of the image data and/or to increase the data size reduce, for example by compressing and encoding. The provision unit is designed to provide the encoding data to the central module.
Besonders bevorzugt ist es, dass das Zentralmodul eine Decodingeinheit aufweist und eine Superpositionseinheit aufweist. Die Decodingeinheit ist beispielsweise ausgebildet, die Encodingdaten zu dekodieren und/oder zu entkomprimieren. Die Decodingeinheit bestimmt und/oder ermittelt basierend auf den Encodingdaten ein Decodingbild, wobei das Decodingbild beispielsweise dem Bild der Bilddaten in geringerer Auflösung, Qualität und/oder Detaildichte entspricht. Die Superpositionseinheit ist ausgebildet, basierend auf dem Decodingbild und den komprimierten Bilddaten ein Superpositionsbild zu generieren, beispielsweise durch Überlagern des Decodingbildes mit den in höherer Qualität umfassten Bildinhalten der komprimierten Bilddaten bzw. der Interessenbereiche. Das Superpositionsbild zeigt so Abschnitte, Bereiche und/oder Bildinhalte der Interessenbereiche in höherer Qualität und Nichtinteressenbereiche des Decodingbildes. Somit ist dem Benutzer und/oder der Anwendung ein Superpositionsbild bereitgestellt, dass die relevanten Bereiche in höherer Qualität umfasst und/oder zeigt als die anderen Bildbereiche. Insbesondere ist so das Generieren der Encodingdaten, der komprimierten Bilddaten, des Decodingbildes und des Superpositionsbilds auf unterschiedliche Module aufgeteilt. It is particularly preferred that the central module has a decoding unit and has a superposition unit. The decoding unit is designed, for example, to decode and/or decompress the encoding data. The decoding unit determines and/or ascertains a decoding image based on the encoding data, the decoding image corresponding, for example, to the image of the image data with a lower resolution, quality and/or detail density. The superposition unit is designed to generate a superposition image based on the decoding image and the compressed image data, for example by overlaying the decoding image with the image content of the compressed image data or the areas of interest, which is included in higher quality. The superposition image thus shows sections, areas and/or image content of the areas of interest in higher quality and areas of no interest of the decoding image. Thus, the user and/or the application is provided with a superposition image that includes and/or shows the relevant areas in higher quality than the other image areas. In particular, the generation of the encoding data, the compressed image data, the decoding image and the superposition image is divided between different modules.
Eine Ausgestaltung der Erfindung sieht vor, dass die Verarbeitungseinheit ausgebildet ist, die komprimierten Bilddaten basierend auf einer Objektinformation eines Objekts im Interessensbereich zu bestimmen. Beispielsweise ist die Objektinformation eine Information, die den Typ, Art und/oder Bewegungsmöglichkeiten des zugehörigen Objekts beschreibt. Beispielsweise ist das Objekt ein Nummernschild, das in Form und Kennzeichen bereits in den komprimierten Bilddaten übertragen wurde, sodass statt der weiteren Übertragung des Bildinhalts des Interessensbereichs in den komprimierten Bilddaten eine Ansichtsänderung und/oder Bewegungsänderung des Objekts übermittelt wird, beispielsweise wie sich die Ansicht des bekannten Nummernschildes verändert und/oder transformiert. Dies erlaubt eine weitere Reduzierung des Datenstroms zur Übertragung der Bilddaten. Besonders bevorzugt ist es, dass die Bereitstellungseinheit ausgebildet ist, den Datenverkehr zwischen Clientmodul und Zentralmodul zu überwachen, beispielsweise die Auslastung der datentechnischen Verbindung. Die Verarbeitungseinheit ist ausgebildet, die komprimierten Bilddaten basierend auf der ermittelten Auslastung und/oder dem Datenverkehr zu bestimmen, beispielsweise komprimierte Bilddaten umfassend eine Mehrzahl an Interessensbereichen mit höherer Qualität zu bestimmen, wenn die Auslastung des Datenverkehrs gering ist wobei bei erhöhter Auslastung komprimierte Bilddaten mit weniger Interessensbereichen bestimmt und/oder übertragen werden. Beispielsweise ist die Verarbeitungseinheit ausgebildet, Interessensbereiche zu priorisieren und/oder ein Ranking zu erstellen. An embodiment of the invention provides that the processing unit is designed to determine the compressed image data based on object information of an object in the area of interest. For example, the object information is information that describes the type, type and/or movement options of the associated object. For example, the object is a license plate, the shape and identification of which has already been transmitted in the compressed image data, so that instead of the further transmission of the image content of the area of interest in the compressed image data, a change in view and/or change in movement of the object is transmitted, for example how the view of the known license plate changed and / or transformed. This allows a further reduction in the data stream for transmission of the image data. It is particularly preferred that the provision unit is designed to monitor the data traffic between the client module and the central module, for example the utilization of the data connection. The processing unit is designed to determine the compressed image data based on the determined utilization and/or the data traffic, for example to determine compressed image data comprising a plurality of areas of interest with higher quality when the utilization of the data traffic is low, with compressed image data having less with increased utilization Areas of interest are determined and / or transferred. For example, the processing unit is designed to prioritize areas of interest and/or to create a ranking.
Eine Ausgestaltung der Erfindung sieht vor, dass die Verarbeitungseinheit ausgebildet ist, Interessenbereiche die bereits in komprimierten Bilddaten in höherer Qualität übertragen wurden, insbesondere mit einer Mindestqualität, wobei die Mindestqualität vorzugsweise Interessensbereichsabhängig ist, nachfolgend mit geringerer Qualität in den komprimierten Bilddaten vorzusehen. Beispielsweise werden Interessensbereiche die in den komprimierten Bilddaten bereits mit Mindestqualität oder mit allen wesentlichen und/oder benötigten Informationen übertragen wurden danach wie Nichtinteressenbereiche behandelt, beispielsweise nicht weiter mit höherer Qualität in den komprimierten Bilddaten vorgesehen werden. One embodiment of the invention provides that the processing unit is designed to subsequently provide areas of interest that have already been transmitted in compressed image data in higher quality, in particular with a minimum quality, wherein the minimum quality is preferably area-of-interest-dependent, with lower quality in the compressed image data. For example, areas of interest that have already been transmitted in the compressed image data with minimum quality or with all essential and/or required information are then treated as non-interest areas, for example no longer provided with higher quality in the compressed image data.
Eine Ausgestaltung der Erfindung sieht vor, dass die Bereitstellungseinheit ausgebildet ist, die komprimierten Bilddaten als progressiv codierte Bilddaten zu übertragen. Beispielsweise wird nach der Übertragung einer bestimmten Datenmenge an komprimierten Bilddaten und/oder nach einer Übertragung der relevanten Informationen in den Interessensbereichen eine Beschneidung der zu übertragenden Daten wie bei progressivem Encoding vorgesehen. An embodiment of the invention provides that the supply unit is designed to transmit the compressed image data as progressively encoded image data. For example, after a certain amount of compressed image data has been transmitted and/or after the relevant information has been transmitted in the areas of interest, the data to be transmitted are clipped as in the case of progressive encoding.
Einen weiteren Gegenstand der Erfindung bildet ein Verfahren zur Übertragung von Daten zwischen einem Clientmodul und einem Zentralmodul. Einem Clientmodul sind die Bilddaten bereitgestellt und/oder werden die Bilddaten bereitgestellt, vorzugsweise von einer Kamera. Alternativ bildet das Clientmodul eine Kamera zur Aufnahme der Bilddaten. Im Clientmodul werden in den Bilddaten, insbesondere in den Bildern und/oder Videos der Bilddaten, Interessensbereiche detektiert, vorzugsweise basierend auf Bildauswertung und/oder Objekterkennung. Basierend auf den Bilddaten und den detektierten Interessensbereichen werden komprimierte Bilddaten bestimmt und/oder generiert und dem Zentralmodul bereitgestellt, insbesondere datentechnisch übersendet. Im Zentralmodul werden dekomprimierte Bilddaten zu den komprimierten Bilddaten bestimmt. Insbesondere erfolgt das Generieren der komprimierten Bilddaten mittels einer Komprimierungsapplikation und das Dekomprimieren und/oder Bestimmen der dekomprimierten Bilddaten mittels einer zur Komprimierungsapplikation zugehörigen Dekomprimierungsapplikation. A further subject matter of the invention is a method for transmitting data between a client module and a central module. The image data are provided to a client module and/or the image data are provided, preferably by a camera. Alternatively forms the client module a camera to record the image data. In the client module, areas of interest are detected in the image data, in particular in the images and/or videos of the image data, preferably based on image analysis and/or object recognition. Compressed image data are determined and/or generated based on the image data and the detected areas of interest and are made available to the central module, in particular transmitted in terms of data technology. In the central module, decompressed image data are assigned to the compressed image data. In particular, the compressed image data is generated by means of a compression application and the decompression and/or determination of the decompressed image data takes place by means of a decompression application associated with the compression application.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, umfassend Befehle, die bewirken, dass die Überwachungsanordnung, insbesondere das Zentralmodul und/oder das Clientmodul, das Verfahren zur Übertragung von Daten zwischen dem Clientmodul und dem Zentralmodul ausführt. A further object of the invention is a computer program comprising commands which cause the monitoring arrangement, in particular the central module and/or the client module, to carry out the method for transmitting data between the client module and the central module.
Ferner betrifft die Erfindung ein computerlesbares Medium, auf dem das Computerprogramm gespeichert ist. Furthermore, the invention relates to a computer-readable medium on which the computer program is stored.
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen: Further advantages, effects and configurations result from the accompanying figures and their description. show:
Figur 1 ein Ausführungsbeispiel einer Überwachungsanordnung; FIG. 1 shows an exemplary embodiment of a monitoring arrangement;
Figur 2 weiteres Ausführungsbeispiel einer Überwachungsanordnung mit Delta- Encoding; FIG. 2 further exemplary embodiment of a monitoring arrangement with delta encoding;
Figur 3 Ausführungsbeispiel eine Überwachungsanordnung mit Berücksichtigung des Datenverkehrs. FIG. 3 exemplary embodiment of a monitoring arrangement taking data traffic into account.
Figur 1 zeigt eine Überwachungsanordnung 1. Die Überwachungsanordnung 1 umfasst mindestens ein Clientmodul 2 und ein Zentralmodul 3. Das Clientmodul 2 und das Zentralmodul 3 sind datentechnisch miteinander verbunden. Das Zentralmodul 3 ist beispielsweise zentral bei einem Hersteller, Sicherheitsdienstleister und/oder einer Überwachungszentrale angeordnet. Insbesondere bildet das Zentralmodul 3 eine Cloud. Das Clientmodul 2 ist dezentral, beispielsweise in einem Überwachungsbereich angeordnet. Der Überwachungsbereich ist mit Videokameras videotechnisch überwacht, wobei Bilddaten 4 dem Clientmodul 2 bereitgestellt werden. Die Bilddaten 4 sind insbesondere von hoher Qualität, beispielsweise HD oder 4K. FIG. 1 shows a monitoring arrangement 1. The monitoring arrangement 1 comprises at least one client module 2 and a central module 3. The client module 2 and the central module 3 are connected to one another in terms of data technology. That Central module 3 is arranged, for example, centrally at a manufacturer, security service provider and/or a monitoring center. In particular, the central module 3 forms a cloud. The client module 2 is decentralized, for example arranged in a surveillance area. The surveillance area is video-monitored with video cameras, image data 4 being provided to the client module 2 . The image data 4 are in particular of high quality, for example HD or 4K.
Das Clientmodul 2 umfasst eine Analyseeinheit 5 und eine Verarbeitungseinheit 6. Der Analyseeinheit 5 sind die Bilddaten 4 bereitgestellt, wobei der Verarbeitungseinheit 6 ebenfalls die Bilddaten 4 bereitgestellt sind sowie Ergebnisse und/oder Daten der Analyseeinheit 5. The client module 2 comprises an analysis unit 5 and a processing unit 6. The analysis unit 5 is provided with the image data 4, the processing unit 6 also being provided with the image data 4 as well as results and/or data of the analysis unit 5.
Das Übertragen der gesamten Bilddaten 4 an das Zentralmodul 3 in der hohen Qualität würde zu einem großen Datenverkehr führen. Häufig sind nicht alle Bereiche und/oder Abschnitte von Bildern zur Weiterverarbeitung und/oder Auswertung. Die Überwachungsanordnung 1 ist ausgebildet, komprimierte Bilddaten dem Zentralmodul 3 bereitzustellen, sodass nur diese Bildbereiche in hoher Qualität übertragen werden, die in dieser Qualität benötigt werden. Die Überwachungsanordnung 1 weist den Vorteil auf, dass zur Generierung und zur Entschlüsselung der komprimierten Bilddaten beide Seiten, Zentralmodul 3 und Clientmodul 2, aufeinander abgestimmt und somit jederzeit kompatibel sind. Dies basiert auf der Überlegung beide Seiten, Zentralmodul 3 und Clientmodul 2, zu kontrollieren. The transmission of the entire image data 4 to the central module 3 in the high quality would lead to a large amount of data traffic. Frequently, not all areas and/or sections of images are for further processing and/or evaluation. The monitoring arrangement 1 is designed to provide compressed image data to the central module 3 so that only those image areas that are required in this quality are transmitted in high quality. The monitoring arrangement 1 has the advantage that both sides, central module 3 and client module 2, are matched to one another and are therefore compatible at all times in order to generate and decrypt the compressed image data. This is based on the idea of checking both sides, central module 3 and client module 2.
Von einem Anbietermodul 7 sind Applikationen beziehbar, insbesondere erwerbbar, herunterladbar und/oder skalierbar. Das Anbietermodul 7 ist beispielsweise ein App-Store. Vom Anbietermodul 7 sind insbesondere eine Komprimierungsapplikation 8, eine Dekomprimierungsapplikation 9 und eine Analyseapplikation 10 beziehbar. Beispielsweise ist ein Benutzer an bestimmten Bildbereichen und/oder Objekten bzw. Ereignissen in den Bilddaten 4 interessiert, beispielsweise an Gesichtern oder Nummernschildern. Hierzu kann der Benutzer eine Komprimierungsapplikation 8 beziehen und/oder herunterladen, die dem Generieren von komprimierten Bilddaten 11 dient, in denen die Bildabschnitte und/oder Bildbereiche mit diesen Objekten und/oder Ereignissen in erhöhter Qualität gegenüber anderen Bereichen umfasst und/oder gespeichert sind. Das Beziehen und/oder Installieren der Komprimierungsapplikation 8 führt automatisch und/oder veranlasst zum Installieren und/oder Verwenden der zugehörigen DekomprimierungsapplikationApplications can be obtained, in particular acquired, downloaded and/or scaled from a provider module 7 . The provider module 7 is an app store, for example. In particular, a compression application 8 , a decompression application 9 and an analysis application 10 can be obtained from the provider module 7 . For example, a user is interested in certain image areas and/or objects or events in the image data 4, for example faces or number plates. For this purpose, the user can obtain a compression application 8 and/or download it, which is used to generate compressed image data 11, in which the image sections and/or image areas with these objects and/or Includes events of increased quality compared to other areas and / or are stored. Obtaining and/or installing the compression application 8 automatically and/or causes the associated decompression application to be installed and/or used
9 im Zentralmodul 3, insbesondere durch eine Dekomprimierungseinheit 12. Ferner kann durch das Verwenden und/oder Installieren der Komprimierungsapplikation 9 durch das Clientmodul 2 bzw. durch die Verarbeitungseinheit 6 veranlasst werden, eine zugehörige Analyseapplikation9 in the central module 3, in particular by a decompression unit 12. Furthermore, by using and/or installing the compression application 9 by the client module 2 or by the processing unit 6, an associated analysis application can be initiated
10 auf der Analyseeinheit 5 zu installieren und/oder deren Verwendung durch die Analyseeinheit 5 zu veranlassen. Somit ist gewährleistet, dass Komprimierung, Dekomprimierung und insbesondere Analyse stets aufeinander abgestimmt sind und kompatibel zueinander. 10 to be installed on the analysis unit 5 and/or to cause the analysis unit 5 to use it. This ensures that compression, decompression and, in particular, analysis are always coordinated and compatible with one another.
Die Analyseeinheit 5 des Clientmodul 2 ist ausgebildet, die bereitgestellten Bilddaten 4 auszuwerten, insbesondere die von den Bilddaten 4 umfassten Bilder und/oder Videos auf das Vorliegen von Interessensbereichen zu untersuchen.The analysis unit 5 of the client module 2 is designed to evaluate the provided image data 4, in particular to examine the images and/or videos comprised by the image data 4 for the presence of areas of interest.
Die Interessensbereiche sind beispielsweise die Bildbereiche, die Objekte oder Ereignisse und zeigen, an denen ein Benutzer oder eine weitere Auswertung interessiert ist. Beispielsweise ist die Analyseeinheit 5 ausgebildet, mittels der Analyseapplikation 10 eine Objekterkennung und/oder Ereigniserkennung auf die Bilddaten 4 anzuwenden, insbesondere unter Verwendung von neuronalen Netzen. Als Ergebnis werden von der Analyseeinheit 5 die Interessensbereiche an die Verarbeitungseinheit 6 bereitgestellt, insbesondere ergeben sich durch die Interessensbereiche die verbleibenden Bildbereiche als Nichtinteressensbereiche. The areas of interest are, for example, the image areas that show objects or events in which a user or further evaluation is interested. For example, the analysis unit 5 is designed to use the analysis application 10 to apply object recognition and/or event recognition to the image data 4, in particular using neural networks. As a result, the areas of interest are made available to the processing unit 6 by the analysis unit 5; in particular, the areas of interest result in the remaining image areas as areas of no interest.
Die Verarbeitungseinheit 6 ist ausgebildet, basierend auf den detektierten Interessensbereichen 14 und den Bilddaten 4 die komprimierten Bilddaten 11 zu bestimmen. Hierzu werden die Interessensbereiche 14 in den komprimierten Bilddaten 11 in höherer Qualität vorgesehen als Nichtinteressensbereiche. Insbesondere werden die so aufgebauten Bilder und/oder Bilddaten umfassend die Interessensbereiche und/oder Bildinhalte der Interessensbereiche codiert und komprimiert. Die komprimierten Bilddaten 11 sind dem Zentralmodul 3, insbesondere der Dekomprimierungseinheit 12 bereitgestellt. Ferner sind die komprimierten Bilddaten 11 einer Speichereinheit des Zentralmoduls 3 bereitgestellt. Die Dekomprimierungseinheit 12 ist ausgebildet, basierend auf den komprimierten Bilddaten 11 die dekomprimierten Bilddaten 16 zu bestimmen, beispielsweise durch Dekomprimieren und Dekodieren der komprimierten Bilddaten 11. Die dekomprimierten Bilddaten 16 werden beispielsweise durch eine Anzeigeeinheit angezeigt und/oder visualisiert. Im Speziellen sind von der Analyseeinheit 5 die Interessenbereiche 14 bereitgestellt, sodass in der Anzeige und/oder Visualisierung der dekomprimierten Bilddaten 16 die Interessensbereiche 14 beispielsweise hervorgehoben sind, beispielsweise durch Umrahmung oder farbliches Hinterlegen. The processing unit 6 is designed to determine the compressed image data 11 based on the detected areas of interest 14 and the image data 4 . For this purpose, the areas of interest 14 in the compressed image data 11 are provided in a higher quality than areas of no interest. In particular, the images and/or image data constructed in this way are encoded and compressed to include the areas of interest and/or image contents of the areas of interest. The compressed image data 11 are made available to the central module 3 , in particular to the decompression unit 12 . Furthermore, the compressed image data 11 is provided to a memory unit of the central module 3 . The decompression unit 12 is designed to determine the decompressed image data 16 based on the compressed image data 11, for example by decompressing and decoding the compressed image data 11. The decompressed image data 16 is displayed and/or visualized by a display unit, for example. In particular, the areas of interest 14 are provided by the analysis unit 5, so that the areas of interest 14 are highlighted in the display and/or visualization of the decompressed image data 16, for example by framing or colored background.
Figur 2 zeigt ein Ausführungsbeispiel einer Überwachungsanordnung 1, wobei hier zur Generierung der komprimierten Bilddaten 11 eine Delta-Codierung vorgesehen ist. Dies basiert insbesondere auf der Überlegung, dass statt dem Kodieren und Komprimieren eines gesamten Bildes oder Frames, die Generierung der komprimierten Bilddaten das Kodieren und/oder Komprimieren von Delta-Bereichen vorsieht. Dies kann beispielsweise ein komplettes Bild oder ein Bildabschnitt sein. Beispielsweise ist im Falle eines detektierten Autounfalls das gesamte Bild in höchster Qualität, beispielsweise HD, an das Zentralmodul 3 zu übersenden. Dieses hochaufgelöste Bild kann insbesondere mit Encodingdaten überlagert werden, wobei beispielsweise die Encodingdaten eine übliche qualitätsreduzierte Komprimierung und Kodierung der Bilddaten 4 bildet. FIG. 2 shows an exemplary embodiment of a monitoring arrangement 1, delta coding being provided here for generating the compressed image data 11. This is based in particular on the consideration that instead of encoding and compressing an entire image or frame, the generation of the compressed image data provides for the encoding and/or compression of delta areas. This can be a complete image or a section of an image, for example. For example, if a car accident is detected, the entire image is to be sent to the central module 3 in the highest quality, for example HD. This high-resolution image can in particular be overlaid with encoding data, with the encoding data forming, for example, a conventional compression and coding of the image data 4 of reduced quality.
Das Clientmodul 2 umfasst wie im Ausführungsbeispiel zu Figur 1 die Analyseeinheit 5 und die Verarbeitungseinheit 6. Ferner umfasst das Clientmodul 2 eine Encodingeinheit 18 und eine Decodingeinheit 19. Die Encodingeinheit 18 ist ausgebildet, Encodingdaten 20 zu generieren, die eine qualitätsreduzierte Kodierung und Komprimierung der Bilddaten 4 bilden. Die Encodingdaten 20 sind der Decodingeinheit 19 des Clientmodul 2 bereitgestellt, ferner sind die Encodingdaten 20 dem Zentralmodul 3, insbesondere einer Decodingeinheit 19 des Zentralmoduls 3, bereitgestellt. Die Decodingeinheit 19 ist ausgebildet, die Encodingdaten 20 zu dekodieren und/oder zu dekomprimieren, sodass die dekomprimierten, qualitätsreduzierten Bilder und/oder Bildinhalte erhalten werden. As in the exemplary embodiment for Figure 1, the client module 2 comprises the analysis unit 5 and the processing unit 6. The client module 2 also comprises an encoding unit 18 and a decoding unit 19. The encoding unit 18 is designed to generate encoding data 20, which encodes and compresses the image data in a reduced-quality manner 4 form. The encoding data 20 are provided to the decoding unit 19 of the client module 2 , and the encoding data 20 are also provided to the central module 3 , in particular a decoding unit 19 of the central module 3 . The decoding unit 19 is designed to decode and/or decompress the encoding data 20 so that the decompressed, quality-reduced images and/or image content are obtained.
Die Verarbeitungseinheit 6 ist ausgebildet, basierend auf den bereitgestellten Interessensbereichen 14, den Bilddaten 4 und den bereitgestellten dekomprimierten und dekodierten Encodingdaten 21 die komprimierten Bilddaten 11 zu generieren. Somit ist es möglich, dass die komprimierten Bilddaten 11 nur ein Delta umfassen, wobei das Delta beispielsweise den Unterschied der Interessensbereiche 14 zwischen den Bilddaten 4 und den qualitätsreduzierten dekomprimierten und dekodierten Encodingdaten 21 bilden. Die komprimierten Bilddaten umfassen somit im Wesentlichen den Bildinhalt der Interessensbereiche 14 der in den Encodingdaten 20 durch die Qualitätsreduzierung verloren gegangen ist. The processing unit 6 is designed to generate the compressed image data 11 based on the provided areas of interest 14 , the image data 4 and the provided decompressed and decoded encoding data 21 . It is thus possible for the compressed image data 11 to only include a delta, with the delta forming, for example, the difference in the areas of interest 14 between the image data 4 and the quality-reduced, decompressed and decoded encoding data 21 . The compressed image data thus essentially includes the image content of the areas of interest 14 which has been lost in the encoding data 20 as a result of the quality reduction.
Die Dekomprimierungseinheit 12 bestimmt basierend auf den komprimierten Bilddaten 11 die dekomprimierten Bilddaten 16, wobei hierzu von der Decodingeinheit 19 die dekodierten und dekomprimierten Encodingdaten 21 zur Superposition bereitgestellt sind. Die Anzeigeeinheit 17 kann so Bilder anzeigen, die die Interessensbereiche 14 in hoher Qualität basierend auf den komprimierten Bilddaten 11 zeigen und die Nichtinteressenbereiche basierend auf den Encodingdaten 20 mit geringerer Qualität zeigen. In der Speichereinheit 15 werden insbesondere die komprimierten Bilddaten 11, die Encodingdaten 20, die dekodierten und/oder dekomprimierten Encodingdaten 21 gespeichert. The decompression unit 12 determines the decompressed image data 16 based on the compressed image data 11, the decoded and decompressed encoding data 21 being provided for this purpose by the decoding unit 19 for superposition. The display unit 17 can thus display images showing the areas of interest 14 in high quality based on the compressed image data 11 and showing the areas of no interest based on the encoding data 20 with lower quality. In particular, the compressed image data 11, the encoding data 20, the decoded and/or decompressed encoding data 21 are stored in the storage unit 15.
Figur 3 zeigt ein Ausführungsbeispiel einer Überwachungsanordnung 1 bei der die Generierung der komprimierten Bilddaten 11 unter Berücksichtigung des Datenverkehrs erfolgt. Hierzu umfasst das Zentralmodul 3 eine Managementeinheit 22 und das Clientmodul 2 umfasst eine Kommunikationsmanagementeinheit 23. DieFIG. 3 shows an exemplary embodiment of a monitoring arrangement 1 in which the compressed image data 11 is generated taking data traffic into account. For this purpose, the central module 3 includes a management unit 22 and the client module 2 includes a communication management unit 23. The
Kommunikationsmanagementeinheit 23 ist ausgebildet, die Auslastung des Datenverkehrs vom Clientmodul 2 zu Zentralmodul 3 zu bestimmen. Die Verarbeitungseinheit 6 ist dabei ausgebildet, die Generierung der komprimierten Bilddaten basierend auf diesen Daten zu planen und/oder durchzuführen. Beispielsweise ist die Verarbeitungseinheit 6 ausgebildet, komprimierte Bilddaten 11 mit einer Vielzahl an Interessensbereichen dann zu generieren, wenn der Datenverkehr bzw. die Auslastung gering ist, sodass größere Datenmengen übertragbar sind. Wird von der Kommunikationsmanagementeinheit 23 eine hohe Auslastung des Datenverkehrs zwischen Clientmodul 2 und Zentralmodul 3 bestimmt, wird von der Verarbeitungseinheit 6 das Generieren von komprimierten Bilddaten 11 mit weniger Interessensbereichen und/oder Interessensbereichen mit verringerter Qualität veranlasst, sodass eine Sicherstellung der Übertragung von Encodingdaten und komprimierten Bilddaten 11 zwischen Clientmodul 2 und Zentralmodul 3 gegeben ist. Communication management unit 23 is designed to determine the utilization of the data traffic from the client module 2 to the central module 3 . The processing unit 6 is designed to plan and/or carry out the generation of the compressed image data based on this data. For example, the processing unit 6 is designed to generate compressed image data 11 with a large number of areas of interest when the Data traffic or utilization is low, so that larger amounts of data can be transferred. If the communication management unit 23 determines a high utilization of the data traffic between the client module 2 and the central module 3, the processing unit 6 causes the generation of compressed image data 11 with fewer areas of interest and/or areas of interest with reduced quality, so that the transmission of encoding data and compressed data is ensured Image data 11 between client module 2 and central module 3 is given.

Claims

Ansprüche Expectations
1. Überwachungsanordnung (1) mit einem Zentralmodul (3) und mindestens einem Clientmodul (2), wobei dem Clientmodul (2) Bilddaten (4) bereitgestellt sind, wobei das Clientmodul (2) eine Analyseeinheit (5) und eine Verarbeitungseinheit (6) aufweist, wobei die Analyseeinheit (5) ausgebildet ist, in den Bilddaten (4) Interessensbereiche (14) zu detektieren, wobei die Verarbeitungseinheit (6) ausgebildet ist, basierend auf den Bilddaten (4) und den detektierten Interessensbereichen (14) komprimierte Bilddaten (11) zu generieren, wobei das Clientmodul (2) eine Bereitstellungseinheit aufweist, wobei die Bereitstellungseinheit ausgebildet ist, die komprimierten Bilddaten (11) dem Zentralmodul (3) bereitzustellen, wobei das Zentralmodul (3) eine Dekomprimierungseinheit (12) aufweist, wobei die Dekomprimierungseinheit (12) ausgebildet ist, basierend auf den komprimierten Bilddaten (11) dekomprimierte Bilddaten (16) zu bestimmen. 1. Monitoring arrangement (1) with a central module (3) and at least one client module (2), image data (4) being provided to the client module (2), the client module (2) having an analysis unit (5) and a processing unit (6) wherein the analysis unit (5) is designed to detect regions of interest (14) in the image data (4), the processing unit (6) being designed to generate compressed image data ( 11), the client module (2) having a provision unit, the provision unit being designed to provide the compressed image data (11) to the central module (3), the central module (3) having a decompression unit (12), the decompression unit (12) is designed to determine decompressed image data (16) based on the compressed image data (11).
2. Überwachungsanordnung (1) nach Anspruch 1, dadurch gekennzeichnet, dass von einem Anbietermodul (7) eine Komprimierungsapplikation (8) und eine zugehörige Dekomprimierungsapplikation (9) bereitgestellt ist und/oder beziehbar ist, wobei die Verarbeitungseinheit (6) ausgebildet ist, die bereitgestellte Komprimierungsapplikation (8) zur Generierung der komprimierten Bilddaten (11) auszuführen und/oder anzuwenden, wobei die Dekomprimierungseinheit (12) ausgebildet ist, die zugehörige Dekomprimierungsapplikation (9) zur Bestimmung der dekomprimierten Bilddaten (16) auszuführen und/oder anzuwenden. 2. Monitoring arrangement (1) according to claim 1, characterized in that a compression application (8) and an associated decompression application (9) are provided and/or can be obtained from a provider module (7), the processing unit (6) being designed to provided compression application (8) to generate the compressed image data (11) to execute and / or use, wherein the decompression unit (12) is designed, the associated decompression application (9) to determine the decompressed execute and/or apply image data (16).
3. Überwachungsanordnung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) ausgebildet ist, bei Beziehen und/oder Installation der Komprimierungsapplikation (8) die Dekomprimierungseinheit (12) zum Beziehen und/oder Installieren der zugehörigen Dekomprimierungsapplikation (9) zu triggern. 3. Monitoring arrangement (1) according to claim 2, characterized in that the processing unit (6) is designed, when obtaining and/or installing the compression application (8), the decompression unit (12) for obtaining and/or installing the associated decompression application (9) to trigger.
4. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, gekennzeichnet durch eine Überwachungskamera, wobei die Überwachungskamera das Clientmodul (2) umfasst. 4. Monitoring arrangement (1) according to any one of the preceding claims, characterized by a surveillance camera, wherein the surveillance camera comprises the client module (2).
5. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die komprimierten Bilddaten (11) die Interessensbereiche (14) der Bilddaten (4) in einer höheren Qualität umfassen als Nicht-Interessensbereiche der Bilddaten (4). 5. Monitoring arrangement (1) according to one of the preceding claims, characterized in that the compressed image data (11) include the areas of interest (14) of the image data (4) in a higher quality than non-interest areas of the image data (4).
6. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Clientmodul (2) eine Encodingeinheit (18) aufweist und die Encodingeinheit (18) ausgebildet ist, die Bilddaten (4) zu qualitätsreduzierten und/oder datengrößenreduzierten Encodingdaten (20) zu verarbeiten, wobei die Bereitstellungseinheit ausgebildet ist, die Encodingdaten (20) dem Zentralmodul (3) bereitzustellen. 6. Monitoring arrangement (1) according to one of the preceding claims, characterized in that the client module (2) has an encoding unit (18) and the encoding unit (18) is designed to convert the image data (4) into encoding data (20 ) to process, wherein the provision unit is designed to provide the encoding data (20) to the central module (3).
7. Überwachungsanordnung (1) nach Anspruch 6, dadurch gekennzeichnet, dass das Zentralmodul (3) eine Decodingeinheit (19) und eine Superpositionseinheit aufweist, wobei die Decodingeinheit (19) ausgebildet ist, basierend auf den Encodingdaten (20) ein qualitätsreduziertes Decodingbild zu bestimmen, wobei die Superpositionseinheit ausgebildet ist, basierend auf dem Decodingbild und den komprimierten Bilddaten (11) ein Superpositionsbild zu generieren, wobei das Superpositionsbild die Interessensbereiche (14) in einer höheren Qualität als Nichtinteressensbereiche umfasst und/oder zeigt. 7. Monitoring arrangement (1) according to claim 6, characterized in that the central module (3) has a decoding unit (19) and a superposition unit, the decoding unit (19) being designed to determine a reduced-quality decoding image based on the encoding data (20). , wherein the superposition unit is designed to generate a superposition image based on the decoding image and the compressed image data (11), the superposition image comprising and/or showing the areas of interest (14) in a higher quality than areas of no interest.
8. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) ausgebildet ist, basierend auf einer Objektinformation eines Objekts in einem Interessenbereich (14) die komprimierten Bilddaten (11) zu bestimmen. 8. Monitoring arrangement (1) according to one of the preceding claims, characterized in that the processing unit (6) is designed to determine the compressed image data (11) based on object information of an object in a region of interest (14).
9. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bereitstellungseinheit ausgebildet ist, für einen Datenverkehr zu dem Zentralmodul (3) eine Auslastung zu ermitteln, wobei die Verarbeitungseinheit (6) ausgebildet ist, basierend auf der Auslastung die komprimierten Bilddaten (11) zu bestimmen. 9. Monitoring arrangement (1) according to one of the preceding claims, characterized in that the provision unit is designed to determine a utilization for data traffic to the central module (3), the processing unit (6) being designed based on the utilization of the compressed To determine image data (11).
10. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) ausgebildet ist, detektierte Interessensbereiche (14) in den komprimierten Bilddaten (4) mit einer Mindestqualität als Nicht-Interessensbereiche zu setzten. 10. Monitoring arrangement (1) according to one of the preceding claims, characterized in that the processing unit (6) is designed to set detected areas of interest (14) in the compressed image data (4) with a minimum quality as non-interest areas.
11. Überwachungsanordnung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bereitstellungseinheit ausgebildet ist, die komprimierten Bilddaten (4) als progressiv codierte Daten zu übertragen. 11. Monitoring arrangement (1) according to one of the preceding claims, characterized in that the supply unit is designed to transmit the compressed image data (4) as progressively coded data.
12. Verfahren zur Übertragung von Daten zwischen einem Clientmodul (2) und einem Zentralmodul (3), wobei dem Clientmodul (2) die Bilddaten (4) bereitgestellt sind und/oder werden, wobei im und/oder von dem Clientmodul (2) in den Bilddaten (4) Interessensbereiche (14) detektiert werden, wobei im und/oder von dem Clientmodul basierend auf den Bilddaten (4) und den detektierten Interessensbereichen (14) komprimierte Bilddaten (11) bestimmt und/oder generiert werden, wobei die komprimierten Bilddaten (11) dem Zentralmodul (3) bereitgestellt werden, wobei im und/oder von dem Zentralmodul (3) basierend auf den komprimierten Bilddaten dekomprimierte Bilddaten (16) bestimmt werden. 12. Method for the transmission of data between a client module (2) and a central module (3), wherein the image data (4) are and/or are provided to the client module (2), wherein in and/or from the client module (2) in the image data (4) areas of interest (14) are detected, with compressed image data (11) being determined and/or generated in and/or by the client module based on the image data (4) and the detected areas of interest (14), with the compressed image data (11) are provided to the central module (3), decompressed image data (16) being determined in and/or by the central module (3) based on the compressed image data.
13. Computerprogramm, umfassend Befehle, die bewirken, dass die Überwachungsanordnung (1) gemäß einem der Ansprüche 1 bis 11, das Verfahren nach Anspruch 12 ausführt. A computer program comprising instructions which cause the monitoring arrangement (1) according to any one of claims 1 to 11 to carry out the method according to claim 12.
14. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist. 14. Computer-readable medium on which the computer program according to claim 13 is stored.
PCT/EP2022/069850 2021-07-16 2022-07-15 Monitoring arrangement and monitoring method WO2023285651A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021207643.2 2021-07-16
DE102021207643.2A DE102021207643A1 (en) 2021-07-16 2021-07-16 Surveillance arrangement and procedure for surveillance

Publications (1)

Publication Number Publication Date
WO2023285651A1 true WO2023285651A1 (en) 2023-01-19

Family

ID=82850795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/069850 WO2023285651A1 (en) 2021-07-16 2022-07-15 Monitoring arrangement and monitoring method

Country Status (2)

Country Link
DE (1) DE102021207643A1 (en)
WO (1) WO2023285651A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110258344A1 (en) * 2010-04-15 2011-10-20 Canon Kabushiki Kaisha Region of interest-based image transfer
US20190191128A1 (en) * 2016-08-23 2019-06-20 Nec Corporation Image processing apparatus, image processing method, and storage medium having program stored therein
US20200151487A1 (en) * 2018-11-09 2020-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
DE102018219067A1 (en) 2018-11-08 2020-05-14 Robert Bosch Gmbh Transparency mechanism for the local composition of personal, distributed stored user data
US20200348665A1 (en) * 2019-05-02 2020-11-05 Valeo Schalter Und Sensoren Gmbh Selective compression of image data during teleoperation of a vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492821B2 (en) 2005-02-08 2009-02-17 International Business Machines Corporation System and method for selective image capture, transmission and reconstruction
US20080129844A1 (en) 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
CN102325257A (en) 2007-07-20 2012-01-18 富士胶片株式会社 Image processing apparatus,image processing method and computer readable medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110258344A1 (en) * 2010-04-15 2011-10-20 Canon Kabushiki Kaisha Region of interest-based image transfer
US20190191128A1 (en) * 2016-08-23 2019-06-20 Nec Corporation Image processing apparatus, image processing method, and storage medium having program stored therein
DE102018219067A1 (en) 2018-11-08 2020-05-14 Robert Bosch Gmbh Transparency mechanism for the local composition of personal, distributed stored user data
US20200151487A1 (en) * 2018-11-09 2020-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
US20200348665A1 (en) * 2019-05-02 2020-11-05 Valeo Schalter Und Sensoren Gmbh Selective compression of image data during teleoperation of a vehicle

Also Published As

Publication number Publication date
DE102021207643A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
DE102009017436B4 (en) Detecting a change between images or in a sequence of images
DE19743202B4 (en) Method for coding a motion vector
DE112021006157T5 (en) VIDEO CODING USING NON-SALIENCY COMPRESSION FOR LIVE STREAMING OF HIGH-RESOLUTION VIDEO IN A LOW-BANDWIDTH TRANSMISSION
EP1472888B1 (en) Context-sensitive encoding and decoding of a video data stream
DE202016008202U1 (en) Adaptable tile data size coding for video and image compression
EP1425920A2 (en) Method for producing video coding and programme-product
WO2023285651A1 (en) Monitoring arrangement and monitoring method
DE102013021707A1 (en) GRAPHIC SERVICE PROVIDER AND METHOD FOR MANAGING DATA POWER PARAMETERS
EP0336510B1 (en) Predictive still-image encoder
EP2420064A1 (en) Methods and devices for creating, decoding and transcoding an encoded video data stream
DE102014115188A1 (en) Method for adapting a data stream to be transmitted to a resource utilization
EP1877934A1 (en) Method and system for processing data
DE112021003232T5 (en) METHOD AND DEVICE FOR ADAPTIVE AI DOWNSCALING FOR UPSCALING DURING A VIDEOPHONE CALL
DE10208480A1 (en) Production of media data stream with different quality levels, by differently encrypting separate sub-streams and combining by multiplexing to form media data stream
DE102020125210A1 (en) Cross-channel look-ahead rate control for multi-channel video coding
EP0981910B1 (en) Method and device for coding a digitized image
EP1762100A1 (en) Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device
EP0995311B1 (en) METHOD FOR PRODUCING A TELEVISION TRANSMISSION SIGNAL WITH ADDITIONAL INFORMATION AND DEVICE FOR SEPARATING THE ADDITIONAL INFORMATION FroM THE TELEVISION TRANSMISSION SIGNAL
DE102021207142A1 (en) Surveillance arrangement, surveillance method, computer program and storage medium
WO2005104559A1 (en) Prediction method and corresponding method for decoding a prediction method, corresponding encoding and decoding devices
EP2745510B1 (en) Method for handling transmission errors of a video stream
EP2122569B1 (en) Method for marking a digital image with a digital watermark
DE10007171A1 (en) Method and arrangement for coding or for coding and decoding a sequence of numbers
EP0284962B1 (en) Method for reducing the image data of digital television signals
DE102021203087A1 (en) Compression of audio data in the vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22753635

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE