WO2020169340A1 - Analysevorrichtung, überwachungsanordnung mit der analysevorrichtung sowie verfahren zur bestimmung eines privatsphärenkonformen hintergrundbildes - Google Patents

Analysevorrichtung, überwachungsanordnung mit der analysevorrichtung sowie verfahren zur bestimmung eines privatsphärenkonformen hintergrundbildes Download PDF

Info

Publication number
WO2020169340A1
WO2020169340A1 PCT/EP2020/052793 EP2020052793W WO2020169340A1 WO 2020169340 A1 WO2020169340 A1 WO 2020169340A1 EP 2020052793 W EP2020052793 W EP 2020052793W WO 2020169340 A1 WO2020169340 A1 WO 2020169340A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
people
designed
analysis
individual images
Prior art date
Application number
PCT/EP2020/052793
Other languages
English (en)
French (fr)
Inventor
Michael Christern
Jan Karl Warzelhan
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US17/431,329 priority Critical patent/US11875514B2/en
Publication of WO2020169340A1 publication Critical patent/WO2020169340A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • Analysis device monitoring arrangement with the analysis device as well as
  • An analysis device for analyzing image data from a camera having the features of the preamble of claim 1 is proposed. Furthermore, a monitoring arrangement with the analysis device and a method for determining a privacy-compliant background image are provided.
  • Video surveillance system wherein the video surveillance system comprises at least one surveillance camera, which is directed and / or directed to a surveillance area, in particular a storage and / or sales area, with products, with a detection device which is designed to detect the products, with a Position information and identification information of the detected product is determined.
  • a detection device which is designed to detect the products, with a Position information and identification information of the detected product is determined.
  • an allocation device which is designed to model a spatial distribution of the products in the monitoring area using the position information and the identification information from a plurality of detected products.
  • the starting point of the invention is the fact that a large number of shops and stores are monitored using video technology and / or product technology.
  • the purpose of the monitoring is to improve the performance of the business.
  • analysis devices are used that can carry out in-store analysis, also known as retail analysis.
  • Such analyzes can be used to analyze and evaluate customer behavior in retail or in the shop.
  • the data obtained can be aggregated over time and / or over positions and made available to a user, for example a shop manager, an advertising department or data analyst.
  • the analysis data can be provided by means of graphical output (dashboard) and / or using tables. Based on the analysis data, the user can then select the product arrangement that
  • the subject matter of the invention is an analysis device which is designed and / or suitable for analyzing image data of at least or precisely one camera.
  • the analysis device is designed to determine and / or determine a privacy-compliant background image on the basis of the image data
  • the camera is used for imaging and / or video monitoring of a surveillance area.
  • the monitoring area is preferably a storage and / or sales room.
  • the monitored area recorded by the and / or the camera (s) is provided as the image data, in particular as video data.
  • the analysis device can be designed as a separate computing unit. Alternatively, however, the analysis device can also at least partially form an integral part of the camera.
  • the image data includes a plurality of images.
  • the image data include a plurality of chronologically successive and / or spaced frames.
  • the analysis device can access a recording of the image data in real time and / or.
  • the analysis device has a device for determining the number of people.
  • the number determination device has a
  • Number of people determining device is designed to determine a number of people in the images.
  • the number of people in the images is designed to determine a number of people in the images.
  • the metadata can also include, for example, position information and / or a movement behavior / pattern relating to the people depicted.
  • the device for determining the number of people can preferably evaluate the number of people in the images on the basis of digital or analog image processing algorithms.
  • the analysis device has an image selection device.
  • the image selection device has an interface for taking over the
  • Image selection device is designed on the basis of the
  • Number of persons determination device to select images, in particular at least or precisely one individual image, from the image data and to save them together with the associated metadata
  • the selection process carried out by the image selection device consists in comparing a plurality of individual images with one another on the basis of the associated number of people and making a selection decision on the basis of defined selection criteria stored in the image selection device.
  • the analysis device also has a person identification device.
  • the personal identification device has a
  • Personal identification device is designed to identify people in the
  • Personal identification device mark the people in the image plane of the corresponding individual image by means of a graphic boundary.
  • the analysis device has an image combining device.
  • the image combining device has an interface for accepting the mask images marked with the image sections.
  • the image combining device is designed to replace the image sections marked with people from at least or precisely one of the mask images with corresponding image sections without people.
  • the replacement of the image sections takes place by comparing several of the mask images with one another or with a stored individual image, with preferably all marked image sections with people being replaced by corresponding image sections without people. It can thereby be ensured that the background image generated does not actually depict any people, so that the privacy-compliant background image is generated and made available for further use.
  • the privacy-compliant background image can be manually or automatically, for example
  • the privacy-compliant background image is preferably used for overlaying and / or linking with a two-dimensional model, e.g. B. a floor plan and / or site plan.
  • the advantage of the invention is that a minimum of data to be transmitted can be realized through a small selection of individual images, which also have a reduced number of people. This is particularly advantageous in a cloud-based application of the
  • Image selection device a maximum number of people is stored.
  • the maximum number of people corresponds to a number of
  • the image selection device is designed to select the images in which the associated number of people is less than or equal to the stored maximum number of people.
  • the image selection device selects the images at fixed time intervals.
  • the image selection device preferably compares the individual images, in particular with respect to them
  • the image selection device making the individual images available as analysis data, in which the associated number of people is less than or equal to the stored maximum number of people and / or is minimal compared to the other individual images.
  • the images are preferably provided as the analysis data which have no people or only a few detected people.
  • the image selection device is designed to select at least or precisely one individual image in at least or precisely a specified time range in which a reduced number of people is to be expected.
  • the time span of the time range and / or the number of time ranges and / or the time intervals between several time ranges can preferably be set variably.
  • the at least one time range is defined, preferably at least once per day or per week or per month or per year.
  • the at least one time ready is defined before and / or after a specified period or point in time.
  • the time range is particularly preferably defined directly or at a time before an opening time and / or after a closing time.
  • the time range is set in such a way that no or at least only a few people are still in the monitoring area, but this is already optimized for the recording, e.g. lit is.
  • the image selection device is designed to analyze several of the individual images in the specified time range at different times, in particular with regard to the number of people.
  • the image selection device is designed to analyze one or more of the individual images with regard to the associated metadata at different, preferably random or time-determined points in time within the time range.
  • the image selection device can preferably the times with respect to the associated
  • the associated individual image can be assigned and / or loaded at at least or exactly one point in time which preferably has the smallest number of people.
  • the number of assigned and / or assignable individual images is equal to the number of times.
  • a minimum time interval between the times is stored in the image selection device.
  • the image selection device is designed to select or analyze the analysis data, in particular the individual images and / or the metadata, at points in time which are at a time interval that is greater than or equal to the minimum time interval.
  • the image selection device is designed to search for points in time which are spaced apart by at least the minimum time interval and / or whose number of people in the depicted scene (single image) is minimal and / or is less than or equal to the maximum number of people. With the knowledge at what point in time and how many people are present in the associated individual image or which points in time contain the fewest people, the associated individual image can then be loaded.
  • the minimum time interval stored in the image selection device and the maximum number of people stored ensure the probability that sufficient background data is available. If there are people in the scene, but not through the
  • the probability is increased that the people in the depicted scene have moved away and there is therefore no longer any person at the point.
  • the individual image or the image section can then be used to determine the privacy-compliant background image. In this way, the best possible distribution and / or diversity can be guaranteed between the results.
  • the image combining device is designed to replace the marked image sections in the mask images with an average value of the color values of the corresponding image sections of the further mask images.
  • the image combining device is used to calculate the privacy-compliant background image.
  • the image calculation module can sort all pixel values of the various analysis data according to their color value for each pixel position and then determine a median pixel value for calculating a median image as the privacy-compliant background image.
  • the median image is calculated by means of a
  • Image calculation module is formed, which are marked with people
  • Image selection device designed to ignore the image sections marked with people when calculating the mean value of all color values per image position. Since one cannot now assume any foreground objects (people), the mean value image can now also be calculated instead of the median image become.
  • the average value image per pixel is preferably calculated using an average value operator.
  • the person identification device has a masking module, the masking module being designed to mark the associated people in the associated individual images based on the analysis data, so that the image sections are formed.
  • the masking module can generously outline the image areas in which moving people have been identified.
  • the image areas containing people can preferably be bordered by rectangular or polygonal boxes.
  • the boxes in the image plane can be shown as two- or three-dimensional boxes. These boxes are particularly preferably larger by a defined percentage than the depicted person himself. In this way, a complete delimitation of the people in the associated individual image can be ensured.
  • the person identification device has a KI module, the KI module being designed to learn and / or improve the detection of people in the individual images.
  • the KI module is designed to analyze and / or evaluate image areas in the individual images where a person is suspected, with the corresponding areas being marked in the associated individual images when a person is detected.
  • the KI module is designed to learn features of people and to detect people based on the features.
  • the Kl module is designed to process the corresponding individual images by means of a neural network (also known as so-called “deep learning”) and to evaluate the points in the image where a person is suspected.
  • the KI module is designed to process the individual images by means of a deep learning segmentation algorithm, with a pixel-by-pixel classification being output in the image as to where people are. These image areas are then marked by masks that surround the people.
  • the personal identification device is designed, which is characterized by the
  • the personal identification device is designed to include all of the marked
  • mask images can be provided by the person identification device and added to a buffer / image stack. In particular, so many mask images can be provided until all or enough individual images provided by the image selection device have been processed in order to be able to calculate out possible errors or unrecognized persons in the subsequent process steps.
  • the analysis device has a database.
  • the database is designed to store at least or precisely one of the individual images with the associated number of people and / or the associated time as analysis data.
  • the analysis device has a database.
  • the database is designed to store at least or precisely one of the individual images with the associated number of people and / or the associated time as analysis data.
  • Image selection device formed the associated at each point in time
  • the database can now be processed individually, in particular in a loop, by the person identification device and the image combining device.
  • Another object of the invention relates to a monitoring arrangement which is designed and / or suitable for monitoring a monitoring area.
  • the monitoring arrangement preferably has the
  • the monitoring arrangement has at least one or more cameras.
  • the camera is designed to capture a monitoring area and to provide this as the image data.
  • Monitoring area with the at least one, preferably with all, cameras connected for signaling purposes.
  • the at least one preferably with all, cameras connected for signaling purposes.
  • each of the cameras being designed to optically monitor the monitoring area.
  • the optical recordings of the cameras are preferred as the image data of the
  • Analysis device provided, wherein the analysis device is designed to determine an associated privacy-compliant background image for each of the recordings.
  • the monitoring area is designed as the sales room.
  • the sales room is a section of a sales and / or storage room, e.g. from a store, shopping center or retail outlet.
  • the monitoring arrangement is designed to analyze sales behavior in the sales room.
  • the monitoring arrangement can analyze the sales room with regard to products, product performance, customer flows and / or sales data and preferably provide these as sales and / or retail data.
  • Another object of the invention relates to a method for determining a privacy-compliant background image, in particular with the
  • the method is preferably designed to carry out the following steps, in which:
  • Image data are transmitted from a camera to the analysis device, the image data having a plurality of images;
  • a number of persons determining device of the analysis device determines a number of persons in the images
  • an image selection device of the analysis device selects the images in which in particular an associated number of people is less than or equal to a maximum number of people stored in the image selection device, and provides the selected images as analysis data, - a person identification device identifies persons in the analysis data and marks them as image sections in the analysis data,
  • an image combining device replaces the image sections marked with people with corresponding image sections without people, so that a background image that conforms to privacy is generated.
  • FIG. 1 shows a highly schematic representation of a monitoring arrangement for monitoring a monitoring area
  • FIG. 2 shows a schematic block diagram of the monitoring arrangement with an analysis device as an exemplary embodiment of the invention
  • Figure 3 is a schematic flow chart for calculating a
  • Figure 1 shows a highly schematic representation
  • Monitoring arrangement 1 which is used to monitor a
  • the monitoring arrangement 1 is used.
  • the monitoring area 2 is as a
  • Formed sales area of the shop wherein in the sales area a plurality of goods displays 3, e.g. Shelves, tables, stands, counters etc. are set up for the presentation of goods. Between the goods presenters 3, a network of paths is given in the sales room 2, on which people 4 can move. The at least one person 4 is in interaction with the goods presenters 3 and the products arranged therein. Person 4 selects products, for example, takes them with them and lays a path in them
  • the monitoring arrangement 1 has a plurality of cameras 5 which are designed to visually monitor the monitoring area 2.
  • the person 4 in the surveillance area 2 is tracked and / or recorded with the cameras 5. Furthermore, by means of the cameras 5, the presence, removal and / or re-sorting of products and / or goods displays 3 can be detected
  • the optical recordings of the cameras 5 are provided as image data, in particular as video data, to an analysis device 6.
  • the analysis device 6 can be designed, among other things, to analyze, monitor and / or store the behavior of the people 4, the product performance of products and / or further information with regard to the monitoring area 2.
  • the analysis device 6 is designed to evaluate the image data transmitted by the cameras 5 and to generate a privacy-compliant background image, which is made available for further processes of sales and / or product analysis.
  • the privacy-compliant background image can be superimposed on a floor plan or site plan of the sales room.
  • Analysis device 6 is designed to carry out a method which ensures in several stages that the generated background image actually does not depict any persons 4 in the image data recorded by cameras 5 and at the same time reduces the bandwidth or the data volume per camera 5 to a minimum if this eg are in connection with the analysis device 6 via a cloud-based solution.
  • FIG. 2 shows the monitoring arrangement 1, the data streams of which are shown using a schematic block diagram as an exemplary embodiment of the invention.
  • the image data can be transmitted to the analysis device 6 from the cameras 5. Depending on how up-to-date the background image has to be, this can take place automatically or manually for each camera 5, for example every day, once a week or once a month.
  • the image data have a plurality of temporally successive and / or spaced images (individual images).
  • the cameras 5 can also deliver a metadata stream which describes the associated moving objects, in particular the people 4, by means of position data at any point in time in the recording.
  • the analysis device 6 has a device for determining the number of persons 7, which is designed on the basis of the metadata, in particular the
  • Position data to calculate an associated number of people in the corresponding individual image at any time.
  • the analysis device 6 has an image selection device 8 which is designed to select and load images based on the number of people, which preferably have a minimum number of people.
  • the image selection device 8 can examine the metadata with regard to the number of people at different points in time, preference being given to the images whose number of people 4 present in the depicted scene (single image) is minimal.
  • the image data and / or metadata provided by the cameras 5 can be downloaded partially or completely within a specific time range.
  • the type and number of denominations in this range can also be specified. In this way, a reduction in the download volume and greater diversity in the metadata can be achieved.
  • a maximum number of people is preferably stored in the image selection device 8, the image selection device exclusively for the images
  • the analysis device 6 also has a database 9, the database 9 having an interface for accepting the analysis data.
  • the analysis data can, for example, be sorted according to their associated times of recording and / or the associated number of people and in the
  • the analysis device 6 has a person identification device 10 which is designed to identify and mark individual persons in the individual images. All objects carried by the people, such as Strollers, suitcases, bags, etc., understood. For this purpose, the personal identification device 10 instructs
  • the masking module 11 is designed to mark, on the basis of the metadata or analysis data, the moving persons 4 detected by the cameras 5 and, if applicable, their accompanying objects as image sections in the associated individual image.
  • the Kl module 12 is formed parallel to the masking module 11
  • Analysis data in a single image process based on deep learning e.g. use a deep learning segmentation algorithm to identify unrecognized people, e.g. to mark seated or standing people in the associated individual image as further image sections in the associated individual image.
  • the analysis data is processed with a neural network and the places in the corresponding images are marked where a person is suspected.
  • the personal identification device 10 is designed to include the image sections of the corresponding individual image marked by the masking module 11 and the KI module 12 in a common mask image
  • the analysis device 6 has an image combining device 13, the image combining device 13 being designed to compare several of the mask images with one another and to replace correspondingly marked image sections with image sections without people.
  • Image combining device 13 for example, all for each pixel position Capture pixel values of all of the various mask images and sort them according to their color value. A median pixel value can then be calculated to generate a median image as the privacy-compliant background image. Alternatively or optionally, it can also be provided that the marked
  • Image sections are generously excluded or ignored and a
  • Mean value of all color values of the remaining mask images is calculated taking into account the excluded image sections for generating a mean value image as the privacy-compliant background image.
  • the invention thus describes a method which ensures in several stages that the background image generated does not actually depict any people and that the bandwidth or the data volume per camera 5 is reduced to a minimum.
  • the analysis device 6 is signal-connected to a terminal 14, the terminal having an interface for taking over the
  • the terminal 14 is designed as a display device and is used to display display data.
  • the display device 14 can be designed for graphic, image, video and / or text display.
  • the display is designed as a display.
  • the display device 14 can be
  • the camera positions can be selected individually, whereby the privacy compliant
  • Background image is superimposed as a camera image with the floor plan.
  • FIGS. 3 and 4 The sequence of the method is illustrated below in FIGS. 3 and 4 in a schematic flow diagram, FIG. 3 comprising steps S1 to S3 and FIG. 4 comprising steps S4 to S9.
  • a first step S1 the camera (s) 5 is accessed by the analysis device 6.
  • the image and / or metadata B, D provided by the camera 5 are evaluated within a certain time range T1 ⁇ -> T2.
  • the time range is defined as the opening time of the shop minus a variable period of time, for example 30 minutes.
  • Store owner / staff is already in the store to make preparations for the day ahead. It can thus be ensured that e.g. a light is switched on in the monitoring area 2 of the shop, whereby visually appealing images B of the image data can be recorded by the cameras 5.
  • step S1 can also be used at any time during the day, for example a record from the past can be accessed for this purpose. Alternatively, live, e.g. if no record exists, or based on statistics, which ones
  • Times of the day with the fewest people 4 can be expected to be accessed on the cameras 5.
  • the image selection device 8 searches for points in time Z which have a minimum number of people P recorded by the number determination device 7. For this purpose, the maximum is in the image selection device 8
  • a minimum time interval tmin between the times Z can be stored in the image selection device 8 as a further parameter. The best possible distribution and diversity of the downloaded image or metadata B, D is thus ensured by the minimum time interval tmin between the times Z.
  • the associated individual image B can be loaded by the image selection device 8 if all conditions (Pmax and tmin) are met. Based on the set time range, a frame is proposed at different points in time Z, for example selected randomly and / or with the same interval Metadata D is downloaded. The times Z are of the
  • the tapped individual images B preferably have no or few detected / moving persons / objects.
  • Corresponding individual image B is loaded from camera 5 and combined with its already existing metadata D in database 9 as analysis data A. This can be done iteratively, for example, since it is not necessary that all corresponding individual images B have to be loaded right at the beginning.
  • Personal identification device 10 provided.
  • a fifth step S5 by overlaying the individual image B with the associated metadata D, the identified persons PI, P2 are marked as the image sections A1 in the individual image B by the masking module 11.
  • the image sections A are shown, for example, as rectangular boxes, which by a defined percentage, z. B. enlarged by 20%, are larger than the depicted persons PI, P2 themselves. This results in a more likely complete delimitation of a person area. For example, the size of the boxes can be set variably.
  • the image sections Al are then noted in the system and the
  • a sixth step S6 connected in parallel is provided, the current single image B from the database 9 being parallel to the fifth step S5 Kl module 12 is passed and processed using deep learning.
  • a pixel-by-pixel classification is obtained in the individual image B, where the persons PI, P3 are located. These are marked as further image sections A2 (further rectangular boxes) in the individual image B.
  • the other image sections A2 are then noted in the system and the
  • a coupling and / or an overlay of the marked image sections A1, A2 is carried out by the person identification device 10. All marked image sections A1, A2, where the people PI, P2, P3 are very likely to be located, are combined in a common mask image M.
  • step S8 the mask image M is added to a buffer or image stack BS. Steps S4 to S8 are then repeated until all or enough individual images B have been processed from the database 9 in order to calculate out possible errors or unrecognized persons / objects in the following step S9. If not enough frames B without moving
  • step S4 must be repeated and the number of times Z in the second step S2 increased and / or the time range increased and thus the later number of individual images B increased.
  • the privacy-compliant background image H can be calculated by comparing all mask images M of the image stack BS and by calculating a median or mean value image, as already described above.
  • the image sections A1, A2 marked with the people PI, P2, P3 are replaced by corresponding image sections A, A2 'without people.
  • this background image can be viewed as a privacy-compliant background image for the scene by means of several repetitions of process steps S4 to S8 it is very likely that no more people are shown in the background image H.
  • the proposed method thus uses the opening times of the shop, the optical recordings of the cameras 5, as well as one or more cloud-based single image methods based on deep learning and / or a median image or mean image method in order to ensure that the background image H output does not contain any people and is thus privacy compliant.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Analysevorrichtung (6) zur Analyse von Bilddaten einer Kamera (5), wobei die Bilddaten eine Mehrzahl von Einzelbildern B aufweisen, mit einer Personenanzahlbestimmungseinrichtung (7), wobei die Personenanzahlbestimmungseinrichtung (7) ausgebildet ist, eine Personenanzahl P in den Einzelbildern B zu bestimmen, mit einer Bildauswahleinrichtung (8), wobei die Bildauswahleinrichtung (8) ausgebildet ist, auf Basis der Personenzahl P Einzelbilder B auszuwählen und die ausgewählten Einzelbilder B und die zugehörige Personenanzahl P als Analysedaten A bereitzustellen, mit einer Personenidentifizierungseinrichtung (10), wobei die Personenidentifizierungseinrichtung (10) ausgebildet ist, auf Basis der Analysedaten A Personen P1, P2, P3 als Bildabschnitte A1, A2 in den Einzelbildern B zu markieren und als Maskenbilder M bereitzustellen, mit einer Bildkombinierungseinrichtung (10), wobei die Bildkombinierungseinrichtung (10) ausgebildet ist, die markierten Bildabschnitte A1, A2 durch korrespondierende Bildabschnitte A1', A2' ohne Personen zu ersetzen, wobei eine maximale Personenanzahl Pmax in der Bildauswahleinrichtung (8) hinterlegt ist, wobei die Bildauswahleinrichtung (8) ausgebildet ist, die Einzelbilder B auszuwählen bei denen die zugehörige Personenanzahl P kleiner oder gleich der hinterlegten maximalen Personenanzahl Pmax ist.

Description

Beschreibung
Titel
Analysevorrichtung, Überwachungsanordnung mit der Analysevorrichtung sowie
Verfahren zur Bestimmung eines privatsphärenkonformen Hintergrundbildes
Stand der Technik
Es wird eine Analysevorrichtung zur Analyse von Bilddaten einer Kamera mit den Merkmalen des Oberbegriffs des Anspruchs 1 vorgeschlagen. Ferner werden eine Überwachungsanordnung mit der Analysevorrichtung sowie ein Verfahren zur Bestimmung eines privatsphärenkonformen Hintergrundbildes
vorgeschlagen.
Die Druckschrift DE 10 2008 001 126 Al, die wohl den nächstkommenden Stand der Technik bildet, offenbart ein Inventarisierungsmodul für ein
Videoüberwachungssystem, wobei das Videoüberwachungssystem mindestens eine Überwachungskamera umfasst, welche auf einen Überwachungsbereich, insbesondere einen Lager- und/oder Verkaufsbereich, mit Produkten gerichtet und/oder richtbar ist, mit einer Detektionseinrichtung, welche zur Detektion der Produkte ausgebildet ist, wobei bei der Detektion eine Positionsinformation und eine Identifikationsinformation des detektierten Produkts ermittelt wird. Mit einer Zuordnungseinrichtung, die ausgebildet ist, über die Positionsinformation und die Identifikationsinformation aus einer Mehrzahl von detektierten Produkten eine räumliche Verteilung der Produkte in dem Überwachungsbereich zu modellieren.
Offenbarung der Erfindung
Es wird eine Analysevorrichtung mit den Merkmalen des Anspruchs 1
vorgeschlagen. Ferner wird eine Überwachungsanordnung mit den Merkmalen des Anspruchs 11 sowie ein Verfahren mit den Merkmalen des Anspruchs 13 vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
Ausgangspunkt der Erfindung ist der Umstand, dass eine Vielzahl an Geschäften und Läden videotechnisch und/oder produkttechnisch überwacht werde. Mittels der Überwachung soll die Performance des Geschäftes verbessert werden. Dazu werden Analysevorrichtungen eingesetzt, die eine Instore-Analytik, oder auch Retail-Analyse genannt, durchführen können. Mittels solcher Analysen kann ein Kundenverhalten im Einzelhandel oder im Ladengeschäft analysiert und ausgewertet werden. Die gewonnenen Daten können über die Zeit und/oder auch über Positionen aggregiert werden und einen Benutzer, beispielsweise einem Ladengeschäftmanager, einer Werbeabteilung oder Datenanalysten, bereitgestellt werden. Die Bereitstellung der Analysedaten kann mittels grafischer Ausgabe (Dashboard) und/oder anhand von Tabellen erfolgen. Basierend auf den Analysedaten kann der Benutzer dann die Produktanordnung, die
Regalanordnung oder andere Parameter so optimieren, dass das
Kundenverhalten nach Wunsch gesteuert wird.
Gegenstand der Erfindung ist eine Analysevorrichtung, welche zur Analyse von Bilddaten mindestens oder genau einer Kamera ausgebildet und/oder geeignet ist. Insbesondere ist die Analysevorrichtung ausgebildet, auf Basis der Bilddaten ein privatsphärenkonformes Hintergrundbild zu ermitteln und/oder
bereitzustellen. Insbesondere dient die Kamera zur bildtechnischen und/oder videotechnischen Überwachung eines Überwachungsbereichs. Bevorzugt ist der Überwachungsbereich ein Lager- und/oder Verkaufsraum. Dabei wird der von der und/oder den Kamera(s) aufgezeichnete Überwachungsbereich als die Bilddaten, insbesondere als Videodaten, bereitgestellt. Die Analysevorrichtung kann dabei als eine separate Recheneinheit ausgebildet sein. Alternativ kann die Analysevorrichtung jedoch auch zumindest teilweise einen integralen Bestandteil der Kamera bilden.
Die Bilddaten umfassen eine Mehrzahl von Bildern. Insbesondere umfassen die Bilddaten eine Mehrzahl von zeitlich aufeinander folgenden und/oder beabstandeten Einzelbildern auf. Insbesondere kann die Analysevorrichtung in Echtzeit und/oder auf eine Aufzeichnung der Bilddaten zugreifen.
Die Analysevorrichtung weist eine Personenanzahlbestimmungseinrichtung auf. Insbesondere weist die Personenanzahlbestimmungseinrichtung eine
Schnittstelle zur Übernahme der Bilddaten auf. Die
Personenanzahlbestimmungseinrichtung ist ausgebildet, eine Personenanzahl in den Bildern zu bestimmen. Insbesondere kann die
Personenanzahlbestimmungseinrichtung zu jedem einzelnen Bild die
dazugehörigen Personen durch deren Anzahl beschreiben und als Metadaten bereitstellen. Insbesondere können die Metadaten neben der Information über die Personenanzahl in dem Bild beispielsweise auch eine Positionsinformation und/oder ein Bewegungsverhalten/-muster zu den abgebildeten Personen umfassen. Bevorzugt kann die Personenanzahlbestimmungseinrichtung auf Basis von digitalen oder analogen Bildverarbeitungsalgorithmen die Anzahl der Personen in den Bildern auswerten.
Die Analysevorrichtung weist eine Bildauswahleinrichtung auf. Insbesondere weist die Bildauswahleinrichtung eine Schnittstelle zur Übernahme der
Einzelbilder sowie den dazugehörigen Metadaten auf. Die
Bildauswahleinrichtung ist dabei ausgebildet, auf Basis der durch die
Personenanzahlbestimmungseinrichtung ermittelten Personenzahl Bilder, insbesondere mindestens oder genau ein Einzelbild, aus den Bilddaten auszuwählen und diese zusammen mit den zugehörigen Metadaten als
Analysedaten bereitzustellen. Insbesondere besteht ein durch die
Bildauswahleinrichtung durchgeführtes Auswahlverfahren darin, eine Mehrzahl von Einzelbildern anhand der zugehörigen Personenanzahl miteinander zu vergleichen und anhand von festgelegten und in der Bildauswahleinrichtung hinterlegten Auswahlkriterien eine Auswahlentscheidung zu treffen.
Ferner weist die Analysevorrichtung eine Personenidentifizierungseinrichtung auf. Insbesondere weist die Personenidentifizierungseinrichtung eine
Schnittstelle zur Übernahme der Analysedaten auf. Die
Personenidentifizierungseinrichtung ist ausgebildet, Personen in den
Einzelbildern zu identifizieren und diese als Bildabschnitte in den Einzelbildern zu markieren. Die mit den Bildabschnitten markierten Einzelbilder werden anschließend als Maskenbilder bereitgestellt. Insbesondere kann die
Personenidentifizierungseinrichtung die Personen in der Bildebene des entsprechenden Einzelbildes durch eine grafische Begrenzung markieren.
Die Analysevorrichtung weist eine Bildkombinierungseinrichtung auf.
Insbesondere weist die Bildkombinierungseinrichtung eine Schnittstelle zur Übernahme der mit den Bildabschnitten markierten Maskenbilder auf. Die Bildkombinierungseinrichtung ist ausgebildet, die mit Personen markierten Bildabschnitte von mindestens oder genau einem der Maskenbilder durch korrespondierende Bildabschnitte ohne Personen zu ersetzen. Insbesondere erfolgt das Ersetzen der Bildabschnitte durch einen Vergleich von mehreren der Maskenbilder miteinander oder mit einem hinterlegten Einzelbild, wobei vorzugsweise sämtliche markierten Bildabschnitte mit Personen durch korrespondierenden Bildabschnitte ohne Personen ersetzt werden. Dadurch kann sichergestellt werden, dass das erzeugte Hintergrundbild tatsächlich keine Personen abbildet, sodass das privatsphärenkonforme Hintergrundbild erzeugt und zur weiteren Verwendung bereitgestellt wird. Das privatsphärenkonforme Hintergrundbild kann beispielsweise manuell oder automatisch einer
Datenbankeinrichtung und/oder einer Anzeigeeinrichtung zur Verfügung gestellt werden. Vorzugsweise dient das privatsphärenkonforme Hintergrundbild zur Überlagerung und/oder Verknüpfung mit einem zweidimensionalen Modell, z. B. ein Grundriss und/oder Lageplan.
Der Vorteil der Erfindung besteht dabei darin, dass durch eine geringe Auswahl an Einzelbildern, welche zudem ein reduziertes Personenaufkommen aufweisen, ein Minimum an zu übertragenden Daten realisiert werden kann. Dies ist besonders vorteilhaft bei einer cloudbasierten Anwendung der
Analysevorrichtung, da das zu übertragende Datenvolumen deutlich reduziert werden kann und somit die Datenübertragung beschleunigt und/oder
Speicherplatz eingespart werden kann. Zudem kann sichergestellt, dass die durch die Bildauswahleinrichtung bereitgestellten Analysedaten bereits keine oder zumindest nur eine geringe Anzahl an Personen aufweisen. In einer Weiterbildung der Erfindung wird vorgeschlagen, dass in der
Bildauswahleinrichtung eine maximale Personenanzahl hinterlegt ist.
Insbesondere entspricht die maximale Personenanzahl einer Anzahl an
Personen, welche maximal in einem Einzelbild der Bilddaten Vorkommen darf.
Die Bildauswahleinrichtung ist dabei ausgebildet, die Bilder auszuwählen bei denen die zugehörige Personenanzahl kleiner oder gleich der hinterlegten maximalen Personenanzahl ist. Insbesondere wählt die Bildauswahleinrichtung die Bilder in zeitlich festgelegten Abständen aus. Bevorzugt vergleicht die Bildauswahleinrichtung die Einzelbilder, insbesondere bezüglich ihrer
Personenanzahl miteinander, wobei die Bildauswahleinrichtung die Einzelbilder als Analysedaten zur Verfügung stellt, bei der die zugehörige Personenanzahl kleiner oder gleich der hinterlegten maximalen Personenanzahl ist und/oder im Vergleich zu den anderen Einzelbildern minimal ist. Besonders bevorzugt werden die Bilder bevorzugt als die Analysedaten bereitgestellt, welche keine Personen oder nur wenige detektierte Personen aufweisen.
Eine Ausgestaltung der Erfindung sieht vor, dass die Bildauswahleinrichtung ausgebildet ist, in mindestens oder genau einem festgelegten Zeitbereich in dem ein reduziertes Personenaufkommen zu erwarten ist, mindestens oder genau ein Einzelbild auszuwählen. Bevorzugt kann die Zeitspanne des Zeitbereichs und/oder die Anzahl der Zeitbereiche und/oder die zeitlichen Abstände zwischen mehreren Zeitbereichen variabel eingestellt werden. Insbesondere ist der mindestens eine Zeitbereich, vorzugsweise mindestens einmal pro Tag oder pro Woche oder pro Monat oder pro Jahr definiert. Alternativ oder optional ergänzend ist der mindestens eine Zeitbereit vor und/oder nach einem festgelegten Zeitraum oder Zeitpunkt definiert. Besonders bevorzugt ist der Zeitbereich direkt oder zeitlich beabstandet vor einer Öffnungszeit und/oder nach einer Schließzeit definiert. Im Speziellen ist der Zeitbereich so eingestellt, dass sich in dem Überwachungsbereich noch keine oder zumindest nur wenige Personen aufhalten, jedoch dieser bereits für die Aufnahme optimiert, z.B. beleuchtet, ist.
Somit kann sichergestellt werden, dass ein für die weitere Bildverarbeitung notwendiges, insbesondere ein visuell ansprechendes Bild durch die Kamera aufgenommen werden kann. Zudem kann durch die Festlegung des Zeitbereichs ein minimales Personenaufkommen in dem Überwachungsbereich sichergestellt werden.
In einer Weiterbildung ist vorgesehen, dass die Bildauswahleinrichtung ausgebildet ist, mehrere der Einzelbilder in dem festgelegten Zeitbereich zu unterschiedlichen Zeitpunkten, insbesondere bezüglich deren Personenanzahl, zu analysieren. Insbesondere ist die Bildauswahleinrichtung ausgebildet, innerhalb des Zeitbereichs zu verschiedenen, vorzugsweise zufälligen oder zeitlich festgelegten, Zeitpunkten jeweils ein oder mehrere der Einzelbilder bezüglich der zugehörigen Metadaten zu analysieren. Bevorzugt kann die Bildauswahleinrichtung die Zeitpunkte bezüglich der zugehörigen
Personenanzahl sortieren. Im Speziellen kann zu mindestens oder genau einem Zeitpunkt, welcher vorzugsweise die geringste Personenanzahl aufweist, das zugehörige Einzelbild zugeordnet und/oder geladen werden. Im Speziellen ist die Anzahl der zugeordneten und/oder zuordbaren Einzelbilder gleich der Anzahl der Zeitpunkte.
In der Bildauswahleinrichtung ist ein minimaler Zeitabstand zwischen den Zeitpunkten hinterlegt. Insbesondere ist die Bildauswahleinrichtung ausgebildet, die Analysedaten, insbesondere die Einzelbilder und/oder die Metadaten, zu Zeitpunkten auszuwählen bzw. zu analysieren, welche einen Zeitabstand aufweisen, der größer oder gleich als der minimale Zeitabstand ist. Insbesondere ist die Bildauswahleinrichtung ausgebildet, nach Zeitpunkten zu suchen, welche mindestens mit dem minimalen Zeitabstand voneinander beabstandet sind und/oder deren Personenanzahl in der abgebildeten Szene (Einzelbild) minimal ist und/oder kleiner oder gleich der maximalen Personenanzahl ist. Mit dem Wissen zu welchem Zeitpunkt wie viele Personen in dem zugehörigen Einzelbild vorhanden sind bzw. welche Zeitpunkte die wenigsten Personen enthalten, kann anschließend das dazugehörige Einzelbild geladen werden.
Durch den in der Bildauswahleinrichtung hinterlegten minimalen Zeitabstand sowie der hinterlegten maximalen Personenanzahl wird die Wahrscheinlichkeit für das Vorhandensein von ausreichend Hintergrunddaten gewährleistet. Falls sich Personen in der Szene befinden, diese aber nicht durch die
Personenidentifizierungseinrichtung erkannt wurden, kann durch die Bereitstellung weitere Einzelbilder mit größerem zeitlichen Abstand, die
Wahrscheinlichkeit erhöht werden, dass sich die Personen in der abgebildeten Szene wegbewegt haben und somit an der Stelle keine Person mehr befindet. Das Einzelbild bzw. der Bildabschnitt kann anschließend für die Bestimmung des privatsphärenkonformen Hintergrundbilds verwendet werden. Somit kann zwischen den Ergebnissen eine bestmögliche Verteilung und/oder Diversität gewährleitet werden.
In einer weiteren bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die Bildkombinierungseinrichtung ausgebildet ist, die markierten Bildabschnitte in den Maskenbildern durch einen Mittelwert der Farbwerte der entsprechenden Bildabschnitte der weiteren Maskenbilder zu ersetzen. Insbesondere dient die Bildkombinierungseinrichtung zur Berechnung des privatsphärenkonformen Hintergrundbildes. Beispielsweise kann das Bildberechnungsmodul für jede Pixelposition alle Pixelwerte der verschiedenen Analysedaten nach ihrem Farbwert sortieren und dann einen Medianpixelwert zur Berechnung eines Medianbildes als das privatsphärenkonforme Hintergrundbild bestimmen.
Insbesondere erfolgt die Berechnung des Medianbildes mittels eines
Medianwert-Operators.
Da eine gewisse Anzahl an Personen immer im Bild vorhanden sind, z. B. bei einer Öffnungszeit von 24 Stunden, und/oder nicht jede Person als solche erkannt wird oder diese erst zu spät erkannt wird, kann trotz Vorhandensein von Personen in den einzelnen Maskenbildern ein Medianbild als das
privatsphärenkonforme Hintergrundbild ausgegeben werden.
In einer konkreten Weiterbildung ist vorgesehen, dass das
Bildberechnungsmodul ausgebildet ist, die mit Personen markierten
Bildabschnitte an der jeweiligen Bildposition der weiteren Maskenbilder bei einer Berechnung des Mittelwertes auszuschließen. Insbesondere ist die
Bildauswahleinrichtung ausgebildet, die mit Personen markierten Bildabschnitte bei der Berechnung des Mittelwerts aller Farbwerte pro Bildposition zu ignorieren. Da man jetzt von keinen Vordergrundobjekten (Personen) ausgehen kann, kann nun auch das Mittelwertbild anstelle des Medianbildes berechnet werden. Vorzugsweise erfolgt die Berechnung des Mittelwertbildes pro Pixel mittels eines Mittelwert-Operators.
In einer Weiterbildung ist vorgesehen, dass die
Personenidentifizierungseinrichtung ein Maskierungsmodul aufweist, wobei das Maskierungsmodul ausgebildet ist, basierend auf den Analysedaten die zugehörigen Personen in den zughörigen Einzelbildern zu markieren, sodass die Bildabschnitte gebildet werden. Insbesondere kann das Maskierungsmodul die Bildbereiche, in denen bewegte Personen identifiziert wurden, großzügig umranden. Vorzugsweise können die Personen aufweisenden Bildbereiche durch rechteckige oder polygonale Kästen umrandet werden. Je nach Darstellung können die Kästen in der Bildebene als zwei- oder dreidimensionale Kästen dargestellt sein. Besonders bevorzugt sind diese Kästen um einen definierten Prozentsatz größer als die abgebildete Person selbst. Dadurch kann eine Kompletteingrenzung der Personen in dem zugehörigen Einzelbild sichergestellt werden.
In einer alternativen oder optional ergänzenden Weiterbildung ist vorgesehen, dass die Personenidentifizierungseinrichtung ein Kl-Modul aufweist, wobei das Kl-Modul ausgebildet ist, die Detektion von Personen in den Einzelbildern zu erlernen und/oder zu verbessern. Insbesondere ist das Kl-Modul ausgebildet, Bildbereiche in den Einzelbildern an denen eine Person vermutet wird zu analysieren und/oder auszuwerten, wobei bei einer Detektion einer Person die entsprechenden Bereiche in den zughörigen Einzelbildern markiert werden. Im Speziellen ist das Kl-Modul ausgebildet, Merkmale von Personen zu erlernen und basierend auf den Merkmalen die Personen zu detektieren. Insbesondere ist das Kl-Modul ausgebildet die entsprechenden Einzelbilder mittels eines neuronalen Netzes (auch als sogenanntes„Deep Learning“ bekannt) zu prozessieren und die Stellen im Bild zu auszuwerten, an denen eine Person vermutet wird. Beispielsweise ist das Kl-Modul ausgebildet die Einzelbilder mittels eines Deep-Learning-Segmentierungsalgorithmus zu prozessieren, wobei als Ergebnis eine pixelweise Klassifizierung im Bild ausgegeben wird, wo sich Personen befinden. Anschließend werden diese Bildbereiche durch Masken, die die Personen umschließenden, markiert. In einer weiteren konkreten Ausgestaltung der Erfindung ist vorgesehen, dass die Personenidentifizierungseinrichtung ausgebildet ist, die durch das
Maskierungsmodul und durch das Kl-Modul markierten Bildabschnitte
zusammenzufassen und als das Maskenbild bereitzustellen. Insbesondere ist die Personenidentifizierungseinrichtung ausgebildet, sämtliche markierten
Bildabschnitte miteinander zu vergleichen, und eine Maskierung aller
Bildbereiche zu vollziehen, an denen eine Person identifiziert wurde. Dabei können mehrere Maskenbilder durch die Personenidentifizierungseinrichtung bereitgestellt werden und einem Puffer/Bildstapel hinzugefügt werden. Im Speziellen können so viele Maskenbilder bereitgestellt werden, bis alle oder genügend durch die Bildauswahleinrichtung bereitgestellten Einzelbilder bearbeitet wurden, um in den nachfolgenden Prozessschritten mögliche Fehler oder nicht erkannte Personen herausrechnen zu können.
In einer weiteren Umsetzung ist vorgesehen, dass die Analysevorrichtung eine Datenbank aufweist. Die Datenbank ist ausgebildet mindestens oder genau eines der Einzelbilder mit der zugehörigen Personenanzahl und/oder dem zugehörigen Zeitpunkt als Analysedaten zu speichern. Insbesondere ist die
Bildauswahleinrichtung ausgebildet zu jedem Zeitpunkt die zugehörigen
Einzelbilder und die zugehörigen Metadaten zusammenzufassen und in der Datenbank als Analysedaten abzulegen. Besonders bevorzugt kann zu jedem festgelegten Zeitpunkt das entsprechende Einzelbild und/oder die zugehörigen Metadaten von der Kamera, z.B. von der Aufzeichnung, geladen und in der Datenbank hinterlegt werden. Insbesondere können die in der Datenbank hinterlegten Analysedaten nun einzeln, insbesondere in einer Schleife, durch die Personenidentifizierungseinrichtung sowie die Bildkombinierungseinrichtung abgearbeitet werden.
Ein weiterer Gegenstand der Erfindung betrifft eine Überwachungsanordnung, welche zur Überwachung eines Überwachungsbereichs ausgebildet und/oder geeignet ist. Vorzugsweise weist die Überwachungsanordnung die
Analysevorrichtung nach einem der vorhergehenden Ansprüche bzw. wie diese bereits zuvor beschrieben wurde, auf. Die Überwachungsanordnung weist mindestens eine oder mehrere Kameras auf. Die Kamera ist ausgebildet, einen Überwachungsbereich zu erfassen und diesen als die Bilddaten bereitzustellen. Insbesondere ist die Analysevorrichtung zur Analyse des
Überwachungsbereiches mit der mindestens einen, vorzugsweise mit allen, Kameras signaltechnisch verbunden. Im Speziellen weist die
Überwachungsanordnung mehrere der Kameras auf, wobei jede der Kameras ausgebildet ist, den Überwachungsbereich optisch zu überwachen. Bevorzugt werden die optischen Aufnahmen der Kameras als die Bilddaten der
Analysevorrichtung bereitgestellt, wobei die Analyseeinrichtung ausgebildet ist, für jede der Aufnahmen ein zugehöriges privatsphärenkonformes Hintergrundbild zu ermitteln.
In einer weiteren Konkretisierung ist vorgesehen, dass der Überwachungsbereich als der Verkaufsraum ausgebildet ist. Insbesondere ist der Verkaufsraum ein Raumabschnitt eines Verkauf- und/oder Lageraumes, z.B. von einem Laden, Shoppingcenter oder Verkaufsgeschäft. Die Überwachungsanordnung ist ausgebildet, ein Verkaufsverhalten in dem Verkaufsraum zu analysieren.
Insbesondere kann die Überwachungsanordnung den Verkaufsraum hinsichtlich Produkte, Produktperformance, Kundenströme und/oder Verkaufsdaten analysieren und diese vorzugsweise als Verkaufs- und/oder Retail-Daten bereitzustellen.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung eines privatsphärenkonformen Hintergrundbildes insbesondere mit der
Analysevorrichtung und/oder mit der Überwachungsanordnung wie diese bereits zuvor beschrieben wurden. Bevorzugt ist das Verfahren zur Durchführung der nachfolgenden Schritte ausgebildet, bei denen:
- Bilddaten von einer Kamera an die Analysevorrichtung übertragen werden, wobei die Bilddaten eine Mehrzahl von Bildern aufweisen;
- eine Personenanzahlbestimmungseinrichtung der Analysevorrichtung eine Personenanzahl in den Bildern bestimmt;
- eine Bildauswahleinrichtung der Analysevorrichtung die Bilder auswählt, bei denen insbesondere eine zugehörige Personenanzahl kleiner oder gleich als eine in der Bildauswahleinrichtung hinterlegten maximalen Personenanzahl ist, und die ausgewählten Bilder als Analysedaten bereitstellt, - eine Personenidentifizierungseinrichtung Personen in den Analysedaten identifiziert und als Bildabschnitte in den Analysedaten markiert,
- eine Bildkombinierungseinrichtung die mit Personen markierten Bildabschnitte durch korrespondierende Bildabschnitte ohne Personen ersetzt, sodass ein privatsphärenkonformes Hintergrundbild erzeugt wird.
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
Figur 1 eine stark schematisierte Darstellung einer Überwachungsanordnung zur Überwachung eines Überwachungsbereiches;
Figur 2 eine schematische Blockdarstellung der Überwachungsanordnung mit einer Analysevorrichtung als ein Ausführungsbeispiel der Erfindung;
Figur 3 ein schematisches Ablaufdiagramm zur Berechnung eines
privatsphärenkonformen Hintergrundbildes durch die Analysevorrichtung;
Figur 4 in gleicher Darstellung wie Figur 3 eine Fortsetzung des
Ablaufdiagramms.
Figur 1 zeigt in einer stark schematisierten Darstellung eine
Überwachungsanordnung 1, welche zur Überwachung eines
Überwachungsbereichs 2 dient. Die Überwachungsanordnung 1 ist
beispielsweise in einem Geschäft oder einem Kaufhaus installiert. In dem gezeigten Ausführungsbeispiel ist der Überwachungsbereich 2 als ein
Verkaufsraum des Geschäfts ausgebildet, wobei in dem Verkaufsraum eine Mehrzahl von Warenpräsentern 3, z.B. Regale, Tische, Ständer, Theken etc., zur Warenpräsentation aufgestellt sind. Zwischen den Warenpräsentern 3 ist ein Wegenetz in dem Verkaufsraum 2 vorgegeben, auf welchem sich Personen 4 bewegen können. Die mindestens eine Person 4 ist in Interaktion mit den Warenpräsentern 3 und den darin angeordneten Produkten. Die Person 4 wählt beispielsweise Produkte aus, nimmt diese mit und legt einen Weg in dem
Überwachungsbereich 2 zurück. Die Bewegung der Person 4, das Kaufverhalten und Zusatzinformationen werden von der Überwachungsanordnung 1 überwacht. Die Überwachungsanordnung 1 weist eine Mehrzahl an Kameras 5 auf, welche ausgebildet sind, den Überwachungsbereich 2 optisch zu überwachen. Mit den Kameras 5 wird die Person 4 in dem Überwachungsbereich 2 verfolgt und/oder erfasst. Ferner kann mittels der Kameras 5 das Vorhandensein, das Wegnehmen und/oder Umsortieren von Produkten und/oder Warenpräsentern 3
nachvollzogen und analysiert werden. Die optischen Aufnahmen der Kameras 5 werden als Bilddaten, insbesondere als Videodaten, einer Analysevorrichtung 6 bereitgestellt.
Die Analysevorrichtung 6 kann unter anderem ausgebildet sein, das Verhalten der Personen 4, die Produktperformance von Produkten und/oder weitere Informationen bezüglich des Überwachungsbereichs 2 zu analysieren, zu überwachen und/oder zu speichern. Bevorzugt jedoch ist die Analysevorrichtung 6 ausgebildet, die von den Kameras 5 übermittelten Bilddaten auszuwerten und ein privatsphärenkonformes Hintergrundbild zu generieren, welches für weitere Prozesse der Verkaufs- und/oder Produktanalyse zur Verfügung gestellt wird. Beispielsweise kann das privatsphärenkonforme Hintergrundbild auf einem Grundriss oder Lageplan des Verkaufsraums überlagert werden. Die
Analysevorrichtung 6 ist dabei ausgebildet, ein Verfahren durchzuführen, welches in mehreren Stufen sicherstellt, dass das erzeugte Hintergrundbild tatsächlich keine Personen 4 in den von den Kameras 5 aufgenommen Bilddaten abbildet und zugleich die Bandbreite bzw. das Datenvolumen pro Kamera 5 auf ein Minimum reduziert, wenn diese z.B. über eine cloudbasierte Lösung mit der Analysevorrichtung 6 in Verbindung stehen.
Figur 2 zeigt die Überwachsungsanordnung 1, deren Datenströme anhand einer schematisierten Blockdarstellung als ein Ausführungsbeispiel der Erfindung gezeigt werden. Bei einer Anfrage auf ein privatsphärenkonformes
Hintergrundbild, z.B.„PrivacyConformBackground“ via REST Call, kann ausgehend von den Kameras 5 die Bilddaten an die Analysevorrichtung 6 übermittelt werden. Dies kann, je nachdem wie aktuell das Hintergrundbild sein muss, beispielsweise jeden Tag, einmal pro Woche oder einmal pro Monat pro Kamera 5 automatisch erfolgen oder manuell getriggert werden. Die Bilddaten weisen eine Mehrzahl von zeitlich aufeinander folgenden und/oder beabstandeten Bildern (Einzelbilder) auf. Zusätzlich zu dem Bilddatenstrom können die Kameras 5 zusätzlich einen Metadatenstrom liefern, welcher zu jedem Zeitpunkt in der Aufzeichnung die dazugehörigen bewegten Objekte, insbesondere die Personen 4, durch Positionsdaten beschreibt.
Die Analysevorrichtung 6 weist eine Personenanzahlbestimmungseinrichtung 7 auf, welche ausgebildet ist, auf Basis der Metadaten, insbesondere der
Positionsdaten, zu jedem Zeitpunkt eine zugehörige Personenanzahl in dem entsprechenden Einzelbild zu berechnen. Hierzu kann die
Personenanzahlbestimmungseinrichtung 7 auf eine Aufzeichnung oder live auf die Bilddaten und die Metadaten der Kameras 5 zugreifen.
Die Analysevorrichtung 6 weist eine Bildauswahleinrichtung 8 auf, welche ausgebildet ist, auf Basis der Personenanzahl Bilder auszuwählen und zu laden, welche vorzugsweise eine minimale Personenanzahl aufweisen. Dabei kann die Bildauswahleinrichtung 8 die Metadaten hinsichtlich der Personenanzahl zu unterschiedlichen Zeitpunkten untersuchen, wobei die Bilder bevorzugt werden, deren Anzahl an vorhandenen Personen 4 in der abgebildeten Szene (Einzelbild) minimal ist.
Zusätzlich können die von den Kameras 5 bereitgestellten Bilddaten und/oder Metadaten innerhalb eines bestimmten Zeitbereiches teilweise oder vollständig heruntergeladen werden. Neben der freien Definierbarkeit des Zeitbereiches kann dabei auch die Art und Anzahl der Stückelungen in diesem Bereich festlegbar sein. Somit kann eine Reduzierung des Download-Volumens sowie eine größere Diversität in den Metadaten erreicht werden.
Es ist bevorzugt eine maximale Personenanzahl in der Bildauswahleinrichtung 8 hinterlegt, wobei die Bildauswahleinrichtung ausschließlich die Bilder
berücksichtig deren zugehörige Personenanzahl kleiner oder gleich als die festgelegte maximale Personenanzahl ist. Diese relevanten Bilder werden anschließend von der Bildauswahleinrichtung 8 mit den zugehörigen Metadaten zusammengefasst bzw. runtergeladen und als Analysedaten bereitgestellt. Dadurch wird die Wahrscheinlichkeit an Vorhandensein von genügend
Hintergrunddaten für einen anschließenden Prozessschritt gewährleistet.
Die Analysevorrichtung 6 weist des Weiteren eine Datenbank 9 auf, wobei die Datenbank 9 eine Schnittstelle zur Übernahme der Analysedaten aufweist. Die Analysedaten können beispielsweise nach deren zugehörigen Zeitpunkten der Aufnahme und/oder der zugehörigen Personenanzahl sortiert und in der
Datenbank 9 zusammengefasst werden.
Die Analysevorrichtung 6 weist eine Personenidentifizierungseinrichtung 10 auf, welche ausgebildet ist, einzelne Personen in den Einzelbildern zu identifizieren und zu markieren. Dabei werden unter Personen auch sämtliche durch die Personen mitgeführten Objekte, wie z.B. Kinderwagen, Koffer, Taschen etc., verstanden. Hierzu weist die Personenidentifizierungseinrichtung 10 ein
Maskierungsmodul 11 und ein Kl-Modul 12 auf. Das Maskierungsmodul 11 ist ausgebildet, auf Basis der Metadaten bzw. Analysedaten die durch die Kameras 5 detektierten bewegten Personen 4 und gegebenenfalls deren mitgeführten Objekte als Bildabschnitte in dem zugehörigen Einzelbild zu markieren. Das Kl- Modul 12 ist ausgebildet, parallel zu dem Maskierungsmodul 11 die
Analysedaten in einem Einzelbildverfahren basierend auf Deep-Learning, z.B. ein Deep-Learning-Segmentierungsalgorithmus, zu verwenden um nicht erkannte Personen, z.B. sitzende oder stillstehende Personen, in dem zugehörigen Einzelbild als weitere Bildabschnitte in dem zugehörigen Einzelbild zu markieren. Dabei werden die Analysedaten, mit einem neuronalen Netz prozessiert und die Stellen in den entsprechenden Bildern markiert, an denen eine Person vermutet wird. Die Personenidentifizierungseinrichtung 10 ist ausgebildet, die durch das Maskierungsmodul 11 und das Kl-Modul 12 markierten Bildabschnitte des entsprechenden Einzelbildes in einem gemeinsamen Maskenbild
zusammenzufassen und dieses dem weiteren Prozess bereitzustellen.
Die Analysevorrichtung 6 weist eine Bildkombinierungseinrichtung 13 auf, wobei die Bildkombinierungseinrichtung 13 ausgebildet ist, mehrere der Maskenbilder miteinander zu vergleichen und entsprechend markierte Bildabschnitte durch Bildabschnitte ohne Personen zu ersetzen. Dabei kann die
Bildkombinierungseinrichtung 13 beispielsweise für jede Pixelposition alle Pixelwerte aller der verschiedenen Maskenbilder erfassen und diese nach ihrem Farbwert sortieren. Anschließen kann ein Medianpixelwert zur Erzeugung eines Medianbildes als das privatsphärenkonforme Hintergrundbild berechnet werden. Alternativ oder optional kann auch vorgesehen sein, dass die markierten
Bildabschnitte großzügig ausgeschlossen bzw. ignoriert werden und ein
Mittelwert aller Farbwerte der restlichen Maskenbilder unter Berücksichtigung der ausgeschlossenen Bildabschnitte zur Erzeugung eines Mittelwertbildes als das privatsphärenkonforme Hintergrundbild berechnet wird. Die Erfindung beschreibt somit ein Verfahren, welches in mehreren Stufen sicherstellt, dass das erzeugte Hintergrundbild tatsächlich keine Personen abbildet und die Bandbreite bzw. das Datenvolumen pro Kamera 5 auf ein Minimum reduziert wird.
Die Analysevorrichtung 6 ist signaltechnisch mit einem Endgerät 14 verbunden, wobei das Endgerät eine Schnittstelle zur Übernahme des
privatsphärenkonformen Hintergrundbildes aufweist. Beispielsweise ist das Endgerät 14 als eine Anzeigeeinrichtung ausgebildet und dient der Anzeige von Anzeigedaten. Die Anzeigeeinrichtung 14 kann zur grafischen, Bild-, Video- und/oder Textanzeige ausgebildet sein. Beispielsweise ist die Anzeige als ein Display ausgebildet. Beispielsweise kann die Anzeigeeinrichtung 14 den
Grundriss des Verkaufsraums anzeigen, wobei die Positionen der Kameras 5 in dem Grundriss angezeigt und/oder anzeigbar sind. Die Kamerapositionen können einzeln angewählt werden, wobei das privatsphärenkonforme
Hintergrundbild als ein Kamerabild mit dem Grundriss überlagert wird.
Nachfolgend ist in den Figuren 3 und 4 der Ablauf des Verfahrens in einem schematischen Ablaufdiagramm veranschaulicht, wobei die Figur 3 die Schritte S1 bis S3 und die Figur 4 die Schritte S4 bis S9 umfasst.
In einem ersten Schritt S1 erfolgt ein Zugriff auf die Kamera(s) 5 durch die Analysevorrichtung 6. Dabei werden die von der Kamera 5 bereitgestellten Bild- und/oder Metadaten B, D innerhalb eines bestimmten Zeitbereiches T1<->T2 ausgewertet. Beispielsweise ist der Zeitbereich zum Zeitpunkt der Öffnungszeit des Geschäfts minus einer variablen Zeitspanne, z.B. 30 min, definiert. In dem gezeigten Ausführungsbeispiel öffnet das Geschäft beispielsweise um 8:00 Uhr morgens, somit erfolgt der Zugriff von TI = 7:30 Uhr bis T2 = 8:00 Uhr. Dies soll sicherstellen, dass in dem Geschäft noch keine Kunden sind, aber der
Ladenbesitzer/-personal bereits in dem Geschäft ist, um Vorbereitungen für den anstehenden Tag zu treffen. Somit kann sichergestellt werden, dass z.B. ein Licht in dem Überwachungsbereich 2 des Geschäfts eingeschaltet ist, wodurch visuell ansprechende Bilder B der Bilddaten durch die Kameras 5 aufgenommen werden können. Durch das Runterladen der Meta- bzw. Bilddaten in
Abhängigkeit der Öffnungszeiten wird die Wahrscheinlichkeit erhöht, auf Bilddaten in einem späteren Verfahrensschritt zugreifen zu können, auf welchen keine Personen 4 abgebildet sind.
Alternativ kann der Schritt S1 auch zu beliebigen Zeiten während des Tages verwendet werden, beispielsweise kann hierzu auf eine in der Vergangenheit liegende Aufzeichnung zugegriffen werden. Alternativ kann auch live, z.B. falls keine Aufzeichnung existiert, oder basierend auf Statistiken, zu welchen
Tageszeiten mit den wenigsten Personen 4 zu rechnen ist, auf die Kameras 5 zugegriffen werden.
Nach einer Aneinanderreihung aller in Schritt 1 heruntergeladenen Metadaten D, wird basierend auf den Metadaten D in einem zweiten Schritt S2 durch die Bildauswahleinrichtung 8 nach Zeitpunkten Z gesucht, welche eine durch die Personenanzahlbestimmungseinrichtung 7 erfasste minimale Personenanzahl P aufweisen. Hierzu ist in der Bildauswahleinrichtung 8 die maximale
Personenanzahl Pmax festgelegt, welche zu einem Zeitpunkt Z vorhanden sein dürfen. Optional kann als ein weiterer Parameter ein minimaler Zeitabstand tmin zwischen den Zeitpunkten Z in der Bildauswahleinrichtung 8 hinterlegt sein. Somit wird durch den minimalen Zeitabstand tmin zwischen den Zeitpunkten Z eine bestmögliche Verteilung und Diversität der runtergeladenen Bild- bzw. Metadaten B, D sichergestellt.
Mit dem Wissen, zu welchem Zeitpunkt Z wie viele Personen 4 vorhanden sind und/oder welche Zeitpunkte Z die wenigsten Personen 4 enthalten, kann bei einer Erfüllung aller Bedingungen (Pmax und tmin) das dazugehörige Einzelbild B von der Bildauswahleinrichtung 8 geladen werden. Basierend auf dem eingestellten Zeitbereich, wird vorgeschlagen zu verschiedenen - z.B. zufällig ausgewählt und/oder mit gleichen Abstand - Zeitpunkten Z, ein Frame jeweils an Metadaten D runtergeladen wird. Die Zeitpunkte Z werden von der
Bildauswahleinrichtung 8 anhand der zugehörigen Personenanzahl P sortiert und mindestens ein oder mehrere Bilder B (B <= Z) mit einer geringen
Personenanzahl P, vorzugweise 0 bewegte Personen 4 in dem zugehörigen Einzelbild B, abgegriffen. Die abgegriffenen Einzelbilder B haben vorzugweise keine oder wenige detektierte/bewegte Personen/Objekte.
In einem dritten Schritt S3 wird zu jedem Zeitpunkt Z (1 bis N) das
korrespondierende Einzelbild B von der Kamera 5 geladen und mit seinem bereits vorhandenen Metadaten D in der Datenbank 9 als Analysedaten A zusammengefasst. Dies kann beispielsweise iterativ erfolgen, da es nicht notwendig, dass alle entsprechenden Einzelbilder B gleich am Anfang geladen werden müssen.
In einem vierten Schritt S4 werden die in der Datenbank 9 hinterlegten
Datensätze in einer Schleife abgearbeitet. Dabei wird zu einem bestimmten Zeitpunkt Z das dazugehörige Einzelbild B und die dazugehörigen Metadaten D aus der Datenbank 9 geladen und dem weiteren Prozess bzw. der
Personenidentifizierungseinrichtung 10 zur Verfügung gestellt.
In einem fünften Schritt S5 werden durch eine Überlagerung des Einzelbildes B mit den zugehörigen Metadaten D die identifizierten Personen PI, P2 als die Bildabschnitte Al in dem Einzelbild B durch das Maskierungsmodul 11 markiert. Dabei werden die Bildabschnitte A beispielsweise als rechteckige Kästchen dargestellt, welche um einen definierten Prozentsatz, z. B. um 20% vergrößert, größer sind als die abgebildeten Personen PI, P2 selbst. Dadurch wird eine wahrscheinlichere Kompletteingrenzung eines Personenbereiches erreicht. Beispielsweise kann die Größe der Kästchen variabel eingestellt werden. Die Bildabschnitte Al werden anschließend im System vermerkt und dem
Folgeprozess zur Verfügung gestellt. Wie in diesem Beispiel ersichtlich, existieren für die sitzende Person P3 keine Metadaten D, sodass folglich das Maskierungsmodul 11 diese nicht markieren wird.
Hierzu ist ein parallelgeschalteter sechster Schritt S6 vorgesehen, wobei das aktuell Einzelbild B aus der Datenbank 9 parallel zu dem fünften Schritt S5 dem Kl-Modul 12 übergeben wird und mittels Deep-Learning prozessiert wird. Als Ergebnis erhält man eine pixelweise Klassifizierung in dem Einzelbild B, wo sich die Personen PI, P3 befinden. Diese werden als weitere Bildabschnitte A2 (weitere rechteckige Kästchen) in dem Einzelbild B markiert. Die weiteren Bildabschnitte A2 werden anschließend im System vermerkt und dem
Folgeprozess zur Verfügung gestellt. Wie in diesem Beispiel ersichtlich, wird im Vergleich zu dem fünften Schritt S5 die sitzende Person P3 erkannt jedoch die Person P2 im Randbereich des Einzelbildes B nicht. Beispielsweise können zu den Schritten S5 und S6 weitere parallele Schritte existieren, die Personen und/oder bestimmte Objektklassen in dem Einzelbild erkennen um später sicherzustellen, dass diese aus dem Hintergrundbild entfernt sind.
In einem siebten Schritt S7 wird eine Kopplung und/oder eine Überlagerung der markierten Bildabschnitte Al, A2 durch die Personenidentifizierungseinrichtung 10 durchgeführt. Dabei werden alle markierten Bildabschnitte Al, A2, wo sich sehr wahrschleich die Personen PI, P2, P3 befinden, in einem gemeinsamen Maskenbild M zusammengefasst.
In einem achten Schritt S8 wird das Maskenbild M einem Puffer bzw. Bildstapel BS hinzugefügt. Anschließend werden die Schritte S4 bis S8 solange wiederholt, bis alle oder genügend Einzelbilder B aus der Datenbank 9 bearbeitet wurden um im folgenden Schritt S9 mögliche Fehler oder nicht erkannte Personen/Objekte herauszurechnen. Falls nicht genügend Einzelbilder B ohne bewegte
Personen/Objekte in den Bildabschnitten Al, A2 vorhanden sind, muss Schritt S4 wiederholt werden und die Anzahl der Zeitpunkte Z in dem zweiten Schritt S2 erhöht und/oder der Zeitbereich vergrößert werden und somit die spätere Anzahl der Einzelbilder B erhöht werden.
In dem neunten Schritt S9 kann durch einen Vergleich aller Maskenbilder M des Bildstapels BS und durch Berechnung eines Median- oder Mittelwertbildes, wie bereits zuvor beschrieben, das privatsphärenkonforme Hintergrundbild H berechnet werden. Dabei werden die mit den Personen PI, P2, P3 markierten Bildabschnitte Al, A2 durch korrespondierende Bildabschnitte A , A2‘ ohne Personen ersetzt. Dieses Hintergrundbild kann mit hoher Wahrscheinlichkeit als ein privatsphärenkonformes Hintergrundbild der Szene angesehen werden da mittels mehreren Wiederholungen der Prozessschritte S4 bis S8 sehr wahrscheinlich keine Personen mehr in dem Hintergrundbild H dargestellt sind.
Das vorgeschlagene Verfahren verwendet somit die Öffnungszeiten des Geschäfts, die optischen Aufzeichnungen der Kameras 5, sowie ein oder mehrere cloudbasierte Einzelbildverfahren basierend auf einem Deep-Learning und/oder ein Medianbild- oder Mittelwertbild-Verfahren, um sicherzustellen, dass das ausgegebene Hintergrundbild H keine Personen enthält und somit privatsphärenkonform ist.

Claims

Ansprüche
1. Analysevorrichtung (6) zur Analyse von Bilddaten einer Kamera (5), wobei die Bilddaten eine Mehrzahl von Einzelbildern (B) aufweisen, mit einer Personenanzahlbestimmungseinrichtung (7), wobei die
Personenanzahlbestimmungseinrichtung (7) ausgebildet ist, eine
Personenanzahl (P) in den Einzelbildern (B) zu bestimmen, mit einer Bildauswahleinrichtung (8), wobei die Bildauswahleinrichtung (8) ausgebildet ist, auf Basis der Personenzahl (P) Einzelbilder (B) auszuwählen und die ausgewählten Einzelbilder (B) und die zugehörige Personenanzahl (P) als Analysedaten (A) bereitzustellen, mit einer Personenidentifizierungseinrichtung (10), wobei die
Personenidentifizierungseinrichtung (10) ausgebildet ist, Personen (PI, P2, P3) als Bildabschnitte (Al, A2) in den Einzelbildern (B) zu markieren und als
Maskenbilder (M) bereitzustellen, mit einer Bildkombinierungseinrichtung (10), wobei die
Bildkombinierungseinrichtung (10) ausgebildet ist, die markierten Bildabschnitte (Al, A2) durch korrespondierende Bildabschnitte (A , A2‘) ohne Personen zu ersetzen.
2. Analysevorrichtung (6) nach Anspruch 1, dadurch gekennzeichnet, dass eine maximale Personenanzahl (Pmax) in der Bildauswahleinrichtung (8) hinterlegt ist, wobei die Bildauswahleinrichtung (8) ausgebildet ist, die
Einzelbilder (B) auszuwählen, bei denen die zugehörige Personenanzahl (P) kleiner oder gleich der hinterlegten maximalen Personenanzahl (Pmax) ist.
3. Analysevorrichtung (6) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bildauswahleinrichtung (8) ausgebildet ist, in mindestens einem festgelegten Zeitbereich (TI, T2) mindestens ein Einzelbild (B) auszuwählen.
4. Analysevorrichtung (6) nach Anspruch 2, dadurch gekennzeichnet, dass die Bildauswahleinrichtung (8) ausgebildet ist, mehrere Einzelbilder (B) in dem festgelegten Zeitbereich (TI, T2) zu unterschiedlichen Zeitpunkten (Z) auszuwählen, wobei in der Bildauswahleinrichtung (8) ein minimaler Zeitabstand (Tmin) zwischen den einzelnen Zeitpunkten (Z) hinterlegt ist.
5. Analysevorrichtung (6) nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Bildkombinierungseinrichtung (13) ausgebildet ist, die markierten Bildabschnitte (Al, A2) in den Maskenbildern (M) durch einen Mittelwert der Farbwerte der entsprechenden Bildabschnitte der weiteren Maskenbilder zu ersetzen.
6. Analysevorrichtung (6) nach Anspruch 5, dadurch gekennzeichnet, dass die Bildkombinierungseinrichtung (13) ausgebildet ist, die mit Personen (PI, P2, P3) markierten Bildabschnitte (Al, A2) bei einer Berechnung des Mittelwertes an der jeweiligen Bildposition der entsprechenden Bildabschnitte der weiteren
Maskenbilder auszuschließen.
7. Analysevorrichtung (6) nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Personenidentifizierungseinrichtung (10) ein
Maskierungsmodul (11) aufweist, wobei das Maskierungsmodul (11) ausgebildet ist, basierend auf den Analysedaten (A) die zugehörigen Personen (PI, P2, P3) in den zughörigen Einzelbildern (B) als die Bildabschnitte (Al) zu markieren.
8. Analysevorrichtung (6) nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Personenidentifizierungseinrichtung (10) ein Kl-Modul (12) aufweist, wobei das Kl-Modul (12) ausgebildet ist, die Detektion von Personen in den Einzelbildern (B) zu erlernen und/oder zu verbessern.
9. Analysevorrichtung (6) nach Anspruch 8, dadurch gekennzeichnet, dass die Personenidentifizierungseinrichtung (10) ausgebildet ist, die durch das Maskierungsmodul (11) und/oder durch das Kl-Modul (12) markierten
Bildabschnitte (Al, A2) zusammenzufassen und als das Maskenbild (M) bereitzustellen.
10. Analysevorrichtung (6) nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Analysevorrichtung (6) eine Datenbank (9) aufweist, wobei die Datenbank (9) ausgebildet ist mindestens eines der
Einzelbilder (B) mit der zugehörigen Personenanzahl (P) und/oder dem zugehörigen Zeitpunkt (Z) als die Analysedaten (A) zu speichern.
11. Überwachungsanordnung (1) zur Überwachung eines
Überwachungsbereichs (2) mit der Analysevorrichtung (6) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch mindestens eine Kamera (5) zur Erfassung des Überwachungsbereiches (2), wobei die Kamera (5) den erfassten Überwachungsbereich (2) als die Bilddaten bereitstellt.
12. Überwachungsanordnung (1) nach Anspruch 11, dadurch gekennzeichnet, dass der Überwachungsbereich (2) als ein Verkaufsraum ausgebildet ist, wobei die Überwachungsanordnung (1) ausgebildet ist, ein Verkaufsverhalten in dem Verkaufsraum zu analysieren.
13. Verfahren zur Bestimmung eines privatsphärenkonformen Hintergrundbildes (H) insbesondere mit der Analysevorrichtung (6) nach einem der Ansprüche 1 bis 10 und/oder mit der Überwachungsanordnung (1) nach Anspruch 11 oder 12, bei dem:
- Bilddaten von mindestens einer Kamera (5) an die Analysevorrichtung (6) übertragen werden, wobei die Bilddaten eine Mehrzahl von Einzelbildern (B) aufweisen;
- eine Personenanzahlbestimmungseinrichtung (7) der Analysevorrichtung (6) eine Personenanzahl (P) in den Einzelbildern (B) bestimmt;
- eine Bildauswahleinrichtung (8) der Analysevorrichtung (6) die Einzelbilder (B) auswählt, bei denen insbesondere eine zugehörige Personenanzahl (P) kleiner oder gleich als eine in der Bildauswahleinrichtung (8) hinterlegte maximale Personenanzahl (Pmax) ist, und als Analysedaten (A) bereitstellt; - eine Personenidentifizierungseinrichtung (10) auf Basis der Analysedaten (A) Personen (PI, P2, P3) als Bildabschnitte (Al, A2) in den Einzelbildern (B) markiert und als Maskenbilder (M) bereitstellt;
- eine Bildkombinierungseinrichtung (10) die markierten Bildabschnitte (Al, A2) durch korrespondierende Bildabschnitte (A , A2‘) ohne Personen ersetzt, sodass ein privatsphärenkonformes Hintergrundbild (H) erzeugt wird.
PCT/EP2020/052793 2019-02-18 2020-02-05 Analysevorrichtung, überwachungsanordnung mit der analysevorrichtung sowie verfahren zur bestimmung eines privatsphärenkonformen hintergrundbildes WO2020169340A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/431,329 US11875514B2 (en) 2019-02-18 2020-02-05 Analysis device, monitoring assembly comprising the analysis device, and method for determining a background image which is privacy-compliant

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019202103.4 2019-02-18
DE102019202103.4A DE102019202103A1 (de) 2019-02-18 2019-02-18 Analysevorrichtung, Überwachungsanordnung mit der Analysevorrichtung sowie Verfahren zur Bestimmung eines privatsphärenkonformen Hintergrundbildes

Publications (1)

Publication Number Publication Date
WO2020169340A1 true WO2020169340A1 (de) 2020-08-27

Family

ID=69468565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/052793 WO2020169340A1 (de) 2019-02-18 2020-02-05 Analysevorrichtung, überwachungsanordnung mit der analysevorrichtung sowie verfahren zur bestimmung eines privatsphärenkonformen hintergrundbildes

Country Status (3)

Country Link
US (1) US11875514B2 (de)
DE (1) DE102019202103A1 (de)
WO (1) WO2020169340A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008001126A1 (de) 2008-04-11 2009-10-15 Robert Bosch Gmbh Inventarisierungsmodul für ein Videoüberwachungssystem, Verfahren zur Inventarisierung eines Überwachungsbereichs sowie Computerprogramm
DE102016222134A1 (de) * 2016-11-11 2018-05-17 Robert Bosch Gmbh Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US10599929B2 (en) * 2018-01-04 2020-03-24 Motionloft, Inc. Event monitoring with object detection systems
US10832416B2 (en) * 2018-09-21 2020-11-10 International Business Machines Corporation Crowd flow rate estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008001126A1 (de) 2008-04-11 2009-10-15 Robert Bosch Gmbh Inventarisierungsmodul für ein Videoüberwachungssystem, Verfahren zur Inventarisierung eines Überwachungsbereichs sowie Computerprogramm
DE102016222134A1 (de) * 2016-11-11 2018-05-17 Robert Bosch Gmbh Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Image editing - Wikipedia", 27 January 2019 (2019-01-27), XP055675914, Retrieved from the Internet <URL:https://en.wikipedia.org/w/index.php?title=Image_editing&oldid=880437670> [retrieved on 20200312] *
ANONYMOUS: "Image segmentation - Wikipedia", WIKIPEDIA, 14 September 2017 (2017-09-14), XP055553299, Retrieved from the Internet <URL:https://en.wikipedia.org/w/index.php?title=Image_segmentation&oldid=800585998> [retrieved on 20190207] *
ANONYMOUS: "People counter - Wikipedia", 17 February 2018 (2018-02-17), XP055579760, Retrieved from the Internet <URL:https://en.wikipedia.org/w/index.php?title=People_counter&oldid=826216264#Video_counting> [retrieved on 20190410] *

Also Published As

Publication number Publication date
US20220138958A1 (en) 2022-05-05
US11875514B2 (en) 2024-01-16
DE102019202103A1 (de) 2020-08-20

Similar Documents

Publication Publication Date Title
DE102014213553B4 (de) Tracking-Unterstützungsvorrichtung, Tracking-Unterstützungssystem und Tracking-Unterstützungsverfahren
DE602004005358T2 (de) Objektdetektion in bildern
EP3044760B1 (de) Verfahren zur analyse der verteilung von objekten in freien warteschlangen
DE102015209138A1 (de) Überwachungsvorrichtung, Überwachungssystem und Überwachungsverfahren
DE112015004690T5 (de) Überwachungsvorrichtung, Überwachungssystem und Überwachungsverfahren
DE102015206178A1 (de) Ein Videoverfolgungsbasiertes Verfahren zur automatischen Reihung von Fahrzeugen in Drivethrough-Anwendungen
EP2828794A1 (de) Verfahren und vorrichtung zum auswerten von ergebnissen einer blickerfassung
DE112017007261T5 (de) Personentrendanalyse-Aufzeichnungsgerät, Personentrendanalyse-Aufzeichnungsverfahren und Programm
DE102008006709A1 (de) Videobasiertes Überwachungssystem und -verfahren
WO2017153354A1 (de) Verfahren und vorrichtung zum bewerten von blickabbildungen
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102009055127A1 (de) Vorrichtung und Verfahren zum Überwachen von Videoobjekten
DE102007041893A1 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
WO2017153355A1 (de) Verfahren und vorrichtung zum durchführen einer blickabbildung
DE112007000738T5 (de) Filter für Störbewegungen
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE102016109660A1 (de) Clusterungsverfahren und -system, entsprechende Vorrichtung und entsprechendes Computerprogrammprodukt
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
WO2020169340A1 (de) Analysevorrichtung, überwachungsanordnung mit der analysevorrichtung sowie verfahren zur bestimmung eines privatsphärenkonformen hintergrundbildes
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
EP4118620A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern
DE102014219829A1 (de) Rauchdetektionsvorrichtung, Verfahren zur Detektion von Rauch sowie Computerprogramm
DE10233233A1 (de) Erkennung von Bewegungen (dynamische Gesten) zur berührungslosen und tonlosen Interaktion mit technischen Systemen
DE102007025620A1 (de) Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichtkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm
DE102018216806A1 (de) Konzept zum Aufbereiten von Infrarotbildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20703735

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20703735

Country of ref document: EP

Kind code of ref document: A1