WO2014139997A1 - Videostromauswertung - Google Patents

Videostromauswertung Download PDF

Info

Publication number
WO2014139997A1
WO2014139997A1 PCT/EP2014/054675 EP2014054675W WO2014139997A1 WO 2014139997 A1 WO2014139997 A1 WO 2014139997A1 EP 2014054675 W EP2014054675 W EP 2014054675W WO 2014139997 A1 WO2014139997 A1 WO 2014139997A1
Authority
WO
WIPO (PCT)
Prior art keywords
accumulator
frame
gradient
difference
movement
Prior art date
Application number
PCT/EP2014/054675
Other languages
English (en)
French (fr)
Original Assignee
Vorbach, Martin
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vorbach, Martin filed Critical Vorbach, Martin
Priority to JP2015562087A priority Critical patent/JP2016515252A/ja
Priority to EP14711189.2A priority patent/EP2973211A1/de
Priority to US14/773,852 priority patent/US9659221B2/en
Publication of WO2014139997A1 publication Critical patent/WO2014139997A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to the term claimed above and thus relates to the evaluation of video streams.
  • Video streams are often captured today to monitor specific areas. This may be e.g. to deal with theft-prone areas, such as retail sales areas, or external areas of protected assets such as warehouses, airports or military installations. Surveillance improves as more and more powerful cameras become available, allowing for higher resolution, and to reduce or eliminate acquisition-free areas. However, it is not enough just to focus a camera on areas of interest; because of the large amounts of data thus generated, it is also necessary to create the possibility of distinguishing relevant and irrelevant information in the video streams, ie. identify activities of interest. In many cases, such as in the perimeter monitoring, especially interested, whether in one
  • Range movements occur. In such a case, e.g. an alarm is triggered or the storage of data is initiated.
  • data acquisition, alarm triggering, etc. triggered by motion detection also depend on the additional occurrence of certain signals from other sensors, detectors or general signal transmitters, such as heat detectors, smoke detectors or data on retail transactions, such as
  • a good detection is, inter alia, if, with at most little false alarms with nevertheless low data processing effort, movements of objects that are of particular interest are recognized.
  • the object of the present invention is to provide new products for commercial use.
  • a first basic idea of the invention can therefore be seen in the fact that in a method for detecting activities for frame sequences recorded in digital video streams in fields, data on frame differences are accumulated, gradients in the frames
  • Accumulator fields are determined and from the gradient on activity is closed. It should be noted that this method is obviously automatic, ie without human intervention on a machine, for example in a camera, a computer ter and so on. Thus, in the present specification and claims, if it is referred to, for example, as being an activity, or, for example, activities are considered to be "detected,” this means that such an inference about the existence of activity is automatic and automatic without intervention the human mind activity takes place and that, of course, a corresponding reaction can also be automatically made and initiated, for example, in turn, the automated output of a signal, the setting of a flag, the execution of a specific program, etc.
  • the new method is fast and easy to perform in digital video streams with little computational overhead and is also very robust against false positives.
  • the new method of the invention is much more powerful than a pure difference, which also responds to dithering of leaves, etc. and misinterprets them as motion.
  • the invention also refers to digital video streams where it is not explicitly mentioned.
  • digital video streams where it is not explicitly mentioned.
  • the person skilled in the art will understand that these are typically recorded with digital cameras, but that digitized video streams from analogue cameras can also be processed.
  • the frame rate is typically and advantageously at least as high that the video streams are perceived by a human observer as judder-free, but that this is not mandatory.
  • the evaluation of the present invention can be carried out quickly and with little computational effort.
  • a movement of objects is detected as activity; Such activity may be prompted by storage of high resolution images or image areas, such as those areas in which motion has been detected, and / or entire image transmission, data reduced, such as compressed images, alarm triggering, and so on.
  • data reduced such as compressed images, alarm triggering, and so on.
  • other sensors in order to further reduce activity-induced responses of the system, such as activity reports and / or stores and / or data transmissions, it may be required that other sensors also detect (certain) activities simultaneously or with a small time offset; such as e.g. a field of view with two cameras, possibly also from two widely spaced points are detected and it may be required that activities are recorded with both cameras.
  • a small time offset such as e.g. a field of view with two cameras, possibly also from two widely spaced points are detected and it may be required that activities are recorded with both cameras.
  • smoke detectors, temperature sensors, noise sensors, etc. can be evaluated simultaneously with;
  • a specific activity such as scanning a (particular) article with a Barcodc reader, may be used to additionally identify particularly relevant activities. The presence of such activity can be communicated to the camera that a corresponding information signal is transmitted to the camera. Only with simultaneous arrival of several conditions then a suitable system response needs to be initiated in a corresponding system.
  • This will help identify bad markup or fraud through tag manipulation.
  • a coupling can also be made here to recognized weights of articles, so that it can be demanded as two additional conditions that an article is scanned and the detected weight does not belong to the article before the image parts belonging to the moved regions are transmitted and analyzed become.
  • the movement of objects is detected as activity, if indications of movement over a certain minimum number of frames are detected and / or if indications of movement over no more than a specific number of frames given are.
  • a number of 8 to 128 frames per frame sequence differences are determined, preferably from about 32 to 64 frames.
  • this number of frames is sufficient to reliably detect movements, that is to say even when sensor noise due to unfavorable light conditions, camera movements due to vibrations, shaking of leaves in the wind or the like affect images.
  • a larger number of frames increases security against such interference.
  • the number of frames per sequence is not so great that an excessive computing load has to be managed. Obviously, as the number of frames increases, the computational load becomes higher. How many frames should actually be captured in a given implementation depends on a number of factors.
  • the distance and size of the image field must be taken into consideration, because if movements are made very close to the camera, a comparatively slow movement will lead to a rapid change in images, while for movements at a greater distance even fast moving objects over many frames
  • activities, at least of people or vehicles, then lead to a system response such as alarm if they are detected in frame sequence durations of 1.5 to 4 seconds.
  • the available computing power can be taken into account, which can be limited by the overall processor performance, the permitted energy consumption and / or other data processing tasks which have to be processed in addition to the activity recognition; Also, how large are the areas in which activities should be recorded can play a role. So it makes sense to make an adjustment of these area sizes to the activities to be recorded.
  • Accumulator fields are provided.
  • the use of several accumulator fields per frame sequence can be done, for example, to evaluate different image components, such as red, yellow and blue image components; While the typical case of the activity sensor of the present invention is implemented by evaluating gray levels of the images, it may be advantageous to instead or additionally evaluate certain or all colors.
  • a recognition matched to the typical signal color orange is advantageous.
  • a preferred color can be specified in a database, by means of which an article can be optimally recognized; this color may be transmitted to the activity sensor and then an analysis to search for movement of such an article may be initiated; An alarm can be triggered, for example, if no movement in the cassette area is recorded for the scanned item.
  • each different Akkumulatorstrategien can be followed, is disclosed.
  • Akkumulatorfelder is spoken, per se an implementation is possible, which enrolls per se on several fields, accumulated accumulated information in a suitable manner in only one field.
  • a data format would be conceivable in which a decimal place specifies an accumulated gray value in a number field, while decimal places specify an accumulated color value. It is also possible to start a frame sequence with each newly captured frame and then perform an accumulation over the desired frame number. Taking into account 40 frames per sequence then, for example, there are simultaneously 40 accumulators.
  • data formats and / or accumulator strategies could be chosen such that the accumulated value written to the field also registers the point in time at which it was entered, thus especially old and thus outside one Current frame sequence ignored Framedi f ferenzen ignored and / or can be deleted and / or recognized and, if necessary, evaluated how old an accumulator entry is.
  • a method can be chosen in which a "fresh" difference is assigned a high value in the accumulator field and gradually decreases as the value ages become.
  • a value "20" may be written into the field after initial initialization to the zero value at each pixel of the accumulator field if the accumulator strategy determines that the presence of a Image difference is to be entered there in the accumulator field.
  • each value in the accumulator field is reduced by one, provided that the value is still greater than zero.
  • values of eg "20” indicate only just occurred image differences
  • values of eg "19" indicate that there was a difference at this pixel in the previous frame to the previous frame, etc.
  • the values in the accumulator field code the age of the entry or the time that has elapsed since a particular image change at that pixel. References to 40 or 20 frames and values of 20 are obviously not mandatory. Thus, it has been shown that even with eg 5 or 6 frames in a sequence a good B ewegungserkennung is possible. Also, the entries in the accumulator field need not be counted down in 1 -er steps. Also other step sizes than "1" ow are possible. Another advantage arises when counting down to zero, ie the
  • a pixel is understood to mean a pixel or one of several pixels by averaging or dcrgl.
  • difference values are entered only if they are sufficiently different from zero; this prevents interference by noise, etc.
  • the influence of noise, wobble, etc. is anyway lower and, moreover, in the case of
  • the difference values can be determined in different ways. For example, the difference to a previous frame can be determined; In such a case, with constant movement and homogeneous illumination, an approximately equal difference value along the object path at the edges will be obtained for all subsequent frames, which can be readily evaluated.
  • the difference image can be determined to a reference image.
  • a frame currently being recorded (designated by the temporal ordinal number i) may be compared with the frame taken immediately before (ie, the frame i-1), then with the frame i-2, then with the frame Frame i- 3 ... etc, eg up to Frame i-40. It is possible to write the thus determined difference values directly into the accumulator field if the respective accumulator write-in strategy is met or a value which at the same time codes the age of the comparison frame.
  • a value indicating the age of the comparison frame may be entered into the accumulator field; For example, in the above example, if the difference to frame i-17 at a particular location in the image exceeds the threshold, then the value "17" could be entered in the accumulator field.
  • a reference image for the difference formation can also be determined, for example, by long-term averaging from the frames; this further reduces the influence of noise. The differences of a sequence of frames are then accumulated to such a background image.
  • the background image can be "adapted" or altered in ways known per se to take account of long-term changes in the background due to changes in the position of the sun, moving cars, etc.
  • a value is stored, at which point for the sequence under consideration, the current difference is greater than the difference already stored at that pixel or block of pixels. So you have a maximum value accumulator. Again, an age of the considered frame can be taken into account. It turns out that with such strategies movements can be recorded very well both on the camera and away from the camera, with a different accumulator field.
  • the expenditure for the accumulation according to the two different strategies is minimal, because after determining the difference between a pair of frames at a specific location, only one comparison of that location with one entry in the accumulator field at the location is required the preferred example is checked for equality with zero, in the other case the larger value is determined by comparison.
  • a direction of movement is determined, in particular by determination of gradients present in the accumulator field.
  • a gradient in the motion field indicates that the accumulated differences follow a particular pattern, which is against a random variation.
  • the gradient formation can take place in such a way that a direction of greatest change is determined; alternatively, which is simpler, in a method according to the invention, the gradients for each accumulator field may be determined in two directions, in particular along rows of the accumulator field and along columns of the accumulator field.
  • a motion may be assumed if there is a gradient for each of the pixels in a particular direction for a larger range of output pixels.
  • the size of the area from which a system response such as an alarm is triggered when there is a gradient in a certain direction in this area can, as mentioned above, depend on the size of the observed area for which one observes Object movement is typically expected.
  • Protection is also claimed for apparatus for carrying out the method according to the invention with a difference-forming stage for the formation of frame differences characterizing data, at least one accumulator field for storing frame differences characterizing data, a gradient forming means for forming gradients in the accumulator field and a gradient weighting means for deciding whether an educated gradient indicates an activity.
  • Such a device may, for example, be a digital camera with suitable software or firmware for carrying out the data processing method. That such cameras via LAN / WLAN / WAN / GSM / UMTS or the like. Using conventional protocols such as TCP / IP o. Data can be transferred, it should be mentioned.
  • Fig. La test frame from a frame sequence in which a person from the
  • Fig. 1b shows a difference image to the frame sequence
  • FIG. 1c shows differential images ("forward") accumulated according to strategy 1;
  • Fig. 2a test frame from a frame sequence in which a person enters the scene from the right, moves to the left and then moves away from the camera along the cars (shown at this stage);
  • FIG. 2b shows a difference image from the frame sequence of FIG. 2a
  • FIG. 2 d shows differential images accumulated according to strategy 2 ("backwards”); FIG.
  • Fig. 3 a movement of a person across the camera
  • Fig. 3b differences accumulated according to different strategies
  • Fig. 3c contour images to Fig. 3a and 3b, namely
  • Fig. 4b differences accumulated according to different strategies
  • FIG. 4c contour images to Fig. 4a and 4b, namely
  • 3a ', 4a' are shown at the top and bottom.
  • an apparatus for carrying out a method in which data for frame differences are accumulated for frame sequences in fields, gradients in the accumulator fields are determined and from the gradients an activity is determined provided with a difference formation stage for forming frame differences characterizing data, at least a accumulator field for storing frame differences characterizing data, a gradient forming means for forming gradients in the accumulator field and a gradient evaluation means for deciding whether an educated gradient indicates an activity.
  • This device may be a per se conventional digital video camera, ie a video camera which outputs a video stream as a digital data stream and allows digital processing of the video data.
  • this camera will capture a series of individual digital images so quickly that for the human observer viewing the image row during a time interval that is the same length of time as the recording duration interval, the impression is that there is liquid or near fluid motion rather than single Images.
  • This can be achieved with frame rates of around 24 frames / sec.
  • the present invention may be used with other frame rates, such as when the given frame rate per se is smaller. This may already be the case during observation in low light, for example at night; Here, a required exposure time in the range of, for example, one second per frame may be required. It should be mentioned that, if appropriate, one and the same camera can be operated at the same location while evaluating different frame rates.
  • the invention can also work advantageously with lower frame rates, for example if very far away areas are monitored, in which - with the same resolution - moving objects only move more slowly over an image area than in the near vicinity because of the smaller representation scale Objects is the case. It would also be possible to choose a much lower frame rate if, for example, very slow processes are to be observed.
  • the conventional digital video camera of the present invention will have an internal data processing unit in which image data can be processed and stored; there will be at least one processor, data and program memory and at least one interface via which the camera can communicate with a central office, a security service, a database, a host computer or the like. This can be done by using appropriate, known or emerging communication protocols without affecting the invention.
  • a data processing unit will be programmable with software or firmware to handle different data processing tasks; the performance of the same will be chosen so that the method steps described here are readily workable in real time; Since, as is obvious to the person skilled in the art, the data processing power required for the inventive and / or preferred method steps is only small, this does not place any special demands on the computing capacity.
  • Fig. 1a is initially in black and white, i. in grayscale levels, a test frame from a frame sequence in which a person moving next to the right-hand row of parked cars is removed from the video camera.
  • a test frame from a frame sequence in which a person moving next to the right-hand row of parked cars is removed from the video camera.
  • the video camera recording can be colored, i. Color frame data may be present.
  • the difference of the frame pair (i-1, i-2) is then determined.
  • Fig. 1 b it can be seen that in the upper third of the image, approximately in the center, there is a bright spot belonging to the person moving and its shadow. In addition, a bright area can be seen in the front left corner of the picture, which leads to the shadow of the tree in the foreground. reason belongs. In addition, bright surfaces can be seen in the background that are associated with other trees and / or the outlines of parked cars.
  • FIGS. 1a and 1b Since it is anticipated that pure He- / Dunkcl representations as well as photographs in the reproduction of the protective right are at most difficult to recognize, an auxiliary representation is additionally given to FIGS. 1a and 1b, in which important contours are recognizable, i. essentially only edges between lighter and darker areas were determined. It should be emphasized that such an edge detection and representation of edges in the image is not required for the method of the invention, but only for its better illustration in the patent application, so extra for this description was made to counteract the expected shortcomings of the publication , This also applies to all other contour representations.
  • the difference images are accumulated.
  • a pixel-by-pixel check is carried out for each differential image as to whether an entry should be made at the location of this pixel in the accumulator field on the basis of the current difference value at the pixel location of the difference image.
  • each entry is coded numerically to which difference picture it belongs.
  • the difference of the frame pairs (i, il) of the value 1 can be entered into the accumulator field, for the writing of a difference of the frame pair (il, i-2) the value 2, for a difference of the frame pair (i-2, i -3) the value 3, etc.
  • a value can be found in the accumulator field that shows how old a particular entry is.
  • the second strategy proposed here again provides that a value may at most be written into the accumulator field at a pixel if the currently considered difference image is clearly different from zero at this point (ie the difference exceeds a certain threshold - in FIG. 1b, it would therefore be HELL).
  • a uniform movement in one direction has the consequence that from image to image there is a large difference in each case different, but nevertheless adjacent location; This difference occurs at different times - thanks to the entry of the values related to the age of the difference in the accumulator field can then by
  • the gradient in the accumulator field will be different from zero in a comparatively large range-the size of which depends on the object size and the distance and the object distance.
  • FIG. 1 shows sections of the battery images in the area of the movement of persons.
  • FIG. 1 g shows contour images, whereby the differently gray regions in FIG. 1 g are also separated by contour lines-but it should be emphasized once again that these contour images serve only for illustration and explanation.
  • Fig. 4 shows that even with faster movement, here that of a moving car, by differential image determination, subsequent differential image accumulation and
  • a sensor response i. a system response can be caused only if a certain change in the image is detected at the same time, such as running in the opposite direction to a desired direction, a movement of several objects towards each other, or if another signal is obtained simultaneously, also from another sensor. In such a case, therefore, not every movement is simply identified as a system response inducing activity.
  • a system response can also consist in the intervention of (electrical) consuming devices such as lighting or controls of heaters, database queries can be initiated, for example after the customer recognizes an object to be moved to a counter in a ticket hall to recognize etc.
  • database queries can be initiated, for example after the customer recognizes an object to be moved to a counter in a ticket hall to recognize etc.
  • a biometric evaluation of image data must be made only for those areas that have changed, ie where movement took place. This reduces the computational effort.
  • a license plate of incoming and outgoing cars could be identified and signals related to the recognized number could be output. In general, therefore, a transaction can be checked with the invention and / or carried out more easily, in particular if the invention is used by means of databases related to possible image contents.
  • the accumulator field can initially be initialized, for example set to zero; If data is then written to the accumulator field, high values can be entered at the respective pixel to be described become.
  • values of "40" in the accumulator field indicate e.g. on image differences that have just occurred, values of "39” indicate that there was a difference in this pixel in the previous frame to the previous frame, and so on.
  • the values in the accumulator field encode the age of the entry or the time since a given one Image change has passed at this pixel.
  • To leave the gap width of zero entries is to enter in the accumulator field the age that has an entry (that is, to note when a difference to the previous image has occurred at a certain image pixel) and then the (pixel) distances of different age entries in the accumulator field, preferably with statistical methods. If there are many pixels between locations where the age of an entry changes, the object has moved a great distance in the time between the viewed frames. So it's fast; that, for example, the distances of relevant image areas to the camera, etc., can be taken into account in order to arrive at more precise statements, should be mentioned. Calibration may be done if desired or otherwise taking into account the three-dimensionality of a scene. This is especially possible with immovably mounted cameras, simplified on site. In addition, a parallel analysis with different frame rates and / or resolutions and / or
  • Color / grayscale channels are used to reduce artifacts.
  • the examination of the pixel distances of different age entries can be done in various ways. Particularly useful are statistical considerations such as the determination of the most frequent distances of different age entries. It can be used e.g. working with histograms (determining the frequency of values) that evaluate an accumulator array row by row or column by column. This can be done with different strategies.
  • First histograms for rows and second histograms for columns can be set up separately.
  • overall velocities e.g. according to a vector addition.
  • a histogram determination can be carried out image-wise in order to take account of perspectives for the conversion of pixel distances into distances or pixel spacings per frame distance into speeds. Area-specific values can be evaluated jointly after perspective normalization. It is also possible to rotate images after rough estimation of a primary movement direction and to establish histograms with which the distances along such main movement directions are detected.
  • a peak is obtained.
  • the tip can be widened, for example, by the fact that the moving object is not rigid, such as a pedestrian, who swings with the arms, so that some of them move a little faster and some slower than the rest of the body.
  • Histogram strategy to determine a still average average speed.
  • how far a change moves within a frame, during two frames, during three frames, etc. e.g. how far a change moves within a frame, during two frames, during three frames, etc.
  • the distance of the values 40-> 39, 40-> 38, 40-> 37 are to be considered (bearing in mind, for example, that the distance 40-> 38 has been passed through during two frames).
  • the distance 40-> 38 is determined in this strategy, unlike the previously discussed strategy, even if the value "39" was found on the path between the pixels.
  • the distance 40-> 38 is twice the distance to 40-> 39
  • the distance 40-37 is three times the distance 40-39.
  • Ergo evenly spaced maxima in the histogram from whose position on the speed can be concluded.
  • you can also enter in such a histogram how the distances to frame pairs 39-> 38, 39-> 37, 39-> 36 etc. look like. This also contributes to averaging the speed.
  • Slow-moving objects which are often recorded on the successive frames of a sequence, result in particularly pronounced, easily recognizable maxima.
  • a corresponding histogram is shown in the lower part of FIG. 7 for a pedestrian more frequently detected due to its comparatively slow movement during the frame sequence. This moves along the same route as in Fig. 3. There are several clearly recognizable maxima
  • Fig. 7 there is shown a histogram of an accumulator field acquired in the movement of a car along the route which has been run by a pedestrian in Fig. 3. More precisely, this histogram shows the Distances, the frame pairs i, il: i, i-2; i, i-3; i, i-2; il, i-3; il, i-4; i-2, i-3, etc., and here too a number of maxima are to be recognized, the evaluation of which, as implied by the explanation, suggests speed. Due to the higher movement speed, the car was detected in fewer frames of the otherwise same-sized sequence, so that the peaks are displayed less clearly.
  • a corresponding analysis can warn against this. For example, it can be examined whether the histogram maximum of the pair (40.39) lies at a distance with a sign different from that of the pair (39, 38) or a previous pair like (14, 13). In slow "pendulum" movements, such a sign reversal could be accompanied by one during the up and down
  • Moving speed and / or resting phases at zero or near zero speeds is obvious. That an exact speed determination is not mandatory, it should be mentioned. So it may be sufficient to make a rough distinction in, for example, three levels: “very fast”, “usual speed of travel” and “much slower than usual” and / or assumptions on the moving object ("car", “bicycle”). If necessary, other image-related data can also be evaluated, such as the (perspective corrected) size of an image area, its aspect ratio, the direction of movement, topographical features such as the presence of footpaths, cycle paths, roads in the relevant image area, etc.
  • an edge analysis for determining the object which has moved can also be carried out in a limited image area, for example.
  • the edge analysis need not be extended over the entire output image, but can be limited to those in which a directed movement, in particular a movement with a roughly determined speed is done. This considerably reduces the edge detection effort.
  • the presently disclosed consideration and evaluation of suitably accumulated differential fields and the gradients, values, and / or changes in value helps to greatly reduce the image evaluation effort.
  • the identification of areas that require further analysis because gradients occur in accumulated difference images and / or speed-related data show this, therefore, according to local opinion, a meaning which is separately relevant to the invention and possibly claimable in isolation, especially for purposes of image and content analysis. It can also be used to determine image areas for transmission and / or storage for security purposes.
  • time stamps may preferably be used which allow the time interval of each frame pair to be detected, so that the frame pair time intervals can be determined and taken into account.
  • the consideration of the frame pair time intervals may also be useful there, if e.g. a non-uniformly recorded frame stream should be subsequently analyzed. The exact frame recording time consideration is always meaningful if significant

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von in Videoströmen erfassten Aktivitäten. Hierbei ist vorgesehen, dass für Framesequenzen in Feldern Daten zu Framedifferenzen akkumuliert werden, Gradienten und/oder Wertdifferenzab stände in den Akkumulatorfeldern bestimmt werden und aus den Gradienten auf Aktivität geschlossen wird.

Description

Videostromauswertung
Beschreibung
Die vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte und bezieht sich somit auf die Auswertung von Videoströmen.
Videoströme werden heute oft erfasst, um bestimmte Bereiche zu überwachen. Dabei kann es sich z.B. um diebstahlgefährdete Bereiche handeln, wie bei Verkaufsflächen im Einzel- handel, oder um Außengebiete zu schützender Anlagen wie Lagerhallen, Flughäfen oder militärische Einrichtungen. Die Überwachung wird besser, wenn mehr und leistungsfähigere Kameras zur Verfügung stehen, so dass mit höherer Auflösung gearbeitet werden kann und erfassungsfreie Bereiche verkleinert oder vermieden werden können. Es ist jedoch nicht genügend, lediglich eine Kamera auf interessierende Bereiche zu richten; aufgrund der so erzeugten großen Datenmengen muss vielmehr auch die Möglichkeit geschaffen werden, in den Videoströmen relevante und irrrelevante Informationen zu unterscheiden, d.h. interessierende Aktivitäten zu identifizieren. In vielen Fällen, etwa bei der Perimeterüberwachung, interessiert vor allem, ob in einem
Bereich Bewegungen auftreten. In einem solchen Fall kann z.B. ein Alarm ausgelöst werden oder die Speicherung von Daten veranlasst werden. Es sei erwähnt, dass eine auf Bewegungserfassung veranlasste Datenspeicherung, Alarmauslösung usw. auch an das zusätzliche Auftreten bestimmter Signale anderer Sensoren, Detektoren oder allgemein Sig- nalgeber, wie Wärmemelder, Rauchmelder oder Daten zu Einzelhandelstransaktionen wie
"Kasse offen" oder "Preisschild von Ware XY eingescannt" gekoppelt werden kann. Dass dies auch mit der vorliegenden Erfindung Vorteile, auch erfindungswesentliche Vorteile, bieten kann, sei erwähnt. Objektbewegungen führen nun zu Bildveränderungen, die per se bestimmbar sind. Es ist dabei bekannt, im Bild umfangreiche Analysen durchzuführen, um "Hintergrund" zu erkennen, "Objekte" vor dem Hintergrund, z.B. durch Kantendetektion zu definieren und dann die Bewegung der entsprechenden Objekte über mehrere Frames hinweg zu verfolgen, was bei besonders anspruchsvollen Anwendungen überdies unter Aktualisierung von I lintergrundsänderungen geschieht. Während derartige Verfahren per se in der Lage sind, die Bewegungen von Objekten zu erkennen, sind sie aufwendig. Dies ist nachteilig, wenn die Erkennung direkt in der Kamera erfolgen soll, weil hier entsprechend viel Rechenleis- tung benötigt wird. Dies bedeutet einen erhöhten Hardwareaufwand und einen erhöhten Energieverbrauch. Auch dann, wenn die Erkennung nicht in der Kamera selbst, sondern etwa in einer Zentrale erfolgen soll, ist dies nachteilig, weil dort in der Regel sehr große Datenmengen auflaufen, deren Verarbeitung wiederum einen erheblichen Verarbeitungsaufwand erfordert.
Es ist daher wünschenswert, Bewegungen von Objekten gut detektieren zu können. Eine gute Detektion liegt unter anderem dann vor, wenn mit allenfalls wenig Fehlalarmen bei trotzdem geringem Datenverarbeitungsaufwand Bewegungen j ener Objekte erkannt werden, die von besonderem Interesse sind.
Die Aufgabe der vorliegenden Erfindung besteht darin, Neues für die gewerbliche Anwendung bereitzustellen.
Die Lösung dieser Aufgabe wird in unabhängiger Form beansprucht. Bevorzugte Ausfüh- rungsformen finden sich in den Unteransprüchen .
Ein erster Grundgedanke der Erfindung ist somit darin zu sehen, dass bei einem Verfahren zur Erkennung von in digitalen Videoströmen erfassten Aktivitäten für Framesequenzen in Feldern Daten zu Framedifferenzen akkumuliert werden, Gradienten in den
Akkumulatorfeldern bestimmt werden und aus den Gradienten auf Aktivität geschlossen wird. Es sei erwähnt, dass dieses Verfahren einleuchtenderweise automatisch, d.h. ohne menschlichen Eingriff auf einer Maschine, beispielsweise in einer Kamera, einem Compu- ter usw. ablaufen kann. Wenn also in der vorliegenden Beschreibung und den zugehörigen Ansprüchen davon die Rede ist, dass z.B. auf Aktivität geschlossen wird, oder z.B. Aktivitäten als„erfasst" betrachtet werden, so bedeutet dies, dass ein solcher Schluss über das Vorhandensein von Aktivität maschinell und automatisch ohne Eingriff der menschlichen Verstandestätigkeit erfolgt und daß einleuchtenderweise auch automatisch eine entsprechende Reaktion erfolgen und eingeleitet werden kann, beispielsweise das wiederum automatisierte Ausgeben eines Signals, das Setzen eines Flags, das Ausführen eines bestimmten Programmes usw.
Es sei weiter erwähnt, dass oftmals in der vorliegenden Anmeldung von bestimmten Beur- teilungen, Deutungen, Interpretationen usw. gesprochen wird, denen ein Videostrom unterworfen wird und es versteht sich aus dem vorstehenden, dass solche Interpretationen und Beurteilungen automatische Bewertungen durch eine Maschine wie z.B. eine Kamera, einen PC oder dergl. darstellen und nicht etwa einen Hinweis auf eine menschliche Tätigkeit geben, sofern nichts anderes unmittelbar und explizit ersichtlich ist.
Es ist damit erfindungsgemäß nicht mehr erforderlich, zunächst Objekte als solche durch aufwendige Bildanalyse wie Kantendetektion in jedem Frame zu identifizieren und dann von Frame zu Frame die dergestalt abgegrenzten Objekte zu verfolgen. Das neue Verfah- ren ist in digitalen Videoströmen vielmehr schnell und einfach und mit geringem Rechenaufwand durchzuführen und es ist zugleich besonders robust gegen Fehlalarme. Insbesondere ist das neue Verfahren der Erfindung wesentlich leistungsfähiger als eine reine Differenzbildung, die auch auf Zitter-Bewegungen von Blättern usw. anspricht und diese als Bewegung fehlinterpretiert.
Erwähnt sei im Übrigen, dass die Erfindung auch dort, wo es nicht explizit erwähnt wird, auf digitale Videoströme Bezug nimmt. Der Fachmann wird verstehen, dass diese typisch mit digitalen Kameras aufgenommen werden, dass aber auch digitalisierte Videoströme von Analogkameras verarbeitbar sind. Auch sei betont, dass die Framerate typisch und vor- teilhaft mindestens so hoch sein wird, dass die Videoströme von einem menschlichen Betrachter als ruckelfrei empfunden werden, dass dies aber nicht zwingend ist. Die Auswertung der vorliegenden Erfindung ist schnell und mit geringem Rechenaufwand durchführbar.
Typisch wird als Aktivität eine Bewegung von Objekten erfasst; auf eine solche Aktivität hin kann eine Speicherung hochauflösender Bilder oder Bildbereiche, etwa (nur) jener Bereiche, in denen eine Bewegung ermittelt wurde, und/oder eine Übertragung ganzer Bilder, Datenreduzierter, etwa komprimierter Bilder, eine Alarmauslösung usw. veranlasst werden. Es sei erwähnt, dass zur weiteren Reduzierung von durch Aktivitäten veranlassten Antworten des Systems wie Aktivitätsmeldungen und/oder Speicherungen und/oder Datenübertragungen verlangt werden kann, dass simultan oder mit geringem Zeitversatz andere Sensoren ebenfalls (bestimmte) Aktivitäten erfassen; so kann z.B. ein Sichtfeld mit zwei Kameras, gegebenenfalls auch aus zwei weit voneinander entfernten Stellen erfasst werden und es kann gefordert werden, dass mit beiden Kameras Aktivitäten erfasst werden. Dabei ist es zwar per se denkbar, dass die Bereiche, für welche Aktivitäten erfasst werden, für beide Kameras durch Kalibrationsprozesse usw. abgeglichen werden; zudem kann etwa gefordert werden, dass eine vergleichsweise enge Synchronisation der Videoströme erfolgt; beides ist jedoch zur Aufwandsreduzierung nicht unbedingt erforderlich. Vielmehr werden typi- sehe Zeiten der Signalübertragung ausreichen, ein Signal zwischen mehreren Kameras auszutauschen, wonach gerade eine Aktivität mit einer Kamera erfasst wurde; wenn die andere Kamera, die zumindest Teile des gleichen Bereichs überwacht, dann ebenfalls eine Aktivität erfasst, kann dies ausreichen, um eine Alarmauslösung, Datenspeicherung usw. zu rechtfertigen. Dies erleichtert die Installation, Auswertung usw. ungemein.
Dass im Übrigen auch andere Möglichkeiten bestehen, weitere Daten zur Aktivitätserkennung zusätzlich und/oder alternativ zu einer oder mehreren weiteren Kameras heranzuziehen, sei erwärmt. So können Rauchmelder, Temperatursensoren, Geräuschsensoren usw. simultan mit ausgewertet werden; auch kann, etwa bei Überwachung im Einzelhandel, eine bestimmte Tätigkeit, wie z.B. das Einscannen eines (bestimmten) Artikels mit einem Bar- codc-Leser, verwendet werden, um zusätzlich besonders relevante Aktivitäten zu bestimmen. Das Vorliegen einer solchen Tätigkeit kann der Kamera dadurch mitgeteilt werden, dass ein entsprechendes Informationssignal an die Kamera übertragen wird. Nur bei simultanem Eintreffen mehrerer Bedingungen braucht dann in einem entsprechenden System eine geeignete Systemantwort initiiert werden. Dies erlaubt beispielsweise eine Übertragung eines oder mehrerer Bilder eines über ein Kassen-Förderband bewegten Artikels an eine Datenauswcrteeinheit, die Zugriff auf eine Bilddatenbank von Artikeln hat, um eine Überprüfung dahingehend vorzunehmen, ob ein bestimmter gescannter Artikel mit der erwarteten Abbildung übereinstimmt. So können fehlerhafte Auszeichnungen oder Betrug durch Etikett-Manipulation erkannt werden. Gegebenenfalls lässt sich hier eine Kopplung auch an erkannte Gewichte von Artikeln vornehmen, so dass als zwei zusätzliche Bedingungen gefordert werden kann, dass ein Artikel gescannt wird und das erfasste Gewicht nicht zu dem Artikel gehört, bevor die zu den bewegten Bereichen gehörigen Bildteile übertragen und analysiert werden.
Es ist weiter vorteilhaft, wenn bei einem erfindungsgemäßen Verfahren die Bewegung von Objekten dann als Aktivität erfasst wird, wenn Hinweise auf Bewegung über eine bestimmte Minimalzahl an Frames hinweg erfasst werden und/oder wenn Hinweise auf Bewegung über nicht mehr als eine bestimmte Zahl an Frames hinweg gegeben sind.
Indem Framedifferenzen nur dann als Bewegung gedeutet werden, wenn in einer größeren Zahl von Frames nacheinander entsprechende Hinweise beobachtet werden, können Fehlalarme durch atypisch schnelle Objekte vermieden werden; so kann etwa ein Vogel nahe einer Kamera sehr schnell durch ein Bildfeld fliegen, während ein sich in größerer Entfernung zur Kamera bewegender Mensch das Bildfeld nur deutlich langsamer durchqueren wird. Auch kurze Veränderungen durch Blitze, umstürzende oder herabfallende Gegen- stände etc. führen nicht zu Fehlalarmen, wenn verlangt wird, dass sich eine Bewegung über eine Mindestzahl an Frames erstrecken soll, um eine Systemantwort wie einen Alarm oder dergl. auszulösen. Wenn hingegen Veränderungen sehr langsam erfolgen, wie dies etwa beim Wandern von Schatten der Fall ist, kann ebenfalls von einer Alarmauslösung abgesehen werden.
Um bei unterschiedlich schnellen Aktivitäten jene zu erkennen, die besonders relevant sind, ist es vorteilhaft, wenn bei einem erfindungsgemäßen Verfahren für eine Anzahl von 8 bis 128 Frames je Framesequenz Differenzen bestimmt werden, bevorzugt von etwa 32 bis 64 Frames. Diese Anzahl von Frames reicht einerseits, um Bewegungen im Regelfall sicher zu erkennen, d.h. auch dann, wenn Sensorrauschen aufgrund ungünstiger Lichtbedingungen, Kamerabewegungen aufgrund von Erschütterungen, Zittern von Blättern im Wind oder dergl. Bilder beeinträchtigen. Eine größere Zahl von Frames erhöht hier die Sicherheit gegen derartige Störungen. Zugleich ist die Anzahl der Frames je Sequenz noch nicht so groß, dass eine übermäßige Rechenlast zu bewältigen ist. Einleuchtender Weise wird mit steigender Zahl der Frames die Rechenlast höher. Wie viele Frames bei einer gegebenen Implementierung tatsächlich erfasst werden sollen, hängt dabei von einer Reihe Faktoren ab. So ist unter anderem die Entfernung und Größe des Bildfeldes zu berücksichtigen, denn wenn Bewegungen sehr nahe der Kamera erfolgen, wird auch eine vergleichsweise langsame Bewegung zu einer schnellen Änderung in Bildern führen, während bei Bewegungen in größerer Entfernung auch schnell bewegte Objekte über viele Frames hinweg beobachtet werden können- wünschenswert ist im Regelfall, dass Aktivitäten, jedenfalls von Menschen oder Fahrzeugen, dann zu einer Systemantwort wie Alarm führen, wenn, sie in Framesequenzdauern von 1,5 bis 4 Sekunden erfasst werden. Weiter kann die zur Verfügung stehende Rechenleistung berücksichtigt werden, die durch die Gesamtprozessorleistung, den zulässigen Energieverbrauch und/oder weitere Datenverarbeitungsaufgaben, die neben der Aktivitätserkennung abzuarbeiten sind, beschränkt sein kann; auch kann eine Rolle spielen, wie groß die Bereiche sind, in welchen Aktivitäten erfasst werden sollen. So ist es sinnvoll, eine Anpassung dieser Bereichsgrößen an die zu erfassenden Aktivitäten vorzunehmen. Wenn etwa an einer Supermarktkasse über ein Kassenband bewegte Waren mit einer Kamera erfasst werden soll, die neben dem Kas- senband noch weitere Bereiche beobachtet, etwa die Warteschlange vor der Kasse oder den Einpackbereich, so sind bei gleicher Auflösung Aktivitäten in wesentlich kleineren Bildausschnitten zu identifizieren, als wenn nur beobachtet werden soll, ob sich überhaupt eine Person der Kasse nähert. Zudem kann erhöhte Rechenlast auftreten, wenn unterschiedliche Akkumulatorfelder bedient werden sollen.
Es ist vorteilhaft, wenn bei einem erfindungsgemäßen V erfahren mehrere
Akkumulatorfelder vorgesehen sind. Die Verwendung mehrerer Akkumulatorfelder je Framesequenz kann z.B. geschehen, um unterschiedliche Bildanteile auszuwerten, etwa rote, gelbe und blaue Bildanteile; während der typische Fall des erfindungsgemäßen Aktivitätssensors implementiert wird, indem Grauwerte der Bilder ausgewertet werden, kann es vorteilhaft sein, stattdessen oder zusätzlich bestimmte oder alle Farben auszuwerten. So ist etwa dann, wenn bei Bahnanlagen durch Kamerabeobachtung Warnungen ausgegeben werden, wenn sich Bahnarbeiter über Gleise bewegen, eine auf die typische Signalfarbe Orange abgestimmte Erkennung vorteilhaft. Ähnliches gilt im Kassenbereich, wo etwa bestimmte Artikel (die durch Scannen des aufgedruckten Barcodes bekannt sind) erkannt werden sollen - hier kann z.B. in einer Datenbank eine bevorzugte Farbe angegeben werden, anhand derer ein Artikel optimal erkannt werden kann; diese Farbe kann dem Aktivitätssensor übermittelt werden und es kann dann eine Analyse zur Suche nach einer Bewegung eines solchen Artikels veranlasst werden; ein Alarm kann etwa ausgelöst werden, wenn zu dem gescannten Artikel keine Bewe- gung im Kasscnbandbereich erfasst wird.
Es ist weiter möglich, mehrere Akkumulatorfelder zu verwenden, um eine Anpassung an unterschiedliche Bewegungsgeschwindigkeiten zu erzielen. So kann bei weitwinkliger Beobachtung berücksichtigt werden, dass nähere und ferne Bereiche mit unterschiedlicher Auflösung beobachtet werden sollen bzw. in näheren und ferneren Bereichen unterschiedliche Framezahlen je Framesequenz bzw. nur nicht unmittelbar, sondern mit zeitlichem Abstand aufeinander folgende Frames zu berücksichtigen sind. Da in der Nähe der Kamera eine Bewegung zu größeren und schneller auffallenden Veränderungen fuhrt als eine gleich schnelle Bewegung, die sehr weit weg beobachtet wird, ist es z.B. möglich, für die Detektion kameranaher Bewegungen ein Akkumulatorfeld für Veränderungen zu verwenden, die von Frame zu Frame ablaufen, während für weiter entfernt ablaufende Bewegungen ein Akkumulatorfeld verwendet wird, das nur alle z.B. 4 oder 10 Frames ein Differenzbild bestimmt. Es kann zudem berücksichtigt werden, dass weiter entfernt ablaufende Bewegungen in der Regel auf weniger Pixeln erfasst werden; deswegen kann dann, damit solche Bewegungen noch gut erfasst werden, eine höhere Auflösung gewählt werden als für jenes Akkumulatorfeld, mit dem schnelle nahe Bewegungen erfasst werden. Soll eine Bewegung auch in sehr großen Entfernungen noch erkannt werden, so ist es daher sinnvoll, zumindest dafür Differenzen mit höchstmöglicher Auflösung zu akkumulieren. Aus dem vorstehenden ist ersichtlich, dass, sofern dies gewünscht ist, mit Akkumulatorstrategien gearbeitet werden, bei denen sich sowohl die Auflösung der Akkumulatorfelder wie auch die Rate berücksichtigter Frames unterscheiden. Falls erforderlich und/oder gewünscht, ist es zudem möglich, für sehr weit entfernt liegende Bereiche erst eine Mittelung mehrerer Frames und dann eine Differenzbildung der gemittelten (und bevorzugt hinsichtlich der in die Mittelwerte einfüessenden Frames auseinanderliegenden) Mittelwertframes erfolgen, um die Akkumulatorfelder zu bestimmen. Eine Mittelwertbildung kann helfen, nicht nur nachts das Rauschen zu verringern, sondern auch beispielsweise am Tag den Einfluss von Luftturbulenzen aufgrund sehr heißer Luft etc. deutlich zu verringern.
Dass auch noch für jede Auflösung und/oder jede Framerate jeweils unterschiedliche Akkumulatorstrategien verfolgt werden können, sei offenbart. Alternativ und/oder zusätzlich ist es möglich, mehrere Akkumulatorleider zu verwenden, um sowohl Bewegungen auf die Kamera zu als auch von dieser weg zu erkennen. Dies kann durch unterschiedliche Akkumulatorstrategien für die unterschiedlichen Felder geschehen. Es sei im Übrigen erwähnt, dass dort, wo vorliegend von unterschiedlichen
Akkumulatorfelder gesprochen wird, per se eine Implementierung möglich ist, die per se auf mehrere Felder verteilbare, akkumulierte Information auf geeignete Weise in nur ein Feld einschreibt. So wäre ein Datenformat denkbar, bei welchem in einem Zahlenfeld Vorkommastellen einen akkumulierten Grauwert angeben, während Nachkommastellen einen akkumulierten Farbwert angeben. Auch ist es möglich, eine Framesequenz mit jedem neu aufgenommenen Frame zu beginnen und dann dafür eine Akkumulation über die gewünschte Frameanzahl durchzuführen. Bei Berücksichtigung von 40 Frames je Sequenz liegen dann z.B. simultan 40 Akkumulatoren vor. Während ein solches Vorgehen möglich ist, könnten alternativ Datenformate und/oder Akkumulatorstrategien so gewählt werden, dass mit dem akkumulierten Wert, der in das Feld geschrieben wird, auch der Zeitpunkt registriert wird, zu welchem er eingetragen wurde, damit besonders alte und damit außerhalb einer aktuell zu betrachtenden Framesequenz liegende Framedi f ferenzen ignoriert und/oder gelöscht werden können und/oder erkannt und erforderlichenfalls bewertet werden kann, wie alt ein Akkumulatoreintrag ist. Als Alternative zur Verwendung von vielen Akkumulatoren, die für jede Framesequenz neu initialisiert werden müssen, kann auch ein Verfahren gewählt werden, bei welchem einer "frischen" Differenz ein hoher Wert im Ak- kumulatorfeld zugeordnet werden und dieser Wert mit dem Altern des Wertes allmählich verringert werden. So kann, wenn z.B. zwanzig Frames für die Detektion einer Bewegung berücksichtigt werden sollen, in das Feld nach anfänglicher Initialisierung auf den durchgehenden Wert Null an jedem Pixel des Akkumulatorfeldes, ein Wert "20" eingeschrieben werden, wenn die Akkumulatorstrategie festlegt, dass das Vorhandensein einer Bilddiffe- renz dort in das Akkumulatorfeld eingetragen werden soll. Bevor dann für den nächsten Frame für vorhandene Bilddifferenzen Werte in das Akkumulatorfeld eingetragen werden, wird jeder Wert im Akkumulatorfeld um eins reduziert, sofern der Wert noch größer als Null ist. Dann deuten im Akkumulatorfeld Werte von z.B. "20" auf gerade erst aufgetretene Bilddifferenzen, Werte von z.B. "19" darauf, dass im vorherigen Frame zum vorvorherigen Frame eine Differenz an diesem Pixel vorlag usw. Auf diese Weise codieren also die Werte im Akkumulatorfeld das Alter des Eintrags bzw. die Zeit, die seit einer bestimmten Bildänderung an diesem Pixel vergangen ist. Bezugnahmen auf 40 oder 20 Frames und Werte von 20 sind einleuchtender Weise nicht zwingend. So hat sich gezeigt, dass schon bei z.B. 5 oder 6 Frames in einer Sequenz eine gute B ewegungserkennung möglich ist. Auch brauchen die Einträge im Akkumulatorfeld nicht in 1 -er Schritten herabgezählt werden. Auch sind andere Schrittweiten als " 1 " o.w. möglich. Ein weiterer Vorteil ergibt sich, wenn weiter als bis Null heruntergezählt wird, d.h. die
Eintragung negativer Werte im Akkumulatorfeld zugelassen wird. In einem solchen Fall kann für Neueinträge ein an einem Pixel vorhandener negativer Wert behandelt werden, als ob dort ein Wert "Null" stünde; auch bei der Gradientenbildung kann ein negativer Wert wie der Wert "Null" behandelt werden. Interessant ist es jedoch, wenn der Bildhintergrund ermittelt werden soll. Hier spricht ein weit unterhalb Null liegender Wert dafür, dass sich an einer Stelle sehr lange nichts verändert hat; damit ist das entsprechende Pixel mit hoher Wahrscheinlichkeit ein Hintergrundpixel eines sehr stabilen Hintergrundwerte s . Dies hilft bei der Bestimmung des Hintergrundes. Zudem kann erforderlichenfalls auf Bewegungen in jenen Bereichen, in denen sonst keine Bewegung auftritt, anders reagiert werden. Es ist im Übrigen möglich, nur jeden x-ten Frame, z.B. jeden 10., 100. oder 4096. Frame, von einem negativen Zählwert weiter etwas abzuziehen. So reicht der typisch verfügbare Zahlen- räum für längere Zeiträume aus.
Es sei erwähnt, dass es besonders vorteilhaft sein kann, alle Frames einer Framesequenz, die aktuell auf Aktivitäten untersucht wird, zumindest solange zu speichern, bis festgestellt wurde, dass in diesen Frames keine interessierende Aktivität erfasst wurde. Dies erlaubt es, dann die Ausgangs-Frames dauerhaft für eine weitere Auswertung zu sichern, zu übertragen oder heranzuziehen, wenn eine relevante Aktivität erkannt wurde. Die technische einfache Realisierung einer solchen Pufferung ist beispielsweise mit Ringspeichern möglich. Erwähnt sei aber auch, dass es gegebenenfalls ausreichen kann, auf die Frames bezogene Daten, z.B. zu groben Blöcken reduzierte grobe Bilder zu bestimmen und die Ursprungs- Frames danach sofort zu verwerfen bzw. nur nach einer z.B. auch völlig aktivitätsunabhängigen Strategie zu speichern. Anstelle der Frames oder der reduzierten (z.B. grobblo- ckigen und/oder auf Grauwerte reduzierten) Frames können auch nur die entsprechenden Differenzwerte abgelegt werden. Derartige Differenzwerte werden typisch zum unmittelbar vorhergehenden Frame bestimmt, wenn nicht das Erfordernis, sehr langsame Bewegungen zu erkennen, etwas anderes diktiert.
Besonders vorteilhaft ist es, wenn bei einem erfindungsgemäßen Verfahren Daten zu Framedifferenzen nach unterschiedlichen Strategien akkumuliert werden. Dies erlaubt es, unterschiedliche Aktivitäten sicher zu erkennen, z.B. eine Bewegung auf die Kamera zu und eine Bewegung von der Kamera weg. Um diese Bewegungen zu erkennen, hat es sich als vorteilhaft erwiesen, wenn auf zwei unterschiedliche Strategien Daten akkumuliert werden. So kann in einem ersten Akkumulatorfeld an einer gegebenen Bild-Stelle ein Wert immer dann eingespeichert werden, wenn an dieser Stelle für die betrachtete Sequenz noch für alle vorhergehenden Differenzen der bisherige Wert Null war. Als Bildstelle wird hier ein Pixel verstanden bzw. ein aus mehreren Pixeln durch Mittelung oder dcrgl. bestimmter
Block - es wird also bei der Akkumulation Pixel für Pixel bzw. Block für Block untersucht, wie die Frames einer Sequenz differieren. Gerade bei Fällen, in welchen nur von Null verschiedene Differenz- Werte in einem Akkumulatorfeld eingetragen werden sollen, kann es vorteilhaft sein, wenn solche Differenz- werte nur dann eingetragen werden, wenn sie hinreichend stark von Null verschieden sind; dies verhindert eine Beeinträchtigung durch Rauschen etc. Allerdings sei darauf hingewiesen, dass bei Betrachtung von Blockdifferenzen anstelle von Pixeldifferenzen der Einfluss von Rauschen, Wackeln usw. ohnehin geringer ist und im Übrigen auch bei der
Gradientenbildung noch ein Schwellwertvcrhaltcn implementiert werden kann, um nur jene Gradienten zu berücksichtigen, wo die Gradienten selbst und/oder die
gradientenbildenden Werte ein bestimmtes Minimum überschreiten.
Die Differenzwerte können auf verschiedene Arten bestimmt werden. So kann etwa die Differenz zu einem Vorgängerframe bestimmt werden; in einem solchen Fall wird bei gleichbleibender Bewegung und homogener Beleuchtung für alle nacheinander folgenden Frames ein etwa gleicher Differenzwert entlang des Objekt weges an den Kanten erhalten werden, was ohne weiteres auswertbar ist.
Alternativ und/oder zusätzlich kann das Differenzbild zu einem Referenzbild bestimmt werden. Es kann also z.B. ein aktuell gerade aufgenommener Frame (der mit der zeitlichen Ordnungszahl i bezeichnet sei) verglichen werden mit dem Frame, der direkt davor aufgenommen wurde (d.h. dem Frame i-1), dann mit dem Frame i-2, dann mit dem Frame i- 3...usw, z.B. bis zum Frame i-40. Es ist möglich, die so bestimmten Differenzwerte unmittelbar in das Akkumulatorfeld einzuschreiben, sofern der jeweiligen Akkumulator- Einschreibestrategie entsprochen wird, oder einen Wert, der zugleich das Alter des Ver- gleichsframes kodiert. So könnte immer dann, wenn ein hinreichend großer Differenzwert auftritt, d.h. eine bestimmte Schwelle überschritten wird, anstelle eines den Differenzwert selbst anzeigenden Wertes ein das Alter des Vergleichsframes anzeigender Wert in das Akkumulatorfeld eingetragen werden; bei dem obigen Beispiel könnte etwa dann, wenn die Differenz zum Frame i-17 an einer bestimmten Stelle im Bild den Schwellwert über- schreitet, der Wert " 17" in das Akkumulatorfeld eingetragen werden. Ein Referenzbild für die Differenzenbildung kann auch beispielsweise durch langfristige Mittelung aus den Frames bestimmt werden; dies reduziert den Rauscheinfluss weiter. Es werden dann die Differenzen einer Sequenz von Frames zu einem solchen Hintergrundbild akkumuliert. Das Hmtergrundbild kann auf per se bekannte Weisen "adaptiert" oder verän- dert werden, um langfristigen Veränderungen im Hintergrund durch sich ändernden Sonnenstand, wegfahrende Autos usw. zu berücksichtigen.
Als weitere Akkumulatorstrategie kann, bevorzugt in einem anderen Akkumulatorfeld an einer Stelle, d.h. bei einem gegebenen Pixel oder Pixelblock, dann ein Wert eingespeichert werden, wen an dieser Stelle für die betrachtete Sequenz die aktuelle Differenz größer ist als die bereits an diesem Pixel bzw. diesem Pixelblock abgespeicherte Differenz. Man hat also einen Maximalwert- Akkumulator. Auch hier kann wiederum ein Alter des betrachteten Frames berücksichtigt werden. Es zeigt sich, dass mit derartigen Strategien Bewegungen sowohl auf die Kamera zu als auch von der Kamera weg sehr gut erfasst werden können, und zwar mit einem jeweils anderen Akkumulatorfeld. Zugleich ist der Aufwand für die Akkumulation gemäß der zwei unterschiedlichen Strategien minimal, weil nach Bestimmung der zwischen einem Paar Frames an einer bestimmten Stelle gegebenen Differenz lediglich jeweils ein Vergleich dieser Stelle mit einem im Akkumulatorfeld an der Stelle vorhandenen Eintrag erforderlich ist: einmal wird im beschriebenen bevorzugten Beispiel auf Gleichheit mit Null geprüft, im anderen Fall wird der größere Wert durch Vergleich bestimmt.
Es ist möglich und vorteilhaft, wenn bei einem erfindungsgemäßen V erfahren eine Bewe- gungsrichtung bestimmt wird, insbesondere durch Ermittlung im Akkumulatorfeld vorhandener Gradienten. Per se zeigt ein Gradient im Bewegungsfeld an, dass die akkumulierten Differenzen einem bestimmten Muster folgen, was gegen eine zufällige Variation spricht. Es kann die Gradientenbildung z.B. so erfolgen, dass eine Richtung stärkster Änderung ermittelt wird; alternativ können, was einfacher ist, bei einem erfindungsgemäßen Verfah- ren die Gradienten für jedes Akkumulatorfeld in zwei Richtungen, insbesondere entlang von Reihen des Akkumulatorfeldes und entlang von Spalten des Akkumulatorfeldes bestimmt werden. Eine Bewegung kann z.B. dann angenommen werden, wenn für einen größeren Bereich von Ausgangspixeln ein Gradient für jedes der Pixel in eine bestimmte Richtung vorliegt. Dies wird nämlich dann der Fall sein, wenn sich die Position eines größeren Objektes ge- ändert hat. Die Größe des Bereiches, ab welcher eine Systemantwort wie ein Alarm ausgelöst wird, wenn in diesem Bereich durchgängig oder überwiegend ein Gradient in eine bestimmte Richtung vorliegt, kann dabei, wie vorstehend erwähnt, abhängen von der Größe des beobachteten Bereiches, für welchen eine zu beobachtende Objektbewegung typisch erwartet wird.
Es ist demnach vorteilhaft, wenn bei einem erfindungsgemäßen Verfahren aus den Gradienten auf Aktivität geschlossen wird, wenn der Gradientenwert eine bestimmte Größe überschreitet und/oder wenn die Gradienten werte in einem hinreichend großen, insbesondere zusammenhängenden Bereich eine bestimmte Größe überschreiten.
Während per se das Vorhandensein eines Gradienten bzw. eines hinreichend großen Bereiches mit vergleichbaren Gradientenwerten im Akkumulatorfeld für eine Bewegung im Bild spricht, kann aus dem Gradienten selbst sogar auf die Bewegung selbst geschlossen werden. Ausgewertet werden kann u.a. die Größe des Bereiches und/oder die Größe des Gra- dienten selbst sowie die Richtung von Gradienten. So kann bei den als besonders bevorzugt beschriebenen Akkumulatorstrategien auch eine zumindest grobe Bewegungsrichtung ermittelt werden.
Es sei erwähnt, das unterschiedliche Akkumulatorstrategien für ein und dieselbe Bewe- gung zu unterschiedlichen Gradientenmustern fuhren; werden Gradientenmuster zur Bestimmung der Bewegung bzw. Bewegungsrichtung ausgewertet, ist es also sinnvoll, dabei die Akkumulatorstrategie mitzuberücksichtigen.
Wie vorstehend erwähnt, ist es möglich und aufgrund des geringen Aufwandes auch be- sonders vorteilhaft, wenn bei einem erfindungsgemäßen Verfahren Framedifferenzen anhand der Grauwerte bestimmt werden. Es werden also typisch zu einem gegebenen Frame die Grauwerte für jede Stelle des betrachteten Bildes herangezogen. Dies kann bei datenre- duzierten Verfahren, bei welchen die Bilder nicht in voller Auflösung zur Aktivitätsanalyse herangezogen werden, sondern Bilder und/oder Bildbereiche mit reduzierte Auflösung betrachtet werden, vorteilhaft dadurch geschehen, dass über die Pixel in einem Block gemit- telt wird. Wenn die so auflösungsreduziert erhaltenen Grauwertbilder in einem Pufferspei- eher abgelegt werden, kann die für jede Sequenz erforderliche Datenverarbeitung minimal gehalten werden.
Es ist, wie erwähnt, vorteilhaft, wenn bei einem erfindungsgemäßen Verfahren vor der Differenzenbildung aus mehreren Pixeln Blöcke gebildet werden und die Differenzen dieser Blöcke bestimmt werden, so dass die Akkumulatorfelder eine geringere Auflösung als der Videostrom besitzt. Als ausreichend auch für Graustufen hat sich etwa eine Reduzierung auf 320*240 Blöcke erwiesen. Dies ist nicht limitierend als für die zur Aktivitätenkennung erforderliche Auflösung. So wurde etwa schon mit 256* 192 Blöcken eine gute Aktivitäts- kennung veranlasst. Vorteilhaft ist regelmässig, wenn die von einer Kamera zur Verfügung gestellte Auflösung einfach auf die zur Differenzakkumulation verwendete
heruntergerechnet werden kann. Dies wird typisch der Fall sein, wenn mit schnellen Algorithmen skaliert werden kann, also z.B. ein Herunterrechnen mit geraden Zahlen möglich ist. Es sei auch erwähnt, dass typisch vor der Differenzbildung heruntcrskaliert wird, dass dies aber nicht zwingend ist. Vielmehr könnte auch eine Differenzbildung in einem hoch- auflösenden Bild erfolgen und dann ein Herunterskalieren des Differenzbildes. Erwähnt sei zudem, dass in vielen Fällen vorteilhaft Differenzen zur maximalen Auflösung betrachtet und akkumuliert werden, etwa bei großflächigen Überwachungsaufgaben mit weit auseinander gezogenen Kameraeinheiten. Es sei im Übrigen erwähnt, dass häufig Datenrcdukti onen in digitalen Videokameras ohnehin vorgenommen werden, etwa um mit einer hochauflösenden Kamera einen räumlich niedrig aufgelösten und damit mit geringer Datenlast in einem Netzwerk übertragbaren Videostrom bereitstellen zu können. Schutz wird auch beansprucht für Vorrichtung zur Ausführung des erfindungsgemäße Verfahrens mit einer Differenzbildungsstufe zur Bildung von Framedifferenzen charakterisierenden Daten, mindestens einem Akkumulatorfeld zur Speicherung von Framedifferenzen charakterisierenden Daten, einem Gradientenbildungsmittel zur Bildung von Gradienten im Akkumulatorfeld und einem Gradientenbewertungsmittel zur Entscheidung, ob ein gebildeter Gradient auf eine Aktivität deutet.
Bei einer solchen Vorrichtung kann es sich beispielsweise handeln um eine Digitalkamera mit einer geeigneten Soft- oder Firmware zur Durchführung des Datenverarbeitungsverfahrens. Dass derartige Kameras über LAN/WLAN/WAN/GSM/UMTS oder dergl. unter Verwendung von herkömmlichen Protokollen wie TCP/IP o.ä. Daten übertragen können, sei erwähnt.
Dass Schutz weiter fiir Software beansprucht wird, mit der das erfindungsgemäße Verfahren implementiert werden kann, sei ebenfalls erwähnt.
Die Erfindung wird im Folgenden nur beispielhaft anhand der Zeichnung beschrieben. In dieser ist dargestellt durch:
Fig. la Testframe aus einer Framesequenz, bei der sich eine Person von der
Kamera entfernt;
Fig. lb Differenzbild zu der Framesequenz;
Fig. l c nach Strategie 1 akkumulierte Differenzbilder ("Vorwärts");
Fig. Id nach Strategie 2 akkumulierte Differenzbilder
("Rückwärts");
Fig. le Ausschnitte der Differenzenbilder
Vorwärts /Rückwärts;
Fig. l f Konturbilder zu Fig. 1 a und b mit
Grauwertlinien;
Fig. lg Konturbilder zu Fig. le mit Grauwertlinien;
Fig. 2a Testframe aus einer Framesequenz, bei der eine Person die Szene von rechts betritt, sich nach links bewegt und dann entlang der Autos von der Kamera weg bewegt (in dieser Phase gezeigt);
Fig. 2b Differenzbild aus der Framesequenz von Fig. 2a
Fig. 2c nach Strategie 1 akkumulierte Differenzbilder
("Vorwärts"); Fig. 2d nach Strategie 2 akkumulierte Differenzbilder ("Rückwärts");
Fig. 2e Konturbilder zu Fig. 2c und 2d;
Fig. 3 a Bewegung einer Person quer zur Kamera
links Beispielframe aus der Testsequenz
rechts Differenzbild zu vorhergehendem
Frame;
Fig. 3b nach unterschiedlichen Strategien akkumulierte Differenzen;
Fig. 3c Konturbilder zu Fig. 3a und 3b, nämlich
oben zu Fig. 3a
unten zu Fig. 3b;
Fig. 4a Bewegung eines Autos auf Kamera zu
links Beispielframe aus der Testsequenz
rechts Differenzbild zu vorhergehendem
Frame;
Fig. 4b nach unterschiedlichen Strategien akkumulierte Differenzen;
Fig. 4c Konturbilder zu Fig. 4a und 4b, nämlich
oben zu Fig. 4a
unten zu Fig. 4b;
Vergrößerung der nach unterschiedlichen Strategien akkumulierten Differenzbilder von Fig. 4b in der zur besseren Druckbarkeit der Schutzrechtsschrift gewählten Konturdarstellung mit für eine Strategie auffälligeren und damit besser detektierbaren Gradientenlinien innerhalb des Bewegungsbereiches;
Fig. 6 Vergrößerung der mit unterschiedlichen Strategien akkumulierten
Differenzbilder von Fig. lg in der zur besseren Druckbarkeit der Schutzrechtsschrift gewählten Konturdarstellung mit für eine Strategie auffälligeren und damit besser detektierbaren Gradientenlinien innerhalb des Bewegungsbereiches; Fig. 7 Histogramme zu unterschiedlichen Bewegungen,
wobei aufgetragen ist
die Häufigkeit eines Pixel-Abstandes
zwischen
zwei
unterschiedlich alten Einträgen
im Akkumulatorfeld,
und zwar
oben
für ein Auto, das etwa entlang jener Strecke fährt, entlang derer in Fig. 3 ein Fussgänger gelaufen ist
und
unten für eine vergleichsweise langsame Bewegung eines
Fussgängers quer an der Kamera vorbei (vgl, die Situation von Fig. 3)
sowie
die Fig. l a',l b', lc'Jd'Je'^a'^b'^c'^d'^a'^b'^a' b' in nur zwecks besserer
Möglichjkeit einer Vervielfältigung in gerasterter Form dargestellt, das, was jeweils auf den Fig. 1 a, 1 b,
1 c, 1 d, 1 e,2a,2b,2c,2d,3 a,3b,4a,4b gezeigt ist, wobei die linke/rechte Seite der Bilder von Fig. 3a,4a in den Fig.
3a' ,4a' oben bzw. unten abgebildet sind.
Gemäß der Erfindung wird eine Vorrichtung zur Ausführung eines Verfahrens, bei welchem für Framesequenzen in Feldern Daten zu Framedifferenzen akkumuliert werden, Gradienten in den Akkumulatorfeldem bestimmt werden und aus den Gradienten auf Aktivität geschlossen wird, versehen mit einer Differenzbildungsstufe zur Bildung von Framedifferenzen charakterisierenden Daten, mindestens einem Akkumulatorfeld zur Speicherung von Framedifferenzen charakteri si erenden Daten, einem Gradientenbildungsmittel zur Bildung von Gradienten im Akkumulatorfeld und einem Gradientenbewertungsmittel zur Entscheidung, ob ein gebildeter Gradient auf eine Aktivität deutet. Bei dieser Vorrichtung kann es sich um eine per se herkömmliche digitale Videokamera handeln, d.h. eine Videokamera, die einen Videostrom als digitalen Datenstrom abgibt und eine digitale Bearbeitung der Videodaten erlaubt. Insbesondere wird diese Kamera eine Reihe einzelner digitaler Bilder so schnell aufnehmen, dass für den menschlichen Beobachter, der die Bildreihe während eines Zeitintervalls betrachtet, das genauso lang ist wie das Aufnahrnedauerintervall, der Hindruck entsteht, es läge eine flüssige oder nahezu flüssige Bewegung vor anstelle einzelner Bilder. Dies lässt sich mit Frameraten um ab 24 Frames/sec erreichen. Es sei aber erwähnt, dass die vorliegende Erfindung auch mit ande- ren Frameraten verwendbar ist, etwa, wenn die gegebene Framerate per se kleiner ist. Dies kann schon bei Beobachtung bei geringem Licht, etwa nachts der Fall sein; hier kann eine benötigte Belichtungszeit im Bereich um z.B. eine Sekunde je Frame erforderlich sein. Es sei erwähnt, dass gegebenenfalls ein und dieselbe Kamera an ein und demselben Ort unter Auswertung unterschiedlicher Framerates betrieben werden kann.
Weiter sei erwähnt, dass die Erfindung etwa auch dann vorteilhaft mit geringeren Frameraten arbeiten kann, wenn etwa sehr weit entfernte Bereiche überwacht werden, bei welchen sich - bei gleicher Aullösung - bewegte Objekte aufgrund des kleineren Darstellungsmaßtabes nur allmählicher über einen Bildbereich bewegen als dies bei nahen Objekten der Fall ist. Auch wäre möglich, eine auch deutlich niedrigere Framerate zu wählen, wenn etwa sehr langsame Prozesse beobachtet werden sollen.
Die herkömmliche digitale Videokamera der vorliegenden Erfindung wird eine interne Datenverarbeitungseinheit aufweisen, in welcher Bilddaten verarbeitet und gespeichert wer- den können; es werden vorhanden sein zumindest ein Prozessor, Daten- und Programmspeicher sowie mindestens eine Schnittstelle, über welche die Kamera mit einer Zentrale, einem Wachdienst, einer Datenbank, einem Hostrechner oder dergl, kommunizieren kann. Dies kann unter Verwendung per se geeigneter, bekannter oder noch aufkommender Kommunikations-Protokolle geschehen, ohne dass die Erfindung davon beeinträchtigt wird. Eine solche Datenverarbeitungseinheit wird mit Software oder Firmware programmierbar sein, um unterschiedliche Datenverarbeitungsaufgaben zu bewältigen; die Leistungsfähigkeit derselben wird so gewählt werden, dass die hier beschriebenen Verfahrensschritte ohne weiteres in Echtzeit abarbeitbar sind; da, wie für den Fachmann ersichtlich, die für die erfindungsgemäß erforderlichen und oder bevorzugten Verfahrensschritte benötigte Datenverarbeitungsleistung nur gering ist, stellt dies keine besonderen Anforderungen an die Rechenkapazität.
Auch wird ersichtlich sein, dass die erfindungsgemäß erforderlichen oder vorteilhaften Da- ten- und/oder Ringspeicher für Frames einer Sequenz, für auf Blöcke reduzierte Frames, für die Akkumulatorfelder für unterschiedliche Strategien, für die Grau- und/oder Farbwertbilder bzw. -blöcke zu Frames einer Sequenz usw. keinen erheblichen Hardwareaufwand nach sich ziehen, sondern dass vielmehr in bereits existierenden Kameras typisch bereits so große Speicher zur Verfügung stehen, dass oftmals die Erfindung auf solchen Ka- meras ohne weiteres ausgeführt werden kann. Dass im Übrigen das Verfahren nicht zwingend auf einer Kamera aufgeführt werden muss, sondern auch in einer Zentrale oder der gl. ausgeführt werden kann, gegebenenfalls auch auf gespeicherten Daten, sei erwähnt.
Aus dem vorstehenden wird auch ersichtlich sein, dass obwohl auf Akkumulatorfelder, Differenzbildungsstufen, Gradientenbewertungsmittel usw. Bezug genommen wird, es für die Implementierung dieser Elemente und Mittel ausreicht, eine herkömmliche Datenverarbeitungsstruktur, wie sie in digitalen Kameras gebräuchlich ist, zu verwenden. Insoweit also Schutz auch für eine Vorrichtung zur Ausführung des erfindungsgemäße Verfahrens beansprucht wird mit z.B. einer Differenzbildungsstufe zur Bildung von Framedifferenzen charakterisierenden Daten, mindestens einem Akkumulatorfeld zur Speicherung von Framedifferenzen charakterisierenden Daten, einem Gradientenbildungsmittel zur Bildung von Gradienten im Akkumulatorfeld und einem Gradientenbewertungsmittel zur Entscheidung, ob ein gebildeter Gradient auf eine Aktivität deutet, versteht sich, dass diese Vorrichtung als per se herkömmliche Videokamera gebildet sein kann, die aber durch geeigne- te Soft- oder Firmware zur Durchführung des Datenverarbeitungsverfahrens spezifisch umgestaltet ist, so dass mit der Datenverarbeitungseinheit die entsprechenden Elemente realisiert werden. Dass derartige Kameras über LAN/WLAN/WAN/GSM JMTS/Bluetooth/USB oder dergl. unter Verwendung von herkömmlichen Protokollen wie TCP/IP o.ä. Daten übertragen können, sei erwähnt; insoweit wird ein Austausch von zusätzlichen Signalen wie von Kas- sen im Einzelhandel, von Datenbanken, Rauchmeldern usw. über solche Protokolle erfolgen können.
Dies vorausgestellt, werden nun mit der Kamera erfasste Daten bearbeitet wie nachfolgend unter Bezugnahme auf die Figuren beispielhaft beschrieben.
Das Verfahren sei zunächst mit Bezug auf Fig. 1 erläutert.
In Fig. 1 a ist zunächst in Schwarz- Weiss, d.h. in Grauwertstufen, ein Testframe aus einer Framesequenz gezeigt, in weicher sich eine neben der rechten Reihe parkender Autos be- wegende Person von der Videokamera entfernt. Solche eine Szene ist typisch für eine Anwendung der Erfindung. Es sei darauf hingewiesen, dass die Videokameraaufnahme farbig erfolgen kann, d.h. Farbframedaten vorliegen können. In einem solchen Fall ist es bevorzugt, für eine einfache Implementierung nur die Grauwerte zu betrachten, so dass dann von einem Bild wie in Fig. 1 ausgegangen werden kann.
Die Bewegung der Person innerhalb des Bildbereiches führt nun zu Unterschieden zwischen den Frames der Sequenz. Dies ist in Fig. 1b dargestellt. Hell sind dort jene Bereiche eingezeichnet, in denen sich das Bild stark geändert hat; dargestellt sind hier die Differenzen zu einem vorhergehenden Frame, d.h.:
Es wird erst eine Differenz des Framepaares (i,i-l ) bestimmt.
Es wird dann die Differenz des Framepaares (i-l ,i-2) bestimmt.
Es wird dann die Differenz des Framepaares (i-2,i-3)
bestimmt usw. Was Fig. 1 b angeht, ist erkennbar, dass im oberen Bilddrittel, etwa mittig, ein heller Fleck vorliegt, der zu der sich bewegenden Person und deren Schatten gehört. Daneben ist vorne links im Bild ein heller Bereich zu erkennen, der zu dem Schatten des Baumes im Vorder- grund gehört. Im Hintergrund sind überdies helle Flächen zu erkennen, die mit weiteren Bäumen und/oder den Umrissen parkender Autos zu assoziieren sind.
Da antizipiert wird, dass reine He]l-/Dunkcl-Darstellungen sowie Fotografien bei der Wie- dergabe der Schutzrechtsschrift allenfalls schwer erkennbar sind, wird zu den Fig. 1 a und 1b zusätzlich eine Hilfsdarstellung gegeben, in der wichtige Konturen erkennbar sind, d.h. im wesentlichen nur Kanten zwischen helleren und dunkleren Bereichen bestimmt wurden. Es sei betont, dass eine solche Kantendetcktion und Darstellung von Kanten im Bild nicht für das Verfahren der Erfindung erforderlich ist, sondern nur zu dessen besserer Veran- schaulichung bei der Schutzrechtsanmeldung, also extra für diese Beschreibung vorgenommen wurde, um den erwarteten Unzulänglichkeiten der Veröffentlichung entgegenzuwirken. Dies gilt auch für alle weiteren Konturdarstellungen.
Dass auch bei schneller Framerate Schatten von Bäumen im Differenzbild erkennbar wer- den, kann ungeachtet der eigentlich langsamen Sonnenbewegung gerade bei Aufnahmen im Freien durch Windcinfluss oder dadurch der Fall sein, dass sich die Bewölkung am Himmel verändert und damit die Beleuchtungsverhältnisse. Die dadurch verursachten Effekte im Bild sollen von der Bildänderung durch die sich bewegende Person unterschieden werden.
Dazu werden nun die Differenzbilder akkumuliert. Bei der Akkumulation wird pixel weise für jedes Differenzbild geprüft, ob an der Stelle dieses Pixels im Akkumulatorfeld aufgrund des aktuellen Differenzwertes an der Pixelstelle des Differenzbildes eine Eintragung vorgenommen werden soll oder nicht.
Diese Prüfung kann unterschiedlichen Strategien folgen. Im vorliegenden Fall wird mit zwei Strategien simultan gearbeitet.
Für beide Strategien sei angenommen, dass zu Beginn einer jeden Sequenz das jeweilige Akkumulatorfeld auf Null gesetzt wird, d.h. jedes Pixel im Akkumulatorfeld hat den anfänglichen Wert Null. Dass diese Annahme rein didaktische Gründe hat, um die Erfindung besser erklären zu können, sei im Vorgriff auf weiter unten stehende Ausführungen erwähnt.
Für die erste Strategie wird in dieses Akkumulatorfeld an einem Pixel immer dann ein Wert eingeschrieben, wenn das aktuell betrachtete Differenzbild an dieser Stelle deutlich von Null verschieden ist (also die Differenz eine bestimmte Schwelle überschreitet - in Fig. 1b wäre sie demnach HELL). Dabei wird nach der ersten Strategie nicht geprüft, ob an dieser Stelle im Akkumulatorfeld aus einem vorherigen Differenzbild bereits ein Eintrag vorliegt. Es werden also evtl. alte Differenzen überschrieben.
Um im Akkumulatorfeld bei dieser Strategie neue und alte Einträge unterscheiden zu können, wird für jeden Eintrag numerisch codiert, zu welchem Differenzenbild er gehört. So kann der Differenz der Framepaare (i,i-l) der in das Akkumulatorfeld der Wert 1 eingetragen werden, für das Einschreiben einer Differenz des Framepaares (i-l ,i-2) der Wert 2, für eine Differenz des Framepaares (i-2,i-3) der Wert 3 usw. Auf diese Weise steht im Akkumulatorfeld ein Wert, aus dem sich erkennen lässt, wie alt ein bestimmter Eintrag ist.
Mit einem weiteren Akkumulatorfeld wird eine andere Strategie verfolgt. Wie aus den verschiedenen Beispielen ersichtlich sein wird, ist die simultane Verwendung mehrerer unter- schiedlicher Strategien von Vorteil bei vorab nicht bekannten Bewegungsmustern.
Auch die hier vorgeschlagene zweite Strategie sieht wiederum vor, dass an einem Pixel allenfalls dann ein Wert in das Akkumulatorfeld eingeschrieben werden darf, wenn das aktuell betrachtete Differenzbild an dieser Stelle deutlich von Null verschieden ist (also die Differenz eine bestimmte Schwelle überschreitet - in Fig. 1b wäre sie demnach HELL).
Zusätzlich wird aber nun gemäß der zweiten Strategie geprüft, ob an dieser Stelle bereits ein Eintrag im Akkumulatorfeld vorhanden ist. Nur dann, wenn der Wert im Akkumulatorfeld an der betrachteten Stelle noch Null ist, darf nach der zweiten Strategie ein Eintrag erfolgen. Eingetragen wird dabei wiederum ein Wert, der das Alter des Differenzpaares co- diert. Wiederum kann also für die Differenz der Framepaare (i,i-l) in das Akkumulatorfeld der Wert 1 eingetragen werden, für das Einschreiben einer Differenz des Framepaares (i- l ,i-2) der Wert 2 usw. Auf diese Weise steht auch im Akkumulatorfeld der zweiten Strategie ein Wert, aus dem sich erkennen lässt, wie alt ein bestimmter Eintrag ist.
Anders als bei der ersten Strategie werden alte Einträge aber nicht überschrieben. Dies führt zu einem unterschi edl ichen Akkumulationsmuster.
Eine gleichförmige Bewegung in eine Richtung hat nun zur Folge, dass sich von Bild zu Bild eine große Differenz an zwar jeweils unterschiedlicher, aber gleichwohl benachbarter Stelle ergibt; diese Differenz tritt zu unterschiedlichen Zeiten auf - dank des Eintrags der auf das Alter der Differenz bezogenen Werte in das Akkumulatorfeld kann dann durch
Bildung des Gradienten bestimmt werden, ob eine Bewegung über mehrere Frames hinweg erfolgte. Falls dies der Fall ist, wird in einem vergleichsweise großen Bereich - dessen Größe von der Objektgröße abhängt und der B e wegun gsdi stanz sowie der Objektentfernung - der Gradient im Akkumulatorfeld von Null verschieden sein.
Für die beiden Akkumulatorfelder ergeben sich dabei unterschiedliche Muster, wie in den Fig. I d und l e erkennbar. Wie ersichtlich sein wird, sind jeweils unterschiedliche Muster für das Erkennen unterschiedlicher Bewegungen von Vorteil. Im vorliegenden Fall sind nach Akkumulation in den Fig. 1 c und ld mehrere Flächen zu sehen, in denen über einen größeren Bereich erhebliche Differenzen aufgetreten sind. Wiederum sind diese, wie im beispielhaft diskutieren einzelnen Differenzbild, den Bäumen im Hintergrund, dem Schattenbereich des Vordergrundbaume s und den Konturen der parkenden Autos sowie der sich bewegenden Person zuzuordnen.
Allerdings besteht in den Akkumulatorbildern ein erheblicher Unterschied zwischen den Flächen, die mit der sich bewegenden Person assoziiert sind und den anderen Flächen um Bäume, Baumschatten und parkende Autos, und zwar dahingehend, dass nur bei der zur sich bewegenden Person gehörenden Fläche ein systematischer Gradient erkennbar ist, während die anderen nichtschwarzen Flächen, in denen also innerhalb der Sequenz ebenfalls Differenzen beobachtet wurden, kein systematisches Verhalten erkennen lassen. Um das Vorhandensein dieses bewegungsbezogenen und bewegungsindikativen Gradienten besser zu belegen, zeigt Fig. le Ausschnitte der Akkumulatorbilder im Bereich der Personenbewegung. Fig. lg zeigt dazu Konturbilder, wobei auch die unterschiedlich grauen Bereiche in Fig. lg durch Konturlinien getrennt sind - es sei aber noch einmal betont, dass diese Konturbilder nur der Veranschaulichung und Erläuterung dienen.
Es ist zu erkennen, dass in einem der beiden Akkumulatorbilder die Gradientenlinien klarer ausgebildet sind. Dieses Bild ist besser für die Bewegungsdetektion einer Bewegung von der Kamera weg geeignet.
Es sei im Übrigen erwähnt, dass es für Zwecke der Initialisierung. Inbetriebnahme, Definition interessierender Bereiche usw. sinnvoll sein kann, als Werte in die Akkumulatorfelder Farben einzutragen, dergestalt etwa, dass ältere Einträge blau, mittelalte grün, jüngere gelb und ganz junge orange bzw. noch jüngere rot dargestellt werden. Dann lassen sich für ei- nen Benutzer Bewegungen anhand des Farbmusters gut erkennen, was hilfreich für die Systemeinrichtung ist, die über eine graphische Benutzerschnittstelle oder dergl. erfolgen kann. Dabei können z.B. per se uninteressante Bildbereiche definiert werden und/oder für die erwarteten oder kritischen Bewegungen besonders geeignete Strategien aus einer Vielzahl möglicher Akkumulator bzw. Di fferenzbi ldungsstrategi en ausgewählt werden.
Die vorstehend beschriebenen beiden Strategien der Akkumulation sind nicht die einzigen möglichen Strategien. Sie sind aber einfach zu implementieren und gut geeignet, eine Vielzahl von Bewegungen zu erkennen. Dies sei erläutert wie folgt. In Fig. 2 ist eine Person gezeigt, die die Szene von rechts betritt, sich nach links bewegt und dann entlang der Autos von der Kamera weg bewegt. Anhand der wie zuvor bestimmten Differenzbilder und der damit wie nach den zuvor beschriebenen Strategien erhaltenen Akkumulatorbildern lässt sich durch Gradientenbildung in den akkumulierten Bewegungsbildern wieder eine Bewegung als solche erkennen und sogar aus der Form des Gradienten grob auf die Bewegungsrichtung schließen. Damit ist das Verfahren der Erfindung stabil gegen Richtungsänderung der Bewegung, d.h. auch dann anwendbar, wenn sich die Rich- tung der Bewegung während der Sequenz ändert. Fig. 2e zeigt zudem, dass für eine Bewegung quer zur Kamera beide Strategien etwa gleich gute Ergebnisse liefern.
Dies zeigt auch Fig. 3, in welcher eine Person sich quer zur Kamera bewegt, und zwar ver- gleichs weise nahe der Kamera, Auffällig ist, dass angesichts der schnellen Änderung zumindest im Personen-Körperbereich kein durchgängiger Bereich mehr vorhanden ist, wohl aber im Körperschattenbereich. Es sei erwähnt, dass sich eine Bewegung durch Bestimmung des Gradienten über größere Bereiche anstelle von engräumigen
Gradientenbildungen gleichwohl sehr sicher erkennen lässt. Dies kann etwa dadurch ge- schehen, dass Bereiche, in denen der akkumulierte Differenzwert Null ist, bei der Bestimmung des Gradienten ignoriert werden. In Bereichen, in denen der akkumulierter Differenzwert Null ist, hat nämlich keine Änderung stattgefunden. Bei sehr schnellen Bewegungen ist dies dann der Fall, wenn das Obj ekt, sich zwischen zwei aufeinanderfolgenden Frames um mehr als eine Objektlänge weiterbewegt hat.
Es sei erwähnt, dass gegebenenfalls nicht zwingend bei der Gradientenbildung gefordert werden muss, dass an einem Pixel exakt der Wert Null steht, damit dieser Wert ignoriert wird. Vielmehr ist es auch möglich, Einträge im Akkumulatorfeld zu ignorieren, wenn sie zu einer deutlich älteren Bewegung gehören als jene, die aktuell betrachtet wird.
Das Vorhandensein von Lücken im Akkumulatorfeld bzw. das Vorhandensein nur recht alter Einträge zwischen jüngeren Einträgen deutet somit auf sehr schnelle Bewegungen hin. Dies kann wiederum ausgenutzt werden, um ein zumindest grobes Maß für eine Bewegungsgeschwindigkeit zu erhalten. Dazu kann z.B. die Lückenweite von Null-Einträgen im Akkumulatorfeld bestimmt werden und daraus ein Maß für die Bewegungsgeschwindigkeit bestimmt werden, und zwar gegebenenfalls normiert auf die Entfernung zur Kamera etc. Eine noch bessere Möglichkeit der Geschwindigkeitsmessung wird unten diskutiert.
Fig. 4 zeigt, dass auch bei schnellerer Bewegung, hier der eines fahrenden Autos, durch Differenzbildbestimmung, nachfolgende Differenzbildakkumulation und
Gradientenbildung im Akkumulatorfeld bzw. -bild eine sichere Erkennung einer Bewegung möglich ist. Die deutliche Ausprägung der Gradientenlinien kann dabei aus der offenbarungshalber beigefügten Ansieht von Fig. 5 für eine der beiden
Akkumulatorstrategien erkannt werden.
Während vorstehend der erfindungsgemäße Aktivitätssensor, d.h. die erfindungsgemäße Aktivitätserkennung überwiegend mit Bezugnahme auf Bewegungen beschrieben wurde, ist dies nicht zwingend. So kann auch etwa ein Sensoransprechen, d.h. eine Systemantwort nur dann veranlasst werden, wenn gleichzeitig eine bestimmte Veränderung im Bild erfasst wird, etwa ein Laufen in Gegenrichtung zu einer Sollrichtung, eine Bewegung mehrerer Objekte aufeinander zu, oder wenn simultan ein weiteres Signal, auch aus einem anderen Sensor erhalten wird. In einem solchen Fall wird also nicht einfach jede Bewegung als Systemantwort induzierende Aktivität identifiziert.
Dass im Übrigen als Systemantwort nicht nur eine Alarmauslösung erfolgen muss, sei erwähnt. So kann eine Systemantwort bei geeigneten Systemen auch in der Einschaltung von (elektrischen) Verbrauchen wie Licht oder Steuerungen von Heizungen bestehen, es können Datenbankabfragen veranlasst werden, etwa nach Erkennung eines sich auf einen Schalter in einer Schalterhalle zu bewegenden Objektes als Kunden, um den Kunden zu erkennen usw. Hier ist z.B. vorteilhaft, dass eine biometrische Auswertung von Bilddaten nur für jene Bereiche erfolgen muss, die sich verändert haben, wo also Bewegung statt- fand. Dies verringert den Rechenaufwand. Auch könnte etwa in Parkhäusern folgend einer Bewegungserkennung ein Nummernschild ein- und ausfahrender Autos identifziert werden und auf die erkannte Nummer bezogene Signale könnten ausgegeben werden. Allgemein lässt sich also mit der Erfindung eine Transaktion überprüfen und/oder leichter durchführen, vor allem, wenn die Erfindung unter Heranziehung von auf mögliche Bildinhalte be- zogene Datenbanken eingesetzt wird.
Vorstehend wurde aus didaktischen Gründen angegeben, dass für jede Sequenz ein eigenes Akkumulatorfeld verwendet würde. Dies ist nicht notwendig. Vielmehr reicht es oftmals, für alle Sequenzen ein und dasselbe Akkumulatorfeld für ein und dieselbe Strategie zu verwenden. Dies ist sogar bevorzugt. Dabei kann z.B. das Akkumulatorfeld anfänglich initialisiert, z.B. auf Null gesetzt werden; wenn dann Daten in das Akkumulatorfeld eingeschrieben werden, können hohe Werte am jeweils zu beschreibenden Pixel eingetragen werden. Vor Betrachtung der Differenz für einen neuen Frame werden dann alle positiven Werte im Akkumulatorfeld um 1 reduziert; die Daten im Akkumulatorfeld werden also gealtert, so dass sich nach einer bestimmten Zahl neu betrachteter Frames an einer Pixelstelle, an welcher lange keine Änderungen aufgetreten sind, wieder der Wert Null befindet; damit sind per se für zwei Akkumulatorstrategien zwei Akkumulatorfelder ausreichend.
In einem solchen Fall deuten im Akkumulatorfeld Werte von "40" z.B. auf gerade erst aufgetretene Bilddifferenzen, Werte von "39" darauf, dass im vorherigen Frame zum vorvorherigen Frame eine Differenz an diesem Pixel vorlag usw. Auf diese Weise codieren also die Werte im Akkumulatorfeld das Alter des Eintrags bzw. die Zeit, die seit einer bestimmten Bildänderung an diesem Pixel vergangen ist.
Wenn dann die Gradienten gebildet werden, können Bereiche, die offensichtlich älteren Bewegungen zugeordnet werden müssen, für die Gradientenbildung ignoriert werden. Dies erleichtert auch die Auswertung in Fällen, wo bereichsweise oder zeitweise mit der Bewegung vieler Objekte gerechnet werden muss, etwa an Bahnsteigen usw.
Es ist zudem, wie erwähnt, möglich, die Geschwindigkeit aus den "Lücken" der akkumulierten Differenzen abzuschätzen. Vorteilhaft wird aber nicht das Akkumulatorfeld selbst betrachtet, sondern die Häufigkeit, mit der bestimmte Werte im Akkumulatorfeld voneinander einen bestimmten Abstand aufweisen. Es werden dazu bevorzugt entsprechende Akkumulatorfeld-Histogramme betrachtet, die solche Abstände unterschiedlicher Werte Im Akkumulatorfeld erfassen. Eine weit bessere Möglichkeit, als sich bei der Geschwindigkeitsbestimmung nur auf die
Lückenweite von Null-Einträgen zu verlassen, besteht darin, in das Akkumulatorfeld das Alter einzutragen, das ein Eintrag besitzt (also zu vermerken, wann an einem bestimmten Bildpixel eine Differenz zum Vorgängerbild aufgetreten ist) und dann die (Pixel-)Abstände unterschiedlich alter Einträge im Akkumulatorfeld zu untersuchen, bevorzugt mit statisti- sehen Methoden. Liegen viele Pixel Abstand zwischen Stellen, an denen sich das Alter eines Eintrags ändert, hat sich das Objekt in der Zeit zwischen den betrachteten Frames um einen großen Abstand bewegt. Es ist also schnell; dass hier z.B. die Abstände relevanter Bildbereiche zur Kamera usw. mitberücksichtigt werden können, um zu präziseren Aussagen zu gelangen, sei er- wähnt. Es kann eine Kalibrierung erfolgen, falls gewünscht, bzw. auf andere Art und Weise die Dreidimensionalität einer Szene berücksichtigt werden. Dies ist vor allem bei unbeweglich montierten Kameras, vor Ort vereinfacht möglich. Zudem kann eine parallele Analyse mit unterschiedlichen Bildraten und/oder Auflösungen und/oder
Farb/Grauwertkanälen erfolgen, um Artefakteinflüsse zu verringern.
Die Untersuchung der Pixel- Abstände unterschiedlich alter Einträge kann auf verschiedene Weisen geschehen. Besonders sinnvoll sind statistische Betrachtunge wie die Bestimmung der häufigsten Abstände unterschiedlich alter Einträge. Es kann dafür z.B. mit Histogrammen (Bestimmung der Häufigkeit von Werten) gearbeitet werden, die ein Akkumu- latorfeld Reihe für Reihe oder Spalte für Spalte bewerten. Dies kann mit unterschiedlichen Strategien geschehen.
Es können erste Histogramme für Reihen und zweite Histogramme für Spalten separat aufgestellt werden. Es können bei Bestimmung von I Iistogrammen in zwei Richtungen wie Spalten und Reihen Gesamtgeschwindigkeiten, z.B. entsprechend einer Vektoraddition, bestimmt werden. Es kann eine Histogrammbestimmung bildbereichsweise erfolgen, um Perspektiveneinflüsse für die Umrechnung von Pixelabständen in Entfernungen bzw. Pixelabstände pro Frameabstand in Geschwindi gkeiten zu berücksichtigen. Bereichsweise bestimmte Werte können nach perspektivischer Normierung gemeinsam ausgewertet wer- den. Es ist weiter möglich, Bilder nach grober Abschätzung einer I Iauptbewegungsrich- tung zu drehen und Histogramme aufzustellen, mit denen die Abstände entlang solcher Hauptbewegungsrichtungen erfasst werden.
Es ist möglich, im Histogramm nur zu erfassen, wie weit ein Pixel, das für den aktuellen Frame (z.B. Frame 40) das Auftreten einer Differenz zu dessen Vorgängerframe erfasst, von einem Pixel entfernt liegt, mit dem im Frame davor (also Frame 39) eine Differenz zu dessen Vorgänger (Frame 38) erfasst wurde. Es wird damit untersucht, wie weit sich Stelle - len, an denen sich im Bild Änderungen ergeben haben, zwischen zwei Frames voneinander entfernt haben. Werden im Histogramm wie beschrieben nur die Abstände zwischen dem aktuellen und dem unmittelbar vorhergehenden Frame (40->39) betrachtet, erhält man eine aktuelle, augenblickliche Geschwindigkeit. Es sei erwähnt, das solche Abstände in Rich- tung einer Spalte und/oder einer Reihe des Akkumulatorfeldes bestimmt werden können. Bei einem gleichförmig bewegten starren Körper, der mit hoher Auflösung kontrastreich zum Hintergrund aufgenommen wird, wird auf diese Weise an genau einer Stelle im Histogramm eine Spitze erhalten. Die Spitze kann beispielsweise dadurch verbreitert werden, dass das sich bewegende Objekt nicht starr ist, wie z.B. bei einem Fussgänger, der mit den Armen schlenkert, so dass sich diese zum Teil etwas schneller und zum Teil etwas langsamer als der restliche Körper bewegen. Im Histogramm kann dann also nach dem Maximum gesucht werden oder nach dem Schwerpunkt eines Peaks.
Andere Strategien sind aber sinnvoll. So kann berücksichtigt werden, dass nicht an jedem Pixel, an dem sich ein Objekt vor den Hintergrund bewegt, Differenzen im Bild feststellbar sind. Wenn etwa nur Grauwerte betrachtet werden und ein Pixelwert des Objektes zufällig den gleichen Grauwert wie der Hintergrund besitzt, vor den das Objekt sich schiebt, ist ein Unterschied nicht feststellbar. Eine Differenz ist in einer solchen Situation vielmehr erst dann feststellbar, wenn an diesem Pixel, z.B. durch mehr oder minder ausgedehnte Muster auf dem Objekt, eine Änderung erfolgt ist, was eine zusätzliche Weiterbewegung des Objektes erfordert. Zur Berücksichtigung einer solchen Situation darf nicht lediglich erfasst werden, wie weit der Abstand zwischen einem Wert 40 und einem Wert 39 im Akkumula- torfeld ist, weil in der beschriebenen Situation eine solche Differenz nicht auftreten würde.
Vielmehr müsste auch erfasst werden, wie groß der Abstand zu einem Eintrag mit dem Wert 38 ist, falls auf der Strecke bis zu diesem Wert 38 der Wert 39 nicht gefunden wird. Ähnlich könnte ein Abstand zwischen Einträgen mit dem Wert 40 und 37 dann berücksichtigt werden, wenn zwischen diesen Werten keines der Pixel den Wert 38 oder 39 hat. Mit dieser Strategie wird allerdings bereits etwas gemittelt, denn es werden nicht nur die Werte zur "augenblicklichen" Geschwindigkeit zwischen den Frames 39 und 40 bestimmt, sondern auch ältere Wertepaare und damit ältere Geschwindigkeiten erfasst. Auch wenn die Beleuchtung nicht gleichbleibend ist, etwa weil Wolken am Himmel ziehen, ist ein entsprechendes Vorgehen vorteilhaft. Hier könnten reale Differenzen verdeckt und scheinbare Differenzen vorgetäuscht werden.
Es ist weiter möglich, mit einem Histogramm durch Auswahl einer anderen
Histogrammstrategie eine noch weiter mittelnde Durchschnittsgeschwindigkeit zu bestimmen. So kann z.B. erfasst werden, wie weit sich eine Änderung binnen eines Frames bewegt, während zweier Frames, während dreier Frames usw. Dazu kann z.B. der Abstand der Werte 40->39, 40->38, 40->37 betrachtet werden (wobei berücksichtigt werden muss, dass z.B. der Abstand 40->38 während zweier Frames durchlaufen wurde). Der Abstand 40->38 wird in dieser Strategie, anders als für die vorher diskutierte Strategie, dabei selbst dann bestimmt, wenn auf der Strecke zwischen den Pixeln der Wert "39" gefunden wurde.
Bei gleichbleibender Geschwindigkeit ist die Entfernung 40->38 doppelt so groß wie die Entfernung zu 40->39, die Entfernung 40-37 ist dreimal so groß wie die Entfernung 40-39. Es ergeben sich ergo gleichmäßig beabstandete Maxima im Histogramm, aus deren Lage auf die Geschwindigkeit geschlossen werden kann. Alternativ kann in ein solches Histogramm zusätzlich auch eingetragen werden, wie die Abstände zu Framepaaren 39->38, 39->37, 39->36 usw. aussehen. Dies trägt ebenfalls zu einer Mittelung der Geschwindigkeit bei. Bei langsam bewegten Objekten, die oftmals auf den sukzessiven Frames einer Sequenz erfasst werden, ergeben sich so besonders ausgeprägte, gut erkennbare Maxima. Ein entsprechendes Histogramm ist - für einen aufgrund seiner vergleichsweise langsamen Bewegung während der Framesequenz häufiger erfassten - Fussgänger im unteren Teil von Fig. 7 dargestellt. Dieser bewegt sich entlang der gleichen Strecke wie in Fig. 3. Es sind mehrere klar erkennbare Maxima zu
identifizieren.
In Fig. 7 oben ist im Gegensatz dazu ein Histogramm zu einem Akkumulatorfeld gezeigt, das bei der Bewegung eines Autos entlang jener Strecke gewonnen wurde, die in Fig. 3 durch einen Fussgänger abgelaufen wurde. Genauer zeigt auch dieses Histogramm die Abstände, die Framepaaren i,i-l : i,i-2; i,i-3; i-l ,i-2; i-l ,i-3; i-l,i-4; i-2,i-3, usw. zuzuordnen sind und auch hier sind eine Reihe von Maxima zu erkennen, deren Auswertung, wie durch die Erklärung einsichtig, auf die Geschwindigkeit schliessen lässt. Durch die höhere Bewegungsgeschwindigkeit wurde das Auto aber in weniger Frames der ansonsten gleich langen Sequenz erfasst, so dass die Peaks weniger klar ausgeprägt dargestellt werden.
Nimmt man eine absolut gleichförmige, gut erfassbare Bewegung eines starren Körpers an, so legt dieser zwischen zwei Frames stets die gleiche Differenz zurück. Nach einigen der zuvor beschriebenen Strategien werden mehrere Maxima im I Iistogramm enthalten sein, die zwar im Idealfall eines zum Hintergrund kontrastreichen, gleichbleibend beleuchteten starren Körpers in gleichförmiger Bewegung den gleichen Abstand voneinander haben werden, die aber in der Praxis verbreitert und etwas verschoben sein können. Um bei Vorhandensein mehrerer Maxima die Daten einfach auszuwerten, kann z.B. eine
Fouriertransformation, z.B. als FFT, des Histogramms durchgeführt werden und das Ma- ximum der Fouriertransformierten zur Bestimmung der Geschwindigkeit herangezogen werden.
Weitere Möglichkeiten durch Histogramm-Betrachtungen wichtige Aussagen zu erhalten, ergeben sich etwa, wenn immer nur Paare 40->39, 39->38, 38->37 etc. betrachtet werden. Die zu diesen Paaren ermittelten Abstände werden dann gleichmäßig sein, wenn die Bilddifferenzen verursachende Bewegung gleichmäßig ist. Die zu den Paaren erhaltenen Abstände ändern sich dagegen stark, wenn sich die Geschwindigkeit der betrachteten Bewegung stark geändert hat. Es kann also z.B. ermittelt werden, wie weit die zugehörigen Maxima in entsprechenden Histogrammen auseinander liegen, wie sich die Maximal läge zeit- lieh entwickelt usw. Dies kann genutzt werden, um auf das Losrennen einer Person, das
Anfahren eines Autos usw. hinzuweisen, bzw. davor zu warnen. Dies kann besonders sinnvoll sein, wenn weitere Informationen ausgewertet werden, wie das Erfassen eines Auto- Anfahrens zu einem Zeitpunkt, an welchem eine Ampel ROT zeigt oder das Rennen in bestimmten, gesperrten Zonen, d.h. Erfassen von Bewegung in den diesen gesperrten Zonen zugeordneten Bildbereichen. Auch ist es möglich, eine Bewegungsrichtung abzuleiten, und zwar, indem nicht lediglich der Betrag des Ab Standes betrachtet wird, den die Werte ("39,40") eines Wertepaares (40- >39) aufweisen, sondern auch, z.B. durch ein Vorzeichen, erfasst wird, ob das Pixel mit dem Wert "39" links oder rechts (oder oben/unten oder vorne/hinten) des Pixels mit dem Wert "40" liegt. Wenn mit einer Hin- und Herbewegung ein atypisches, womöglich Gefahr indizierendes Verhalten verbunden wird, kann eine entsprechende Analyse davor warnen. Dazu kann etwa untersucht werden, ob das Histogramm-Maximum des Paares (40.39) an einem Abstand mit einem anderen Vorzeichen liegt, als jener Abstand des Paares (39,38) oder eines früheren Paares wie (14,13). Bei langsamen "pendelnden" Bewegungen könnte eine solche Vorzeichenumkehr begleitet sein von einer sich während der Hin- und
Herbewegung ändernden Geschwindigkeit und/oder von Ruhephasen mit Geschwindigkeiten von Null oder nahe Null. Dass sich dies aus den Akkumulatorfeldern bzw. zugeordneten Größen ablesen lässt, ist einsichtig. Dass eine exakte Geschwindigkeits-Bestimmung nicht zwingend ist, sei erwähnt. So kann es ausreichen, eine grobe Unterscheidung in z.B. drei Stufen: "sehr schnell", "übliche Fortbewegungsgeschwindigkeit" und "viel langsamer als gewöhnlich" vornehmen zu können und/oder aus der Geschwindigkeit Annahmen auf das bewegte Objekt ("Auto", Fahrrad", "Fussgänger") zu generieren. Gegebenenfalls lassen sich dazu auch andere Bildbezogene Daten auswerten, etwa die (perspektivisch korrigierte) Größe eines Bildflächenbereiches, sein Aspektverhältni s, die Bewegungsrichtung, topographische Besonderheiten wie Vorhandensein von Fusswegen, Radwegen, Straßen im relevanten Bildbereich usw.. Erforderlichenfalls kann etwa auch in einem beschränkten Bilderbereich eine Kantenanalyse zur Bestimmung des Objektes, welches sich bewegt hat, vorgenommen werden. Die Kanten- analyse braucht dabei nicht über das gesamte Ausgangs-Bild erstreckt werden, sondern kann sich auf jene beschränken, in denen eine gerichtete Bewegung, insbesondere eine Bewegung mit grob bestimmter Geschwindigkeit erfolgt ist. Dies verringert den Kantende- tektionsaufwand ganz erheblich. Es ist aus dem vorstehenden ersichtlich, dass die vorliegend offenbarte Betrachtung und Bewertung von geeignet akkumulierten Differenzfeldern und den Gradienten, Werten und/oder Wertänderungen darin hilfreich ist, den Bildauswertungsaufwand ganz erheblich zu reduzieren. Der Identifikation von Bereichen, die einer weiteren Analyse bedürfen, weil Gradienten in akkumulierten Differenzbildern auftreten und/oder geschwindigkeitsbezogene Daten dies zeigen, kommt somit nach hiesiger Auffassung eine für sich separat erfindungswesentliche und gegebenenfalls in Alleinstellung beanspruchbare Bedeutung zu, insbesondere für Zwecke der Bild- und Inhaltsanalyse. Auch können damit Bildbereiche für die Übertragung und/oder die Einspeicherung für Cberwachungssicherungszwecke bestimmt werden.
Es ist aus dem vorstehenden ersichtlich, dass die vorliegend offenbarte Betrachtung und Bewertung von geeignet akkumulierten Differenzfeldern und den Gradienten, Werten und/oder Wertänderungen, und/oder zugeordneten Histogrammen darin hilfreich ist, den Bildauswertungsaufwand ganz erheblich zu reduzieren.
Es sei im Übrigen erwähnt, dass vorstehend für die Zwecke der vorliegenden Beschreibung, insbesondere für die Bestimmung oder Abschätzung von Bewegungsgeschwindigkeiten von zeitlich äquidistanten Frames ausgegangen wurde. In Situationen, in welchen eine zeitliche Frame-Äquidistanz nicht gewährleistet werden kann, etwa weil aufgrund einer Auslastung der Kamera-Hardware die Neuaufnahme eines Frames etwas verzögert erfolgt, kann der tatsächliche Frameabstand berücksichtigt werden. Dazu können z.B. Zeitstempel verwendet werden. Auch dort, wo etwa mit wechselnden und dabei zum Teil erheblich verlängerten Belichtungszeiten pro Frame gearbeitet werden muss oder soll, z.B. bei Nachtaufnahmen, kann dies Vorteile bieten. Dazu können bevorzugt Zeitstempel verwendet werden, die es erlauben, den zeitlichen Abstand jedes Framepaares zu erfassen, so dass die Framepaar-Zeitabstände bestimmt und berücksichtigt werden können. Die Berücksichtigung der Framepaar-Zeitabstände kann auch dort sinnvoll sein, wenn z.B. ein nicht gleichmäßig aufgezeichneter Framestrom nachträglich analysiert werden soll. Die genaue Frameaufnahmezeitberücksichtigung ist immer dann sinnvoll, wenn erhebliche
Auswirkungen auf die Geschwindigkeitsbestimmung und/oder -abschätzung zu befürchten sind. Dass die Frameaufnahmezeitberücksichtigung besonders dann sinnvoll ist, wenn eine Kalibrierung der erfassten Szene erfolgt ist und hohe Genauigkeiten gewünscht werden, wird einsichtig sein.

Claims

Patentansprüche
1. Verfahren zur automatischen Erkennung von in Videoströmen erfassten Aktivitäten, dadurch gekennzeichnet, dass für Framesequenzen
in Feldern
Daten zu Framedifferenzen
automatisch akkumuliert werden,
Gradienten und/oder Wertdifferenzabstände
in den Akkumulatorfeldern
automatisch bestimmt werden und aus den Gradienten automatisch auf Aktivität geschlossen wird,
2. Verfahren nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
als Aktivität die Bewegung von Objekten erfasst wird.
3. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Bewegung von Objekten
da n
als Aktivität erfasst wird,
wenn die Bewegung
über eine bestimmte Minimalzahl an Frames hinweg erfasst wird
3 1 und/oder
wenn die Bewegung
über nicht mehr als eine bestimmte Zahl an Frames hinweg erfolgt.
Verfahren nach einem der vorhergehenden Ansprüch, dadurch gekennzeichnet, dass für eine Anzahl von 8 bis 128 Frames je Framesequenz Differenzen bestimmt werden,
bevorzugt etwa 32 bis 64 Frames,
und/oder Framesequenzdauern von 1 ,5 bis 4 Sekunden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
mehrere Akkumulatorfelder je Framesequenz vorgesehen sind.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die Akkumulatorfelder
Daten
zu Framedifferenzen
nach unterschiedlichen Strategien akkumulieren, wobei insbesondere
in einem ersten Akkumulatorfeld
an einer Stelle
dann
ein Wert eingespeichert wird,
wenn
an dieser Stelle
für die betrachtete Sequenz
noch für alle vorhergehenden Differenzen der bisherige Wert Null war
und/oder
in einem anderen Akkumulatorfeld
an einer Stelle
dann
ein Wert eingespeichert wird, an dieser Stelle
für die betrachtete Sequenz
die aktuelle Differenz
größer als die bisher abgespeicherte
Differenz war.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Bewegungsrichtung bestimmt wird,
insbesondere aus dem Akkumulatorfeld, mit welchem aus dem Gradienten auf Aktivität geschlossen wird. 8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
Framedifferenzen anhand der Grauwerte bestimmt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass vor der Differenzenbildung
aus mehreren Pixeln
Blöcke gebildet werden und die Differenzen dieser Blöcke bestimmt werden, so dass die Akkumulatorfelder eine geringere Auflösung als der Videostrom besitzt.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Gradienten
für jedes Akkumulatorfeld
in zwei Richtungen,
insbesondere
entlang von Reihen des Akkumulatorfeldes
und
entlang von Spalten des Akkumulatorfeldes
bestimmt werden.
1 1. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
aus den Gradienten auf Aktivität geschlossen wird,
wenn
der Gradientenwert eine bestimmte Größe überschreitet
und/oder
wenn
die Gradienten werte
in einem
hinreichend großen,
insbesondere zusammenhängenden
Bereich
eine bestimmte Größe überschreiten.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Geschwindigkeit und/oder Beschleunigung aus Einträgen im Akkumulatorfeld bestimmt wird, insbesondere unter Verwendung statistischer Mittel und/oder unter Rückgriff auf Fouriertransformationen von statistischen Daten, insbesondere von Histogrammen,
Vorrichtung zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche mit
einer Differenzbildungsstufe zur Bildung von Framedifferenzen charaktisierenden Daten, mindestens einem Akkumulatorfeld zur Speicherung von Framedifferenzen charakterisierenden Daten, einem Gradientenbildungsmittel zur Bildung von Gradienten im Akkumulatorfeld und einem Gradientenbewertungsmittel zur Entscheidung,
ob ein gebildeter Gradient auf eine Aktivität deutet.
PCT/EP2014/054675 2013-03-11 2014-03-11 Videostromauswertung WO2014139997A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015562087A JP2016515252A (ja) 2013-03-11 2014-03-11 ビデオストリーム解析
EP14711189.2A EP2973211A1 (de) 2013-03-11 2014-03-11 Videostromauswertung
US14/773,852 US9659221B2 (en) 2013-03-11 2014-03-11 Video stream evaluation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013004073.6A DE102013004073A1 (de) 2013-03-11 2013-03-11 Videostromauswertung
DE102013004073.6 2013-03-11

Publications (1)

Publication Number Publication Date
WO2014139997A1 true WO2014139997A1 (de) 2014-09-18

Family

ID=50336283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/054675 WO2014139997A1 (de) 2013-03-11 2014-03-11 Videostromauswertung

Country Status (5)

Country Link
US (1) US9659221B2 (de)
EP (1) EP2973211A1 (de)
JP (1) JP2016515252A (de)
DE (1) DE102013004073A1 (de)
WO (1) WO2014139997A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021160347A1 (en) 2020-02-14 2021-08-19 Smart-Pick Gmbh Sperm picking system

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013004073A1 (de) * 2013-03-11 2014-09-11 Martin Vorbach Videostromauswertung
US9464984B2 (en) 2014-06-20 2016-10-11 Fluke Corporation Laser illuminated gas imaging device for determining inoperable gas detection pixels
DE202015005019U1 (de) * 2015-07-18 2016-10-20 Rudolf King Methode zur Anbindung und Nutzung von externen Serverkapazitäten bei mobilen persönlichen und anderen Sicherheitssystemen und Trennung von Sensoren, Funktionsbereichen und Rechenkapazitäten mittels Alarmverlagerung auf externe Computer und Server
DE102016100075A1 (de) 2016-01-04 2017-07-06 Volkswagen Aktiengesellschaft Verfahren zur Auswertung von Gesten
JP6671975B2 (ja) * 2016-01-20 2020-03-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびコンピュータプログラム
AU2017222701A1 (en) 2016-02-26 2018-08-30 Iomniscient Pty Ltd A method and apparatus for conducting surveillance
US11022546B2 (en) * 2017-05-16 2021-06-01 Fluke Corporation Optical gas imaging systems and methods
JP7114092B2 (ja) * 2017-06-20 2022-08-08 国立大学法人静岡大学 画像データ加工装置、植物栽培システム及び画像データ加工方法
US10755106B1 (en) * 2018-05-09 2020-08-25 Amazon Technologies, Inc. Pattern recognition for habit engagement, mistake avoidance, and object finding using sensor data
WO2019226908A1 (en) 2018-05-25 2019-11-28 Fluke Corporation Optical gas imaging systems and method compatible with uncooled thermal imaging cameras
US11593581B2 (en) 2019-02-28 2023-02-28 Stats Llc System and method for calibrating moving camera capturing broadcast video
US10986337B2 (en) * 2019-08-22 2021-04-20 Immersive Tech, Inc. Systems and methods for selective transmission of media content
CN113326722B (zh) * 2020-02-29 2023-06-02 湖南超能机器人技术有限公司 基于序列模式的图像模糊检测方法及设备
US11328607B2 (en) * 2020-03-20 2022-05-10 Aptiv Technologies Limited System and method of detecting vacant parking spots
US11734789B2 (en) 2020-06-02 2023-08-22 Immersive Tech, Inc. Systems and methods for image distortion correction
US11978267B2 (en) * 2022-04-22 2024-05-07 Verkada Inc. Automatic multi-plate recognition
US11557133B1 (en) 2022-04-22 2023-01-17 Verkada Inc. Automatic license plate recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647131B1 (en) * 1999-08-27 2003-11-11 Intel Corporation Motion detection using normal optical flow
JP2008118340A (ja) * 2006-11-02 2008-05-22 Shibasoku:Kk 動きベクトル検出装置及びビデオ信号処理装置
JP2012175257A (ja) * 2011-02-18 2012-09-10 Fujitsu Ltd フィルムモード検出装置、フィルムモード検出方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880775A (en) * 1993-08-16 1999-03-09 Videofaxx, Inc. Method and apparatus for detecting changes in a video display
US6731805B2 (en) * 2001-03-28 2004-05-04 Koninklijke Philips Electronics N.V. Method and apparatus to distinguish deposit and removal in surveillance video
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
US9589190B2 (en) * 2012-12-21 2017-03-07 Robert Bosch Gmbh System and method for detection of high-interest events in video data
DE102013004073A1 (de) * 2013-03-11 2014-09-11 Martin Vorbach Videostromauswertung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647131B1 (en) * 1999-08-27 2003-11-11 Intel Corporation Motion detection using normal optical flow
JP2008118340A (ja) * 2006-11-02 2008-05-22 Shibasoku:Kk 動きベクトル検出装置及びビデオ信号処理装置
JP2012175257A (ja) * 2011-02-18 2012-09-10 Fujitsu Ltd フィルムモード検出装置、フィルムモード検出方法、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI WEIBIN ET AL: "Robust detection of vehicle queue based on image processing", COMPUTER MEASUREMENT & CONTROL MAGAZINE AGENCY OF COMPUTER MEASUREMENT & CONTROL CHINA, vol. 19, no. 8, August 2011 (2011-08-01), pages 1810 - 1813, XP008170650, ISSN: 1671-4598 *
LING CAI ET AL: "Robust Contour Tracking by Combining Region and Boundary Information", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 21, no. 12, 1 December 2011 (2011-12-01), pages 1784 - 1794, XP011480358, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2011.2133550 *
MAHADEVAN V ET AL: "Spatiotemporal Saliency in Dynamic Scenes", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 30, no. 1, 1 January 2010 (2010-01-01), pages 171 - 177, XP011293675, ISSN: 0162-8828 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021160347A1 (en) 2020-02-14 2021-08-19 Smart-Pick Gmbh Sperm picking system

Also Published As

Publication number Publication date
JP2016515252A (ja) 2016-05-26
DE102013004073A1 (de) 2014-09-11
US20160019428A1 (en) 2016-01-21
US9659221B2 (en) 2017-05-23
EP2973211A1 (de) 2016-01-20

Similar Documents

Publication Publication Date Title
WO2014139997A1 (de) Videostromauswertung
DE69935437T2 (de) Visuelle vorrichtung
AT502551B1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
DE60313941T2 (de) Personendetektion durch Gesichtsdetektion und Bewegungsdetektion
DE102014210820B4 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
DE102012216522B4 (de) Mehrfach auflösende videoanalyse und wichtige merkmale bewahrende videoreduzierungsstrategie für systeme zur (echtzeit) fahrzeugverfolgung und geschwindigkeitskontrolle
DE602005001627T2 (de) Vorrichtung zur Extraktion von Fussgängern
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
DE112017001049T5 (de) Fahrzeugparkplatzbelegungs-Sichtsensor
DE102015206178A1 (de) Ein Videoverfolgungsbasiertes Verfahren zur automatischen Reihung von Fahrzeugen in Drivethrough-Anwendungen
EP2849151A1 (de) Verfahren zur Analyse von freien Warteschlangen
DE102009028604A1 (de) Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
EP2786564A1 (de) Verfahren und vorrichtung zur überwachung eines überwachungsbereichs
DE10160719B4 (de) Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten
CN104899559B (zh) 一种基于视频监控的快速行人检测方法
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
EP3021256A1 (de) Verfahren zur bildverarbeitung, präsenzdetektor und beleuchtungssystem
DE102020133506A1 (de) Parkplatzsteuerungssystem, Parkplatzsteuerungsverfahren und Programm
DE102006044298B3 (de) Verfahren zur Überwachung von Personenansammlungen
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
DE102019123220A1 (de) Zusammenfassen von Videos von mehreren sich bewegenden Videokameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14711189

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14773852

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015562087

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WD Withdrawal of designations after international publication

Designated state(s): DE

WWE Wipo information: entry into national phase

Ref document number: 2014711189

Country of ref document: EP