WO2009003793A2 - Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm - Google Patents

Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm Download PDF

Info

Publication number
WO2009003793A2
WO2009003793A2 PCT/EP2008/057127 EP2008057127W WO2009003793A2 WO 2009003793 A2 WO2009003793 A2 WO 2009003793A2 EP 2008057127 W EP2008057127 W EP 2008057127W WO 2009003793 A2 WO2009003793 A2 WO 2009003793A2
Authority
WO
WIPO (PCT)
Prior art keywords
movement pattern
image sequence
pattern
patterns
surveillance
Prior art date
Application number
PCT/EP2008/057127
Other languages
English (en)
French (fr)
Other versions
WO2009003793A3 (de
Inventor
Julia Ebling
Hartmut Loos
Matthias Koenig
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP08760696A priority Critical patent/EP2174260A2/de
Priority to US12/666,923 priority patent/US8761436B2/en
Publication of WO2009003793A2 publication Critical patent/WO2009003793A2/de
Publication of WO2009003793A3 publication Critical patent/WO2009003793A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Definitions

  • the invention relates to a device for detecting and / or classifying movement patterns in an image sequence from a surveillance scene, wherein the
  • the Device has an interface for recording the image sequence and a calculation module for determining an optical flow field in the surveillance scene by evaluating the image sequence. Furthermore, the invention relates to a corresponding method and a computer program.
  • Video surveillance systems are used, for example, to monitor public places, railway stations, roads, industrial plants, buildings or the like.
  • the video surveillance systems usually comprise one or more surveillance cameras, which are aligned to surveillance scenes and transmit image data streams in the form of image sequences to an evaluation center. While it was common in the past, the
  • An often practiced approach to detecting and / or classifying motion patterns in surveillance scenes is to separate moving objects from the (essentially static) scene background, track over time, and raise alarms for relevant movements.
  • the methods used in the The first step for the so-called object segmentation is typically the image differences between the current camera image and a so-called scene reference image that models the static scene background to detect moving objects.
  • Another approach analyzes the so-called optical flow in the surveillance scene by evaluating the image sequence.
  • the translational movements of pixels or image regions are evaluated from an image to a subsequent image of the image sequence and a vector field is created on the basis of these translational movements, which respectively provides a translational direction and a translation speed for the examined pixels or regions.
  • an object segmentation is performed by classifying objects that correspond in terms of the translation vectors, that is to say with regard to the optical flow, to a common object.
  • a device for detecting and / or classifying movement patterns in a sequence of images from a surveillance scene with the features of claim 1 a corresponding method with the features of
  • the device according to the invention is characterized in particular in that the movement patterns are not necessarily recognized and classified via the intermediate path of object segmentation and subsequent object tracking, but rather that the optical flow field itself is based on characteristic movement patterns by comparison with predetermined ones and / or predeterminable patterns, in particular flow masks. While a single object approach is thus pursued in the prior art, the invention proposes a multiobject approach which simultaneously analyzes all moving objects in the surveillance scene and / or in a subarea of the surveillance scene.
  • the device is preferably designed as a video surveillance system, which is implemented, for example, as a data processing device, computer, DSP, microcontroller, FPGA, ASIC or the like and / or has one or more interfaces for recording image sequences of one or more surveillance scenes.
  • the interfaces are with a plurality of cameras,
  • the inventive device is particularly suitable due to a comparatively low computing power requirement for real-time use, but can also analyze already stored image sequences in particular "off-line".
  • the surveillance scene can - as already shown in the introduction - be designed as a street scene, intersection, public building, station, etc.
  • the surveillance scene shows a plurality of moving objects, particularly human, e.g. Passers-by, but can also be designed as vehicles or the like.
  • the image sequence comprises a plurality of in particular temporally equidistantly recorded images of the surveillance scene, wherein the images may have any specification, such as color, grayscale, black and white, infrared and / or UV image are realized.
  • the device has a calculation module, which is formed by program technology and / or circuitry for determining an optical flow field in the surveillance scene by evaluating the image sequence.
  • the optical flow field - also called optical flow - can be represented as a vector field having the preferably two-dimensional direction of movement and / or movement speed for each or every pixel selected, for each or each selected pixel, and / or for each or each selected one
  • the calculation of the optical flow field can be done by differential methods, but also by any other known method.
  • the device has a recognition module, which is designed in terms of programming and / or circuitry, to compare the optical flow field and / or subregions thereof with one or more patterns in order to recognize a movement pattern in the image sequence.
  • the recognition of the movement pattern takes place without the intermediate steps of object segmentation and tracking, so that on the one hand inaccuracies in the analysis can be avoided and, on the other, computer time can be saved.
  • the proposed invention thus uses the information obtained by calculating the
  • Movement can be obtained from small image areas, where an image area can also consist of a single pixel.
  • an image area can also consist of a single pixel.
  • the evolution of the flow fields over time is also considered.
  • Another useful advantage of the invention is that the underlying method is applicable, even if there are so many moving objects in the surveillance scene that they overlap, merge and / or that one another object segmentation, e.g. via a scene reference image is not or no longer possible with the necessary reliability.
  • the invention allows the detection of motion patterns in the image sequences even in overcrowded surveillance scenes.
  • the invention is suitable for detecting movement patterns that are based on mass psychological and / or group dynamic behavior, that is to say in particular on the joint behavior of large ones
  • the movement pattern is formed as a global movement pattern which reflects the movement throughout
  • This embodiment is particularly suitable when the surveillance scene shows a crowd and a common behavior of the people in the crowd is to be classified through the analysis of the movement pattern.
  • the movement pattern is designed as a local movement pattern describing the movement in a subarea of the surveillance scene.
  • the subarea may be set by a user in one possible alternative embodiment, such that, for example, one escalator is selected as a subarea or another Alternatively, alternative embodiments can be determined automatically, for example by selecting subregions in which more object movements are detected than other subregions of the surveillance scene. However, it is preferred that the sub-region of the surveillance scenes comprise a plurality of moving objects in order to best exploit the advantages of the invention.
  • the device has a classification module which, taking into account the detected movement pattern or patterns of the surveillance scenes, assigns a monitoring situation.
  • the device according to the invention undergoes an application-specific expression in that the
  • Monitoring scene is assigned as a real surveillance scene a real monitoring situation.
  • real monitoring situations can be configured as desired, for example as a human snake, a regularly traveled road, a purpose-used roundabout, etc .
  • the invention is suitable real monitoring situations, preferably dangerous situations such as fallen persons, escape behavior, panic and situations which attract onlookers, especially in overcrowded surveillance scenes automatically detect and trigger a reaction, such as the transmission of an alarm call.
  • the classification module has an arbitrary selection of the following assignments:
  • a movement pattern with flux lines directed at a common point is assigned to the monitoring situation "gathering."
  • a monitoring situation arises, for example, when approaching moving objects, in particular people or onlookers, to a common center.
  • a movement pattern with flux lines directed away from a common point, ie a divergence, is assigned to the monitoring situation "scattering."
  • a monitoring situation is created when moving objects flow apart, for example when a person escapes from a central point.
  • a movement pattern with flux lines running around a common point is assigned to the "avoidance" monitoring situation and is an example of one Monitoring situation, wherein the surveillance scene has an obstacle, which is bypassed by the moving objects.
  • Calculation module designed to determine statistical characteristics of the optical flow field. This embodiment is particularly useful when no structure or motion model is detectable in an optical flow field.
  • the determination of statistical parameters checks whether the surveillance scene can be assigned to the chaos or panic monitoring situation. Even with recognized movement patterns, the device is preferably designed so that the detected movement patterns are confirmed or verizif ⁇ extend with statistical or other characteristics.
  • the pattern is designed as a two- or three-dimensional data field. It may be provided that the size of the pattern corresponds to the size of an image of the image sequence. Alternatively, it may be provided that the size of the pattern is limited to the size of a subarea, in particular of the subarea of the image to be examined, and thus to the relevant surveillance scene. In one possible alternative, the pattern is as
  • Window formed with the optical flow field for example sliding, is traversed.
  • the movement pattern is detected by applying a classification method.
  • a classification method In such a
  • the optical flow field is compared with a first pattern in a first classification stage, with a second pattern in a second classification stage and with an nth pattern in an nth classification stage.
  • a movement pattern is thus recognized by a plurality of positively classified individual patterns. For example, to save computation time, it may be provided that once a pattern of a classification stage can not be found in the optical flow field, this pattern is discarded.
  • the classification method is designed as a classification tree, wherein the branches of the tree are formed by classification stages.
  • the movement pattern is recognized on the basis of a plurality of found patterns.
  • the assignment of the multiple patterns to a movement pattern can be implemented, for example, automatically by a learning process.
  • the patterns are formed as linear, shift-invariant patterns and / or the pattern matching is implemented via clifford convolution.
  • Another object of the invention relates to a method for detecting and / or classification of a movement pattern or in an image sequence of one or the surveillance scene with the features of claim 12, which is preferably carried out on the device just described or on the device according to the preceding claims becomes.
  • the optical flow field in the image sequence of the surveillance scene is calculated and in a second step the optical flow field is compared with one or more patterns in order to detect one or the movement pattern in the image sequence or in the surveillance scene.
  • Another optional step is to assign a monitoring situation to the detected movement pattern.
  • Figure 1 is a block diagram of a video surveillance system as a first embodiment of the invention
  • Figure 2 is a schematic representation as a first example of an optical
  • Figure 3 is a schematic representation as a second example of an optical
  • Figure 4 is a schematic representation as a third example of an optical
  • Figure 5 is a schematic representation as a fourth example of an optical flow field with a fourth movement pattern.
  • FIG. 1 shows a schematic block diagram of a video surveillance system
  • the video surveillance system 1 is connected via an interface 2 with one or more
  • the surveillance cameras 3 are positioned to monitor the said surveillance scenes and direct the image data stream either first for caching in the video recorder or 4 or directly in the video surveillance system.
  • the image data streams which correspond to image sequences of the surveillance scene, are first transferred to a calculation module 5.
  • the calculation module 5 is program-technically and / or circuit-wise designed to generate an optical flow field or a time-varying optical flow field from an image sequence of a surveillance scene.
  • the flow field is created for the translational movements of pixels or image regions in the images of the image sequence over at least two and preferably more than ten images. It can also be provided that the optical flow field is generated in a manner that is virtually sliding for the image sequence, in that in each case the oldest image from the calculation for the optical flow field is calculated for the calculation of the current optical flow field
  • Flow field is removed and replaced by the latest image of the image sequence (FiFo).
  • the generated optical flow field is passed to a recognition module 6, which is designed to compare the optical flow field with patterns or pattern masks from a pattern memory 7, wherein the patterns in the pattern memory 7 are designed such that movement patterns in the image sequence or in the surveillance scene can be recognized.
  • the patterns in the pattern memory 7 can be designed as two- or three-dimensional data fields and have a size that is similar in size to an image of the image sequence or as a subregion of an image of the image sequence.
  • a single pattern from the pattern memory 7 may be applied to the optical flow field, alternatively, multiple patterns from the pattern memory 7 are applied to the optical flow field and the motion pattern is recognized by classification procedures, decision trees, etc.
  • a movement pattern After a movement pattern has been detected, it is transferred to a classification module 8, wherein the classification module 8 is designed to assign the detected movement pattern to a specific real monitoring situation, such as flight, confluence, chaos, panic, etc. As soon as the assignment of the movement pattern to the monitoring situation has been completed, a message can optionally be sent to a monitoring personnel via a notification module 9.
  • a classification module 8 is designed to assign the detected movement pattern to a specific real monitoring situation, such as flight, confluence, chaos, panic, etc.
  • the process running on the video surveillance system 1 thus comprises the steps of accepting images or image sequences of a surveillance scene, which Calculation of the optical flow field for the current image of the image sequence, optionally temporal filtering of the optical flow field to suppress interference and the determination of monitoring situations on the comparison of the optical flow fields or with predetermined flow masks or patterns that describe typical movement patterns, an analysis of calculated similarities, optionally a statistical analysis of the directions of movement for further information and to secure the results and finally the classification of the monitoring situation, where appropriate for different image areas.
  • FIG. 2 shows in a highly schematized representation a first example of an optical flow field 10 with a movement pattern such as occurs during the influx of persons, such as onlookers.
  • a movement pattern such as occurs during the influx of persons, such as onlookers.
  • all or most of the motion vectors 11 are directed to a common center 12, so that this movement pattern can be easily recognized automatically by the recognition module 6.
  • the movement pattern may be referred to as a convergent movement pattern.
  • the movement pattern recognized by the recognition module 6 is then reported to the classification module 8, which assigns to this convergent movement pattern the monitoring situation "oncoming persons.”
  • the classification module 8 assigns to this convergent movement pattern the monitoring situation "oncoming persons.”
  • FIG. 3 shows a second exemplary embodiment of a schematic optical system
  • Flow field 10 which has a movement pattern that corresponds to the flow of people, such as happens when escaping. All or most of the flow vectors 11 are star-shaped away from the common center 12 in this embodiment.
  • the recognition module 6 will recognize this movement pattern, for example, as a divergent movement pattern and to the
  • FIG. 4 shows a third example of an optical flow field 10, this third example showing the movement pattern of persons circulating an obstacle.
  • two flows are produced for the flow vectors 11, wherein the flow arranged on the left side of FIG. 4 runs from top to bottom and the flow arranged on the right side runs from bottom to top.
  • the common center 12 is bypassed by both streams.
  • FIG. 5 shows a last exemplary embodiment of an optical flow field 10, wherein the flow vectors 11 have no uniform direction and no common center can be detected.
  • a movement pattern which may be denoted as a chaotic movement pattern, or the message that no movement pattern was found
  • the classification module 8 will assume a panic situation as a monitoring situation and also activate the notification module 9.
  • a video-based surveillance system is presented with the invention, which can be used for the observation of complete scenarios, and it is particularly suitable for the observation of dangerous situations in crowded scenes, ie in scenes in which move many moving objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, Bahnhöfen, Straßen, Industrieanlagen, Gebäuden oder dergleichen. Die Videoüberwachungssysteme umfassen meist eine oder mehrere Überwachungskameras, welche auf Überwachungsszenen ausgerichtet sind und Bilddatenströme in Form von Bildsequenzen an ein Auswertezentrum übermitteln. Es wird eine Vorrichtung (1) zur Erkennung und/oder Klassifizierung von einem Bewegungsmuster in einer Bildsequenz von einer Überwachungsszene mit einer Vielzahl von bewegten Objekten mit einer Schnittstelle (2) zur Einspielung der Bildsequenz, mit einem Berechnungsmodul (5) zur Bestimmung eines optischen Flussfeldes (10) in der Überwachungsszene durch Auswertung der Bildsequenz und mit einem Erkennungsmodul (6), welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon mit einem oder mehreren Mustern zu vergleichen, um das Bewegungsmuster in der Bildsequenz zu erkennen, vorgeschlagen.

Description

Beschreibung
Titel
Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer
Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
Stand der Technik
Die Erfindung betrifft eine Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, wobei die
Vorrichtung eine Schnittstelle zur Einspielung der Bildsequenz und ein Berechnungsmodul zur Bestimmung eines optischen Flussfeldes in der Überwachungsszene durch Auswertung der Bildsequenz aufweist. Weiterhin betrifft die Erfindung ein entsprechendes Verfahren und ein Computerprogramm.
Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, Bahnhöfen, Straßen, Industrieanlagen, Gebäuden oder dergleichen. Die Videoüberwachungssysteme umfassen meist eine oder mehrere Überwachungskameras, welche auf Überwachungsszenen ausgerichtet sind und Bilddatenströme in Form von Bildsequenzen an ein Auswertezentrum übermitteln. Während es früher üblich war, die
Bildsequenzen durch geschultes Überwachungspersonal auszuwerten, werden in der Zwischenzeit vermehrt automatisierte Auswertungen auf Basis der digitalen Bildverarbeitung durchgeführt. Die Vorteile von derartigen automatisierten Auswertungen liegen insbesondere darin, dass zum einen die Personalkosten deutlich verringert sind und zum anderen die Überwachungsqualität stets gleichbleibend ist.
Ein oftmals praktizierter Ansatz zur Erkennung und/oder Klassifizierung von Bewegungsmustern in Überwachungsszenen ist es, bewegte Objekte vom (im wesentlichen statischen) Szenenhintergrund zu trennen, über die Zeit zu verfolgen und bei relevanten Bewegungen Alarm auszulösen. Die verwendeten Verfahren werten im ersten Schritt für die sogenannte Objektsegmentierung typischerweise die Bildunterschiede zwischen dem aktuellen Kamerabild und einem sogenannten Szenenreferenzbild aus, das den statischen Szenenhintergrund modelliert, um bewegte Objekte zu detektieren.
Ein anderer Ansatz analysiert dagegen den sogenannten optischen Fluss in der Überwachungsszene durch Auswertung der Bildsequenz. Bei der Berechnung des optischen Flusses werden die Translationsbewegungen von Pixeln oder Bildbereichen von einem Bild zu einem nachfolgenden Bild der Bildsequenz ausgewertet und auf Basis dieser Translationsbewegungen ein Vektorfeld erstellt, welches für die untersuchten Pixel bzw. Bereiche jeweils eine Translationsrichtung sowie eine Translationsgeschwindigkeit bereitstellt. Bei diesem Ansatz wird eine Objektsegmentierung durchgeführt, indem Objekte, welche hinsichtlich der Translationsvektoren, also hinsichtlich des optischen Flusses, übereinstimmen, zu einem gemeinsamen Objekt zugehörig klassifiziert werden.
Offenbarung der Erfindung
Erfindungsgemäß wird eine Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene mit den Merkmalen des Anspruchs 1 , ein entsprechendes Verfahren mit den Merkmalen des
Anspruchs 12 und ein Computerprogramm mit den Merkmalen des Anspruchs 14 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich durch die Unteransprüche, die nachfolgende Beschreibung und/oder die beigefügten Figuren.
Die erfindungsgemäße Vorrichtung zeichnet sich gegenüber dem bekannten Stand der Technik insbesondere dadurch aus, dass die Bewegungsmuster nicht unbedingt über den Zwischenweg einer Objektsegmentierung und einer nachfolgenden Objektverfolgung erkannt und dann klassifiziert werden, sondern, dass das optische Flussfeld selbst auf charakteristische Bewegungsmuster durch einen Vergleich mit vorgegebenen und/oder vorgebbaren Mustern, insbesondere Flussmasken, untersucht wird. Während im Stand der Technik somit ein Einzelobjektansatz verfolgt wird, schlägt die Erfindung einen Mehrobjektansatz vor, welcher zugleich sämtliche bewegten Objekte in der Überwachungsszene und/oder in einem Teilbereich der Überwachungsszene analysiert. Die Vorrichtung ist vorzugsweise als ein Videoüberwachungssystem ausgebildet, welches beispielsweise als eine Datenverarbeitungseinrichtung, Computer, DSP, Microcontroller, FPGA, ASIC oder dergleichen realisiert ist und/oder eine oder mehrere Schnittstellen zur Einspielung von Bildsequenzen einer oder mehrerer Überwachungsszenen aufweist. Die Schnittstellen sind mit einer Mehrzahl von Kameras,
Recordern und/oder anderen Speichermedien verbunden und/oder verbindbar, auf denen die Bildsequenzen bereitgestellt werden bzw. bereitstellbar sind. Die erfmdungsgemäße Vorrichtung eignet sich insbesondere aufgrund einer vergleichsweise geringen Rechenleistungsanforderung für den Echtzeiteinsatz, kann jedoch auch bereits gespeicherte Bildsequenzen insbesondere „Off-Line" analysieren.
Die Überwachungsszene kann - wie zum Beispiel bereits in der Einleitung dargestellt - als Straßenszene, Kreuzung, öffentliches Gebäude, Bahnhof, etc. ausgebildet sein. Vorzugsweise zeigt die Überwachungsszene eine Mehrzahl von bewegten Objekten, die insbesondere als Menschen, z.B. Passanten, aber auch als Fahrzeuge oder dergleichen ausgebildet sein können. Die Bildsequenz umfasst eine Mehrzahl von insbesondere zeitlich äquidistant aufgenommenen Bilder der Überwachungsszene, wobei die Bilder eine beliebige Spezifikation aufweisen können, so zum Beispiel als Färb-, Graustufen-, Schwarzweiß-, Infrarot- und/oder UV-Bild realisiert sind.
Die erfindungsgemäße Vorrichtung weist ein Berechnungsmodul auf, welches programmtechnisch und/oder schaltungstechnisch zur Bestimmung eines optischen Flussfeldes in der Überwachungsszene durch Auswertung der Bildsequenz ausgebildet ist. Das optische Flussfeld - auch optischer Fluss oder „optical flow" genannt - ist als ein Vektorfeld darstellbar, das die vorzugsweise zweidimensionale Bewegungsrichtung und/oder Bewegungsgeschwindigkeit für jeden oder jeden ausgewählten Bildpunkt, für jedes oder jedes ausgewählte Pixel und/oder für jeden oder jeden ausgewählten Bildbereich der Bilder einer Bildsequenz angibt. Die Berechnung des optischen Flussfeldes kann über differentielle Methoden, jedoch auch über jede beliebige andere bekannte Methode erfolgen.
Erfindungsgemäß wird vorgeschlagen, dass die Vorrichtung ein Erkennungsmodul aufweist, welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon, mit einem oder mehreren Mustern zu vergleichen, um ein Bewegungsmuster in der Bildsequenz zu erkennen. Insbesondere erfolgt die Erkennung des Bewegungsmusters ohne die Zwischenschritte der Objektsegmentierung - und -Verfolgung, so dass zum einen Ungenauigkeiten bei der Analyse vermieden und zum anderen Rechenzeit eingespart werden kann. Die vorgeschlagene Erfindung nutzt somit die Informationen, die durch Berechnung der
Bewegung von kleinen Bildbereichen gewonnen werden, wobei ein Bildbereich auch aus einem einzigen Pixel bestehen kann. Für die Berechnung dieser optischen Flussfelder ist es auch nicht nötig, ein Szenenreferenzbild zu haben, da nur die aktuellen Kamerabilder verwendet werden. Vorzugsweise wird auch die Entwicklung der Flussfelder über die Zeit betrachtet.
Ein weiterer nutzbarer Vorteil der Erfindung liegt darin, dass das zugrundeliegende Verfahren anwendbar ist, auch wenn in der Überwachungsszene so viele bewegte Objekte auftreten, dass diese sich gegenseitig überdecken, verschmelzen und/oder, dass eine Objektsegmentierung z.B. über ein Szenenreferenzbild nicht oder nicht mehr mit der notwendigen Zuverlässigkeit möglich ist. Damit erlaubt die Erfindung die Erkennung von Bewegungsmustern in den Bildsequenzen auch bei überbevölkerten Überwachungsszenen. Insbesondere ist die Erfindung geeignet, Bewegungsmuster zu erkennen, die durch ein massenpsychologisches und/oder gruppendynamisches Verhalten begründet sind, also insbesondere durch das gemeinsame Verhalten von großen
Menschenansammlungen. Beispiele für derartige Bewegungsmuster sind Zusammenströmen, Auseinanderströmen, um ein Zentrum Herumströmen etc..
Bei einer bevorzugten Ausführungsform der Erfindung ist das Bewegungsmuster als ein globales Bewegungsmuster ausgebildet, welches die Bewegung in der gesamten
Überwachungsszene beschreibt. Diese Ausführungsform ist besonders geeignet, wenn die Überwachungsszene eine Menschenmenge zeigt und ein gemeinsames Verhalten der Menschen in der Menschenmenge über die Analyse des Bewegungsmusters klassifiziert werden soll.
Bei einer anderen Ausführungsalternative ist das Bewegungsmuster als ein lokales Bewegungsmuster ausgebildet, das die Bewegung in einem Teilbereich der Überwachungsszene beschreiben. Der Teilbereich kann bei einer möglichen Ausführungsalternative durch einen Benutzer eingestellt sein, so dass beispielsweise eine Rolltreppe als Teilbereich ausgewählt wird, oder bei einer anderen möglichen Ausführungsalternative automatisiert ermittelt werden, indem beispielsweise Teilbereiche ausgewählt werden, in denen gegenüber anderen Teilbereichen der Überwachungsszene mehr Objektbewegungen nachgewiesen werden. Es ist jedoch bevorzugt, dass der Teilbereich der Überwachungsszenen eine Vielzahl von bewegten Objekten aufweist, um die Vorteile der Erfindung am besten ausnützen zu können.
Bei einer Weiterbildung der Erfindung weist die Vorrichtung ein Klassifikationsmodul auf, welches unter Berücksichtigung des oder der erkannten Bewegungsmuster der Überwachungsszenen eine Überwachungssituation zuordnet. Insbesondere erfährt die erfindungsgemäße Vorrichtung eine anwendungsspezifische Ausprägung, indem die
Überwachungsszene als reale Überwachungsszene einer realen Überwachungssituation zugeordnet wird. Im Allgemeinen können derartige reale Überwachungssituationen beliebig ausgebildet sein, zum Beispiel als eine Menschenschlange, eine regulär befahrene Straße, ein bestimmungsgemäß benutzter Kreisverkehr etc.. Damit eignet sich die Erfindung reale Überwachungssituationen, vorzugsweise Gefahrensituationen wie zum Beispiel gestürzte Personen, Fluchtverhalten, Panik und Situationen, welche Schaulustige anlocken, insbesondere in überbevölkerten Überwachungsszenen automatisch zu erkennen und eine Reaktion auszulösen, wie zum Beispiel die Aussendung eines Alarmrufs. Vorzugsweise ist jedoch vorgesehen, dass das Klassifikationsmodul eine beliebige Auswahl der nachfolgenden Zuordnungen aufweist:
Ein Bewegungsmuster mit auf einem gemeinsamen Punkt gerichteten Flusslinien, also eine Konvergenz, wird der Überwachungssituation „Versammeln" zugeordnet. Ein derartige Überwachungssituation entsteht beispielsweise beim Anströmen von bewegten Objekten, insbesondere Menschen oder Schaulustigen zu einem gemeinsamen Zentrum.
Ein Bewegungsmuster mit von einem gemeinsamen Punkt weggerichteten Flusslinien, also einer Divergenz, wird der Überwachungssituation „Verstreuen" zugeordnet. Eine derartige Überwachungssituation entseht beim Auseinanderströmen von bewegten Objekten, zum Beispiel bei einer Flucht von Personen vor einem zentralen Punkt.
Ein Bewegungsmuster mit um einen gemeinsamen Punkt laufenden Flusslinien wird der Überwachungssituation „Ausweichen" zugeordnet und ist ein Beispiel für eine Überwachungssituation, wobei die Überwachungsszene ein Hindernis aufweist, welches von den bewegten Objekten umgangen wird.
Für den Fall, dass das Berechnungsmodul mit den vorhandenen Mustern keine oder nur eine ungenügende Übereinstimmung bei dem Mustervergleich feststellen kann, ist das
Berechnungsmodul ausgebildet, statistische Kenngrößen des optischen Flussfeldes zu ermitteln. Diese Ausführungsform ist besonders nützlich, wenn bei einem optischen Flussfeld keine Struktur oder Bewegungsmodell feststellbar ist. Durch die Ermittlung von statistischen Kenngrößen wird geprüft, ob der Überwachungsszene die Überwachungssituation Chaos oder einer Panik zugeordnet werden kann. Auch bei erkannten Bewegungsmustern ist die Vorrichtung vorzugsweise so ausgebildet, dass die erkannten Bewegungsmuster mit statistischen oder anderen Kenngrößen bestätigt oder verizifϊziert werden.
Bei einer bevorzugten Realisierung der Vorrichtung ist das Muster als zwei- oder dreidimensionales Datenfeld ausgebildet. Es kann dabei vorgesehen sein, dass die Größe des Musters der Größe eines Bildes der Bildsequenz entspricht. Alternativ kann vorgesehen sein, dass die Größe des Musters der Größe eines Teilbereiches, insbesondere des zu untersuchenden Teilbereichs des Bildes und damit auf die relevante Überwachungsszene beschränkt ist. Bei einer möglichen Alternative ist das Muster als
Fenster ausgebildet, mit dem das optische Flussfeld, zum Beispiel gleitend, abgefahren wird.
Bei einer bevorzugten Ausbildung der Erfindung wird das Bewegungsmuster durch Anwendung eines Klassifikationsverfahrens erkannt. Bei einem derartigen
Klassifikationsverfahren wird das optische Flussfeld in einer ersten Klassifikationsstufe mit einem ersten Muster, in einer zweiten Klassifikationsstufe mit einem zweiten Muster und in einer n-ten Klassifikationsstufe mit einem n-ten Muster verglichen. Ein Bewegungsmuster wird somit durch eine Mehrzahl von positiv klassifizierten Einzelmustern erkannt. Zur Ersparung von Rechenzeit kann beispielsweise vorgesehen sein, dass sobald ein Muster einer Klassifikationsstufe in dem optischen Flussfeld nicht gefunden werden kann, dieses Muster verworfen wird. Bei weiteren Ausführungsformen ist das Klassifikationsverfahren als ein Klassifikationsbaum ausgebildet, wobei die Verzweigungen des Baumes durch Klassifikationsstufen gebildet werden.
Nachdem bei der Anwendung von mehreren Mustern auf das optische Flussfeld als
Ergebnis eine Bewertung der Übereinstimmung der mehreren Muster mit dem optischen Flussfeld vorliegt, ist es bevorzugt, dass das Bewegungsmuster auf Basis von mehreren gefundenen Mustern erkannt wird. Die Zuordnung der mehreren Muster zu einem Bewegungsmuster kann beispielsweise automatisiert durch ein Lernverfahren umgesetzt werden.
Bei einer Implementierung ist bzw. sind die Muster als lineare, verschiebungsinvariante Muster ausgebildet und/oder wird der Mustervergleich über eine Clifford-Faltung umgesetzt. Die besonderen Vorteile einer Clifford-Faltung und die Anwendung auf Vektorfelder ergeben sich beispielsweise aus der Dissertationsschrift der Erfinderin Julia
Ebling mit dem Titel „Visualization and Analysis of Flowfields based on Clifford- Convolution", Universität Leipzig, Diss.,.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Erkennung und/oder Klassifizierung eines oder des Bewegungsmusters in einer Bildsequenz von einer oder der Überwachungsszene mit den Merkmalen des Anspruchs 12, welches vorzugsweise auf der soeben beschriebenen Vorrichtung bzw. auf der Vorrichtung gemäß der vorhergehenden Ansprüche ausgeführt wird.
Bei dem Verfahren wird in einem ersten Schritt das optische Flussfeld in der Bildsequenz der Überwachungsszene berechnet und in einem zweiten Schritt das optische Flussfeld mit einem oder mehreren Mustern verglichen, um ein oder das Bewegungsmuster in der Bildsequenz bzw. in der Überwachungsszene zu erkennen. Ein weiterer, optionaler Schritt besteht darin, dass dem erkannten Bewegungsmuster eine Überwachungssituation zugeordnet wird.
Ein weiterer Gegenstand betrifft ein Computerprogramm mit Programmcode-Mitteln mit den Merkmalen des Anspruchs 15. Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkung der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie den beigefügten Figuren. Dabei zeigen:
Figur 1 eine Blockdarstellung eines Videoüberwachungssystems als ein erstes Ausführungsbeispiel der Erfindung;
Figur 2 eine schematisierte Darstellung als ein erstes Beispiel für ein optisches
Flussfeld mit einem ersten Bewegungsmuster;
Figur 3 eine schematisierte Darstellung als ein zweites Beispiel für ein optisches
Flussfeld mit einem zweiten Bewegungsmuster;
Figur 4 eine schematisierte Darstellung als ein drittes Beispiel für ein optisches
Flussfeld mit einem dritten Bewegungsmuster;
Figur 5 eine schematisierte Darstellung als ein viertes Beispiel für ein optisches Flussfeld mit einem vierten Bewegungsmuster.
Ausführungsform(en) der Erfindung
Die Figur 1 zeigt in einer schematischen Blockdarstellung ein Videoüberwachungssystem
1 , welches zur Überwachung von Plätzen, Gebäuden, Kreuzungen, Verkehrsknotenpunkten und dergleichen einsetzbar und beispielsweise als Computersystem ausgebildet ist.
Das Videoüberwachungssystem 1 ist über eine Schnittstelle 2 mit einer oder mehreren
Überwachungskamera(s) 3 sowie einer oder mehreren Videorecorder(n) 4 verbunden. Die Überwachungskameras 3 sind zur Überwachung der genannten Überwachungsszenen positioniert und leiten den Bilddatenstrom entweder zunächst zur Zwischenspeicherung in den oder die Videorecorder 4 oder direkt in das Videoüberwachungssystem 1. Ausgehend von der Schnittstelle 2 werden die Bilddatenströme, welche Bildsequenzen der Überwachungsszene entsprechen, zunächst an ein Berechnungsmodul 5 übergeben. Das Berechnungsmodul 5 ist programmtechnisch und/oder schaltungstechnisch ausgebildet, um aus einer Bildsequenz einer Überwachungsszene ein optisches Flussfeld bzw. ein sich zeitlich veränderndes optisches Flussfeld zu erzeugen. Das optische
Flussfeld wird beispielsweise für die Translationsbewegungen von Pixeln oder Bildbereichen in den Bildern der Bildsequenz über mindestens zwei und vorzugsweise mehr als zehn Bilder erstellt. Es kann auch vorgesehen sein, dass das optische Flussfeld quasi gleitend für die Bildsequenz erstellt wird, indem für die Berechnung des aktuellen optischen Flussfelds jeweils das älteste Bild aus der Berechnung für das optische
Flussfeld entfernt wird und durch das neueste Bild der Bildsequenz ersetzt wird (FiFo).
Das erzeugte optische Flussfeld wird an ein Erkennungsmodul 6 übergeben, welches ausgebildet ist, das optische Flussfeld mit Mustern oder Mustermasken aus einem Musterspeicher 7 zu vergleichen, wobei die Muster in dem Musterspeicher 7 so konzipiert sind, dass Bewegungsmuster in der Bildsequenz bzw. in der Überwachungsszene erkannt werden können. Die Muster in dem Musterspeicher 7 können hierfür als zwei- oder dreidimensionale Datenfelder ausgebildet sein und von der Größe eine ähnliche Größe wie ein Bild der Bildsequenz oder wie ein Teilbereich eines Bildes der Bildsequenz aufweisen. Zur Erkennung eines Bewegungsmusters in dem optischen Flussfeld kann ein einziges Muster aus dem Musterspeicher 7 auf das optische Flussfeld angewandt werden, alternativ werden mehrere Muster aus dem Musterspeicher 7 auf das optische Flussfeld angewandt und das Bewegungsmuster anhand von Klassifikationsprozeduren, Entscheidungsbäumen, etc. erkannt.
Nachdem ein Bewegungsmuster erkannt wurde, wird dieses an ein Klassifizierungsmodul 8 übergeben, wobei das Klassifizierungsmodul 8 gestaltet ist, um dem erkannten Bewegungsmuster eine bestimmte reale Überwachungssituation, wie zum Beispiel Flucht, Zusammenströmen, Chaos, Panik etc. zuzuordnen. Sobald die Zuordnung des Bewegungsmusters zu der Überwachungssituation vollendet ist, kann optional über ein Benachrichtigungsmodul 9 eine Nachricht an ein Überwachungspersonal abgesetzt werden.
Das auf dem Videoüberwachungssystem 1 ablaufende Verfahren umfasst somit die Schritte der Annahme von Bildern bzw. Bildsequenzen einer Überwachungsszene, der Berechnung des optischen Flussfeldes für das aktuelle Bild der Bildsequenz, optional eine zeitliche Filterung des optischen Flussfeldes, um Störungen zu unterdrücken und die Bestimmung von Überwachungssituationen über den Vergleich des oder der optischen Flussfelder mit vorgegebenen Flussmasken oder Muster, welche typische Bewegungsmuster beschreiben, eine Analyse der berechneten Ähnlichkeiten, optional eine statistische Analyse der Bewegungsrichtungen für weitere Informationen und zur Absicherung der Ergebnisse und schließlich die Klassifikation der Überwachungssituation gegebenenfalls für verschiedene Bildbereiche.
Die Figur 2 zeigt in einer stark schematisierten Darstellung ein erstes Beispiel für ein optisches Flussfeld 10 mit einem Bewegungsmuster wie es beim Anströmen von Personen, wie zum Beispiel Schaulustigen, entsteht. Wie der Figur zu entnehmen ist, sind alle oder die meisten der Bewegungsvektoren 11 auf ein gemeinsames Zentrum 12 gerichtet, so dass dieses Bewegungsmuster in einfacher Weise automatisiert durch das Erkennungsmodul 6 erkannt werden kann. Das Bewegungsmuster ist beispielsweise als konvergentes Bewegungsmuster zu bezeichnen. Das durch das Erkennungsmodul 6 erkannte Bewegungsmuster wird dann dem Klassifizierungsmodul 8 gemeldet, welches diesem konvergenten Bewegungsmuster die Überwachungssituation „Anströmen von Personen" zuordnet. Nachdem das Anströmen von Personen zu einem gemeinsamen Zentrum 12 meistens dadurch ausgelöst ist, dass in dem gemeinsamen Zentrum 12 eine nicht vorhergesehene Gegebenheit passiert ist, wie zum Beispiel ein Unfall oder dergleichen, führt die Klassifizierung des konvergierenden Bewegungsmusters zu der Auslösung eines Alarms in dem Benachrichtigungsmodul 9.
Die Figur 3 zeigt ein zweites Ausführungsbeispiel eines schematisierten optischen
Flussfelds 10, welches ein Bewegungsmuster aufweist, das dem Auseinanderströmen von Personen, wie es zum Beispiel bei einer Flucht passiert, entspricht. Alle oder die meisten Flussvektoren 11 weisen bei diesem Ausführungsbeispiel von dem gemeinsamen Zentrum 12 sternförmig weg. Das Erkennungsmodul 6 wird dieses Bewegungsmuster beispielsweise als divergierendes Bewegungsmuster erkennen und an das
Klassifizierungsmodul 8 weitergeben. Das Klassifizierungsmodul 8 wird diesem divergierenden Bewegungsmuster die Überwachungssituation „Flucht" zuordnen und das Benachrichtigungsmodul 9 anweisen, einen Alarm auszulösen. Die Figur 4 zeigt ein drittes Beispiel für ein optische Flussfeld 10, wobei dieses dritte Beispiel das Bewegungsmuster von Personen zeigt, die ein Hindernis umlaufen. Hier ergeben sich für die Flussvektoren 11 zwei Strömungen, wobei die auf der linken Seite der Figur 4 angeordnete Strömung von oben nach unten verläuft und die auf der rechten Seite angeordnete Strömung von unten nach oben läuft. Das gemeinsame Zentrum 12 wird dabei von beiden Strömen umgangen. Nachdem das Klassifizierungsmodul 8 dieses Bewegungsmuster erhalten hat, wird es der Überwachungsszene die Überwachungssituation eines aufgetretenen Hindernisses zuordnen und ebenfalls in dem Benachrichtigungsmodul 9 einen Alarm auslösen.
Die Figur 5 zeigt schließlich ein letztes Ausführungsbeispiel für ein optisches Flussfeld 10, wobei die Flussvektoren 11 keine einheitliche Richtung aufweisen und kein gemeinsames Zentrum feststellbar ist. Bei der Übergabe eines derartigen Bewegungsmusters, welches möglicherweise als chaotisches Bewegungsmuster bezeichenbar ist, oder der Nachricht, dass kein Bewegungsmuster auffindbar war, wird das Klassifizierungsmodul 8 als Überwachungssituation von einer Paniksituation ausgehen und ebenfalls das Benachrichtigungsmodul 9 aktivieren.
Bei allen in den Figuren 2 bis 5 gezeigten Bewegungsmustern ist es möglich, die Ergebnisse und die Klassifizierung der Überwachungssituation in der Qualität dadurch zu verbessern, dass ergänzend statistische Auswertungen der Flussvektoren 11 durchgeführt werden und geprüft wird, ob die zu klassifizierende Überwachungssituation beispielsweise mit den Bewegungsgeschwindigkeiten der Flussvektoren logisch vereinbar ist. Die statistische Absicherung stellt somit eine zusätzliche Überprüfung der Ergebnisse dar.
Insgesamt wird mit der Erfindung ein videobasiertes Überwachungssystem vorgestellt, welches zur Beobachtung von Komplettszenarien einsetzbar ist, wobei es besonders für die Beobachtung von Gefahrensituationen in übervölkerten Szenen, also in Szenen, in denen sich sehr viele bewegte Objekte bewegen, geeignet ist.

Claims

Ansprüche
1. Vorrichtung (1) zur Erkennung und/oder Klassifizierung von einem Bewegungsmuster in einer Bildsequenz von einer Überwachungsszene mit einer Vielzahl von bewegten Objekten
mit einer Schnittstelle (2) zur Einspielung der Bildsequenz und
mit einem Berechnungsmodul (5) zur Bestimmung eines optischen Flussfeldes (10) in der Überwachungsszene durch Auswertung der Bildsequenz,
gekennzeichnet durch
ein Erkennungsmodul (6), welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon mit einem oder mehreren Mustern zu vergleichen, um das
Bewegungsmuster in der Bildsequenz zu erkennen.
2. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Bewegungsmuster als globales Bewegungsmuster ausgebildet ist, das die Bewegungen in der gesamten Überwachungsszene beschreibt.
3. Vorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bewegungsmuster als lokales Bewegungsmuster ausgebildet ist, das die Bewegung in einem Teilbereich der Überwachungsszene beschreibt, wobei der Teilbereich mehrere der bewegten Objekte aufweist und/oder aufweisen kann.
4. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Klassifikationsmodul (7), welches ausgebildet ist, auf Basis des erkannten Bewegungsmusters die Überwachungsszene einer insbesondere realen Überwachungssituation zuzuordnen.
5. Vorrichtung (1) nach Anspruch 4, dadurch gekennzeichnet, dass das Klassifikationsmodul (7) eine beliebige Auswahl der nachfolgenden Zuordnungen aufweist:
- ein Bewegungsmuster mit auf einen gemeinsamen Punkt (12) gerichteten Flusslinien (11) wird der Überwachungssituation „Versammeln" zugeordnet;
- ein Bewegungsmuster mit von einem gemeinsamen Punkt (11) weggerichteten Flusslinien (11) wird der Überwachungssituation „Verstreuen" zugeordnet;
- ein Bewegungsmuster mit um einen gemeinsamen Punkt (12) laufenden Flusslinien (11) wird der Überwachungssituation „Ausweichen" zugeordnet.
6. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Berechnungsmodul (5) ausgebildet ist, in dem Fall einer fehlenden oder ungenügenden Übereinstimmung bei dem Mustervergleich statistische Kenngrößen des Flussfelds zu ermitteln.
7. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster als zwei- oder dreidimensionales Datenfeld ausgebildet ist.
8. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, das Bewegungsmuster durch Anwendung eines Klassifikationsverfahrens zu erkennen.
9. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, das Bewegungsmuster auf Basis mehrerer gefundener Muster zu erkennen.
10. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das oder die Muster als lineare verschiebungsinvariante Muster ausgebildet sind.
11. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, den Mustervergleich über eine Cliffordfaltung umzusetzen.
12. Verfahren (1) zur Erkennung und zur Klassifizierung eines oder des Bewegungsmusters, vorzugsweise unter Verwendung der Vorrichtung nach einem der vorhergehenden Ansprüche, mit den Schritten:
- Berechnung eines oder des optischen Flussfeldes (10) in einer oder der Bildsequenz von einer oder der Überwachungsszene mit bewegten Objekten;
- Vergleich des optischen Flussfeldes (10) mit einem oder mehreren Mustern, um das Bewegungsmuster in der Bildsequenz zu erkennen.
13. Verfahren nach Anspruch 12, gekennzeichnet durch den Schritt: - Zuordnung des erkannten Bewegungsmusters zu einer insbesondere realen
Überwachungssituation.
14. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 12 oder 13 durchzuführen, wenn das Programm auf einem Computer und/oder einer Vorrichtung von jedem
Beliebigen der Ansprüche 1 bis 11 ausgeführt wird.
PCT/EP2008/057127 2007-07-05 2008-06-06 Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm WO2009003793A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP08760696A EP2174260A2 (de) 2007-07-05 2008-06-06 Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
US12/666,923 US8761436B2 (en) 2007-07-05 2008-06-06 Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007031302.2 2007-07-05
DE102007031302A DE102007031302A1 (de) 2007-07-05 2007-07-05 Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm

Publications (2)

Publication Number Publication Date
WO2009003793A2 true WO2009003793A2 (de) 2009-01-08
WO2009003793A3 WO2009003793A3 (de) 2009-05-14

Family

ID=40092439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/057127 WO2009003793A2 (de) 2007-07-05 2008-06-06 Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm

Country Status (4)

Country Link
US (1) US8761436B2 (de)
EP (1) EP2174260A2 (de)
DE (1) DE102007031302A1 (de)
WO (1) WO2009003793A2 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009000173A1 (de) 2009-01-13 2010-07-15 Robert Bosch Gmbh Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm
US9361706B2 (en) * 2009-11-30 2016-06-07 Brigham Young University Real-time optical flow sensor design and its application to obstacle detection
US20110157355A1 (en) * 2009-12-28 2011-06-30 Yuri Ivanov Method and System for Detecting Events in Environments
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
JP5776769B2 (ja) * 2011-05-24 2015-09-09 富士通株式会社 物体接近検知装置、物体接近検知方法、及びプログラム
CA2851732C (en) * 2013-04-19 2019-05-14 James Carey Video identification and analytical recognition system
DE102016210056A1 (de) 2016-06-08 2017-12-14 Robert Bosch Gmbh Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung
DE102016211049A1 (de) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum eine Vorrichtung und ein Verfahren zur Ausgabe wenigstens eines Alarmsignals
DE102017222898A1 (de) * 2017-12-15 2019-06-19 Siemens Aktiengesellschaft Automatisiertes Detektieren von Gefahrensituationen
DE102018108204B4 (de) 2018-04-06 2023-07-27 Rheinmetall Air Defence Ag Interventionssystem zur Abwehr eines Schwarms von unbemannten Flugkörpern und Verfahren zur Abwehr eines Schwarms von unbemannten Flugkörpern mittels eines solchen Interventionssystems
CN112911931B (zh) * 2018-09-21 2022-11-04 拜耳公司 用于检测节肢动物的成像设备和用于检测节肢动物的系统
EP4071712A1 (de) * 2019-11-21 2022-10-12 Trigo Vision Ltd. Artikelidentifikations- und -verfolgungssystem
US11580833B2 (en) * 2020-03-24 2023-02-14 Object Video Labs, LLC Camera detection of human activity with co-occurrence
CN112633100B (zh) * 2020-12-14 2023-08-08 深兰人工智能应用研究院(山东)有限公司 行为识别方法、装置、电子设备和存储介质
US11388555B1 (en) * 2020-12-30 2022-07-12 Here Global B.V. Method, apparatus, and computer program product for quantifying human mobility
DE102021206914A1 (de) * 2021-07-01 2023-01-05 Siemens Mobility GmbH Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006053286A1 (de) * 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
US7123745B1 (en) * 1999-11-24 2006-10-17 Koninklijke Philips Electronics N.V. Method and apparatus for detecting moving objects in video conferencing and other applications
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
US7646887B2 (en) * 2005-01-04 2010-01-12 Evolution Robotics Retail, Inc. Optical flow for object recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006053286A1 (de) * 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ANDRADE E L ET AL: "Detection of emergency events in crowded scenes" THE INSTITUTION OF ENGINEERING AND TECHNOLOGY CONFERENCE ON CRIME AND SECURITY: 13-14 JUNE 2006, LONDON, UK, IET, LONDON, 13. Juni 2006 (2006-06-13), Seiten 528-533, XP008103771 ISBN: 978-0-86341-647-7 *
AXEL BAUMANN ET AL: "A Review and Comparison of Measures for Automatic Video Surveillance Systems" EURASIP INTERNATIONAL JOURNAL OF IMAGE AND VIDEO PROCESSING, HINDAWI PUBLISHING CORPORATION, Bd. 2008, 1. Januar 2008 (2008-01-01), Seiten 1-30, XP008103644 ISSN: 1687-5176 *
DAVIES E ROY ED - DAVIES E ROY: "Chapter 18: Motion" 1. Januar 2005 (2005-01-01), MACHINE VISION: THEORY, ALGORITHMS, PRACTICALITIES, ELSEVIER, AMSTERDAM, PAGE(S) 505 - 544 , XP008103735 ISBN: 978-0-12-206093-9 Seite 525, Absatz 2 *
GRYN J M ET AL: "Detecting motion patterns via direction maps with application to surveillance" 2005 SEVENTH IEEE WORKSHOPS ON APPLICATIONS OF COMPUTER VISION (WACV/MOTION'05) - 5-7 JAN. 2005 - BRECKENRIDGE, CO, USA, IEEE, LOS ALAMITOS, CALIF., USA, Bd. 1, 5. Januar 2005 (2005-01-05), Seiten 202-209, XP008103792 ISBN: 978-0-7695-2271-5 *
HAUSSECKER H ET AL: "Chapter 10: Motion" COMPUTER VISION AND APPLICATIONS, ACADEMIC PRESS, SAN DIEGO, CA, US, 1. Januar 2000 (2000-01-01), Seiten 347-395, XP008103742 ISBN: 978-0-12-379777-3 *
JULIA EBLING ET AL: "Clifford Convolution and Pattern Matching on Irregular Grids" SCIENTIFIC VISUALIZATION: THE VISUAL EXTRACTION OF KNOWLEDGE FROM DATA, SPRINGER BERLIN HEIDELBERG, BERLIN HEIDELBERG, 1. Januar 2006 (2006-01-01), Seiten 231-248, XP008103638 ISBN: 978-3-540-26066-0 [gefunden am 2006-01-20] *
JULIA EBLING ET AL: "Topology Based Flow Analysis and Superposition Effects" TOPOLOGY-BASED METHODS IN VISUALIZATION, SPRINGER-VERLAG BERLIN HEIDELBERG, BERLIN, HEIDELBERG, 1. Januar 2007 (2007-01-01), Seiten 91-104, XP008103637 ISBN: 978-3-540-70823-0 [gefunden am 2007-05-24] *
JULIA EBLING: "Visualization and Analysis of Flow Fields based on Clifford Convolution" DISSERTATION UNIVERSITAET LEIPZIG,, 17. Juli 2006 (2006-07-17), Seiten 1-178, XP008098608 in der Anmeldung erwähnt *

Also Published As

Publication number Publication date
US8761436B2 (en) 2014-06-24
WO2009003793A3 (de) 2009-05-14
DE102007031302A1 (de) 2009-01-08
EP2174260A2 (de) 2010-04-14
US20100177936A1 (en) 2010-07-15

Similar Documents

Publication Publication Date Title
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
EP2297701B1 (de) Videoanalyse
EP1574986B1 (de) Vorrichtung und Verfahren zum Erfassen und Verfolgen von Personen in einem Untersuchungsabschnitt
DE102014105351A1 (de) Detektion von menschen aus mehreren ansichten unter verwendung einer teilumfassenden suche
EP2386092A1 (de) Vorrichtung, verfahren und computerprogramm zum bildbasierten zählen von objekten, die eine zählstrecke in einer vorgegebenen richtung durchschreiten
DE102008043954A1 (de) Sensornetzwerksystem, Übertragunsprotokoll, Verfahren zum Wiedererkennen eines Objekts sowie Computerprogramm
DE102006053286A1 (de) Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
EP2034461A2 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
EP2875498B1 (de) Überwachungssystem mit positionsabhängigem schutzbereich, verfahren zur überwachung eines überwachungsbereichs sowie computerprogramm
DE102012218870A1 (de) Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern
EP3557549A1 (de) Verfahren zur bewertung eines bewegungsereignisses
DE102016223106A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102005006989A1 (de) Verfahren für die Überwachung eines Überwachungsbereichs
WO2010139495A1 (de) Verfahren und vorrichtung zum klassifizieren von situationen
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
WO2011124483A1 (de) Verfahren und vorrichtung zur lokalisierung von personen in einem vorgegebenen bereich
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
WO1997004428A1 (de) Interaktives überwachungssystem
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
EP0777864B1 (de) System und verfahren zur bildauswertung
DE19600958A1 (de) Interaktives Überwachungssystem
DE102017222675A1 (de) Personenerkennung mittels einer Kamera
DE102006027120A1 (de) Bildverarbeitungsverfahren, Videoüberwachungssystem sowie Computerprogramm
DE19701186C2 (de) Interaktives Überwachungssystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08760696

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2008760696

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12666923

Country of ref document: US