WO2011117170A1 - Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen - Google Patents

Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen Download PDF

Info

Publication number
WO2011117170A1
WO2011117170A1 PCT/EP2011/054191 EP2011054191W WO2011117170A1 WO 2011117170 A1 WO2011117170 A1 WO 2011117170A1 EP 2011054191 W EP2011054191 W EP 2011054191W WO 2011117170 A1 WO2011117170 A1 WO 2011117170A1
Authority
WO
WIPO (PCT)
Prior art keywords
activity
monitoring
moving objects
scene
visualizing
Prior art date
Application number
PCT/EP2011/054191
Other languages
English (en)
French (fr)
Inventor
Daniel Gottschlag
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US13/636,820 priority Critical patent/US9008361B2/en
Priority to EP11709398.9A priority patent/EP2553660B1/de
Priority to CN201180015355.2A priority patent/CN102834848B/zh
Publication of WO2011117170A1 publication Critical patent/WO2011117170A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a method for the visualization of centers of activity in a monitoring scene monitored by at least one monitoring device and to a corresponding monitoring system.
  • Monitoring systems serve to control relevant areas and usually include a plurality of monitoring devices, for example surveillance cameras, which are provided at the relevant areas for recording surveillance scenes.
  • monitoring devices for example surveillance cameras, which are provided at the relevant areas for recording surveillance scenes.
  • laser- or infrared-based motion sensors such as e.g.
  • Motion detectors or photocells are used.
  • treadplates are called, which trigger a signal when entering.
  • the surveillance scenes may include, for example, parking lots, intersections, roads, squares but also areas in buildings, factories, hospitals or the like.
  • the data recorded by the monitoring devices such as image data streams, are merged into a monitoring center, where these are either automated or evaluated by monitoring personnel.
  • the manual evaluation of image data streams sometimes causes great difficulties, since in particular in surveillance scenes with a large number of moving objects, for example in street scenes, a correspondingly large number of moving objects must be monitored, and in that the image quality of the surveillance scenes shown, for example, due to changes in lighting, the influence of weather or contamination of surveillance cameras are often insufficient.
  • supervised surveillance scenes contain three-dimensional objects, whereby movement processes are often obscured by the objects and thus not accessible to direct observation. Electronic support for the monitoring staff is therefore appropriate.
  • 3D scene models may have any degree of abstraction, for example, surfaces of monitored houses, signals, roads, and the like may be represented as abstracted sheets.
  • An abstracted, latticed reproduction of three-dimensional objects can also take place in a 3D scene model, so that objects detected by the monitoring devices but hidden in the current view of the 3D scene model become recognizable.
  • interactive navigation for example by means of appropriate computer systems.
  • the present invention can be used as a system for real-time visualization of activity focuses in multi-camera networks in the field of video surveillance technology.
  • motions arising" and “centers of activity” may include both motion density and motion intensity.
  • a density of movement can refer to a number of moving objects. If there is a movement of a large number of moving objects, the density of movement is high.
  • a movement intensity can also refer, for example, to the speed of a moving object.
  • an emphasis on a density of movement or a movement intensity in a surveillance scene may be of interest. For example, a single object moving quickly but separated from other objects may require closer inspection, or, alternatively, targeted observation of high density areas of moving objects may be required.
  • object recognition and object tracking by monitoring devices in particular by image analysis of the video material of several calibrated cameras (stand-alone cameras without overlapping viewing areas and cameras with overlapping viewing areas) are possible.
  • other monitoring devices such as e.g. Motion sensors, to be used.
  • An image can be made in a virtual 3D model of the monitored scene on the basis of detected person and object movements of established activity emphases. This enables immediate visual highlighting of regions with high volumes of activity or with focal points of activity directly in the 3D model. Due to the preferred possibility for interactive navigation in the 3D scene model, a direct control of such regions with a high volume of movement or activity centers can be made in order to take a closer look at these areas.
  • mapping of recognized person and object movements into a virtual SD model of the monitored scene is carried out, for example, as described in WO 2009/068336 A2 of the Applicant, to which reference is made at this point for details of execution.
  • model-based 3D position determination disclosed therein, an object is recorded with a calibrated camera, wherein the 3D position of the object is determined as the intersection of the visual lines with the scene model.
  • 2D 3D imaging can also be done using simple floor models, where the objects detected in the image are projected directly onto the ground plane using camera calibration information.
  • no mapping may be necessary because the sensor data can be transferred directly to the model, provided the position of the sensor in the scene model is known.
  • 3D models can be generated from the respectively generated image material, but can also be provided in advance, for example by means of measurement data and / or CAD software.
  • the proposed method advantageously abstracts an activity (such as a motion or activity centroid) in a corresponding system. Movements of multiple spatial proximity objects can be aggregated to identify centers of activity.
  • the quantity of activity can be coded by the size of a highlighted region and its color. In particular, the number, speed, acceleration and / or jerk of moving objects can serve as a measure of the quantity.
  • Such a visual representation of the centers of activity can be superimposed on the image of the virtual 3D model so that the movement volume remains detectable even in the case of obscuration.
  • the visualization can be done in particular in a false color representation (color coding of the activity level).
  • the proposed measures therefore allow a clear representation of movement intensities even in crowded scenes. Because motions can preferably be detected by individual cameras within the scope of the method according to the invention, a possible erroneous object correspondence between cameras only plays a subordinate role.
  • the representation in the context of the method according to the invention can have any degree of abstraction, so that no distraction of relevant movements can be achieved by an excessively realistic representation.
  • a current number of active objects can be used and evaluated in real time.
  • Figure 1 shows a schematic representation of a method according to a particularly preferred embodiment of the invention.
  • FIG. 2 shows a visualization of activity focuses according to a particularly preferred embodiment of the invention.
  • FIG. 1 a method according to a particularly preferred embodiment of the invention is shown schematically and designated 100 as a whole.
  • 100 shows three parallel partial methods 150, 150 'and 150 ", which are respectively assigned to individual monitoring devices It should be understood that within the scope of the present invention, a different number of parallel monitoring partial methods can also run, each of which then has its own monitoring devices A bundling of partial methods is also possible. For the sake of clarity, only partial method 150 is illustrated below.
  • an image is taken, ie the generation of image material, by a monitoring device 11 1 formed here as a surveillance camera.
  • the monitoring device 11 1 is calibrated in particular so that its position, orientation, focal length, etc. are known.
  • an identification of a moving object and / or the generation of a trajectory 1 12 of the moving object in the image material is undertaken, for example by an evaluation device assigned to the monitoring device 1 1 1.
  • a spatial localization 1 13 of the object recognized or recognized in the previous step 102 takes place
  • Objects 1 12 in a 3D scene model For example, an object with the calibrated camera 1 1 1 is taken for the SD position determination, wherein the 3D position of the object is determined as the intersection of the visual line with the scene model.
  • the scene model is preferably obtained from CAD data.
  • step 1 10 the respective partial methods 150, 150 'and 150 "are bundled and used to visualize the centers of gravity of the moving objects, as explained in the following Figure 2.
  • the visualization of the centers of activity is as in the context of 2 is a representation of identified activity focuses in a three-dimensional scene model, such as may be obtained based on the invention on a computer screen, for example 3 shows the 3D scene model 201, which in the present example shows a number of spaces from a perspective view
  • CAD data are obtained.
  • a viewer or user of a corresponding evaluation system looks at the computer screen, on which a virtual 3D scene, in this case illustrated as a building, is shown.
  • the rooms are equipped at certain points with calibrated and adjusted cameras as image recording devices whose viewpoints are displayed here (optional) and are marked with 210 in the 3D scene model.
  • FIG. 2 four centers of activity 220, 230, 240 and 250 are shown, which-like a thermal image or contour lines-represent the detected activity.
  • the number of moving objects is used. It can be seen that there is little activity at 250, which may correspond to a moving object. At 240 there is a higher activity, which may correspond, for example, to two moving objects. At 230, there is again higher and spatially more distributed activity, from which it can be concluded that at location 230 a number of objects are moving in a larger area. Finally, at point 220 there is a very high but concentrated activity, from which it can be concluded that there are many moving objects at this point.
  • the intensity distribution can be provided, for example, as a bell curve normalized to the respective measure around the moving object, in which case the intensities of adjacent objects can add up accordingly.
  • a measure of the activity is used in a preferred embodiment, the number of moving objects. It should be understood, however, that as a measure, the speed, acceleration and / or jerk can serve, which are mathematically processed, in particular summed up, but also averaged and the like.
  • the activity level is displayed in a color similar to a heat image, wherein a high activity, for example red to yellow and a low activity green to blue can be characterized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Es wird ein Verfahren zur Visualisierung von Aktivitätsschwerpunkten in einer durch wenigstens eine Überwachungseinrichtung (111, 111', 111'') überwachten Überwachungsszene vorgeschlagen, bei dem durch die wenigstens eine Überwachungseinrichtung bewegte Objekte (112, 112', 112'') identifiziert und/oder nachverfolgt werden (102, 102', 102''), eine räumliche Lokalisierung (113, 113',113'') der bewegten Objekte (112, 112', 112'') ermittelt wird (103, 103', 103''), Aktivitätsschwerpunkte festgestellt werden und eine Visualisierung der Aktivitätsschwerpunkte der bewegten Objekte (112, 112', 112'') vorgenommen wird.

Description

Beschreibung
Titel
Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen Die vorliegende Erfindung betrifft ein Verfahren zur Visualisierung von Aktivitätsschwerpunkten in einer durch wenigstens eine Überwachungseinrichtung überwachten Überwachungsszene sowie ein entsprechendes Überwachungssystem.
Stand der Technik
Überwachungssysteme dienen zur Kontrolle von relevanten Bereichen und umfassen üblicherweise eine Mehrzahl von Überwachungseinrichtungen, beispielsweise Überwachungskameras, die an den relevanten Bereichen zur Aufnahme von Überwachungsszenen vorgesehen sind. Alternativ oder zusätzlich können auch beispielsweise laser- oder infrarotgestützte Bewegungssensoren, wie z.B.
Bewegungsmelder oder Lichtschranken, verwendet werden. Als weiteres Beispiel sind Trittplatten zu nennen, die beim Betreten ein Signal auslösen. Die Überwachungsszenen können beispielsweise Parkplätze, Kreuzungen, Straßen, Plätze aber auch Bereiche in Gebäuden, Fabriken, Krankenhäusern oder dergleichen umfassen. Die von den Überwachungseinrichtungen aufgenommenen Daten, beispielsweise Bilddatenströme, werden in einer Überwachungszentrale zusammengeführt, wo diese entweder automatisiert oder durch Überwachungspersonal ausgewertet werden. Insbesondere die manuelle Auswertung von Bilddatenströmen bereitet mitunter große Schwierigkeiten, da insbesondere in Überwachungsszenen mit einer Vielzahl sich bewegender Objekte, beispielsweise bei Straßenszenen, eine entsprechend große Anzahl bewegter Objekte überwacht werden muss, und dadurch, dass die Bildqualität der dargestellten Überwachungsszenen beispielsweise auf- grund von Beleuchtungsänderungen, Witterungseinfluss oder Verschmutzungen der Überwachungskameras häufig ungenügend sind. Üblicherweise überwachte Überwachungsszenen beinhalten dreidimensionale Objekte, wobei Bewegungsvorgänge häufig durch die Objekte verdeckt und damit einer direkten Beobach- tung nicht zugänglich sind. Eine elektronische Unterstützung des Überwachungspersonals ist daher zweckmäßig.
Es ist allgemein bekannt, durch Multi-Kamera-Netzwerke erfasste Überwachungsszenen als dreidimensionale Modelle darzustellen (im folgenden als 3D- Szenenmodelle bezeichnet). Derartige 3D-Szenenmodelle können einen beliebigen Abstraktionsgrad aufweisen, beispielsweise können Oberflächen von überwachten Häusern, Signalen, Straßen und dergleichen als abstrahierte Flächengebilde dargestellt werden. In einem 3D-Szenenmodell kann auch eine abstrahierte, gitterförmige Wiedergabe dreidimensionaler Objekte erfolgen, so dass durch die Überwachungseinrichtungen erfasste, jedoch in der momentanen Ansicht des 3D-Szenenmodells verdeckte Objekte erkennbar werden. In derartigen 3D-Szenenmodellen besteht die Möglichkeit zur interaktiven Navigation, beispielsweise durch entsprechende Computersysteme. Aus der DE 10 2007 048 857 A1 ist in diesem Zusammenhang ein Verfahren bekannt, das es erlaubt, ein dreidimensionales Szenenmodell mit realitätsnahen Texturen auszustatten, wobei die Texturen in regelmäßigen oder unregelmäßigen Abständen aktualisiert werden können. Aus der WO 2009/068336 A2 ist eine modellbasierte 3D-Positionsbestimmung eines Objektes bekannt. Das Objekt wird dazu mit einer kalibrierten Kamera aufgenommen, wobei die 3D-Position des Objektes als Schnittpunkt der Sichtgeraden mit dem Szenenmodell bestimmt wird. Der im Juli 2009 eingereichten Veröffentlichung von Sankaranarayanan et al.,
"Modeling and Visualization of Human Activities for Multi-Camera Networks" (EURASIP Journal on Image and Video Processing) ist ein System zu entnehmen, mit welchem die Projektion von in Bildern erkannten Personenbewegungen in 3D-Szenenmodelle möglich ist. Unter Verwendung eines a ρπ'ο/7-Wissens der 3D-Struktur der Szene und der Kamerakalibrierung ist das System in der Lage, Personen zu lokalisieren, die sich durch die Szene bewegen. Aktivitäten von Interesse werden dadurch bestimmt, dass Modelle dieser Aktivitäten im Rahmen eines selbstlernenden Verfahrens mit den Beobachtungen verglichen werden.
Wang et al. beschreiben in "Correspondence-Free Multi-Camera Activity Analysis and Scene Modeling" (Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2008) die Zusammenfassung gleichgerichteter Bewegungen, wodurch Aktivitätsschwerpunkte auch in überfüllten Szenen darstellbar sein sollen. Die Verwendung von 3D-Szenenmodell ist jedoch hiervon nicht umfasst.
In den aus dem Stand der Technik bekannten Verfahren führt die Darstellung von Einzeltrajektorien bei einer Vielzahl bewegter Objekte häufig zu einer großen Unübersichtlichkeit und damit zu letztlich geringem Informationsgehalt. Durch Objekte verdeckte oder lediglich durch Einzelkameras erfasste Bewegungen können häufig nicht erfasst werden. Zudem nimmt die Qualität der Trajektorien bei Vorliegen fehlerhafter Objektkorrespondenzen, d. h. bei nicht absolut exaktem Kameraabgleich, häufig stark ab.
Es besteht daher weiterhin der Bedarf nach Verfahren zur Visualisierung von Aktivitätsschwerpunkten, insbesondere in Multi-Kamera-Netzwerken, die die genannten Nachteile des Standes der Technik überwinden.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren sowie ein Überwachungssystem mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die vorliegende Erfindung kann insbesondere als ein System zur Echtzeit- Visualisierung von Aktivitätsschwerpunkten in Multi-Kamera-Netzwerken im reich der Videoüberwachungstechnik zum Einsatz kommen. Es sei zu verstehen gegeben, dass die verwendeten Begriffe "Bewegungsaufkommen" und "Aktivitätsschwerpunkte" sowohl eine Bewegungsdichte als auch eine Bewegungsintensität umfassen können. Eine Bewegungsdichte kann sich auf eine Anzahl sich bewegender Objekte beziehen. Liegt eine Bewegung einer großen Anzahl sich bewegender Objekte vor, ist die Bewegungsdichte hoch. Eine Bewegungsintensität kann sich beispielsweise auch auf die Geschwindigkeit eines sich bewegenden Objektes beziehen. Je nach Anforderung kann eine Betonung einer Bewegungsdichte oder einer Bewegungsintensität in einer Überwa- chungsszene von Interesse sein. So kann beispielsweise ein Einzelobjekt, das sich schnell, jedoch getrennt von anderen Objekten bewegt, eine nähere Inaugenscheinnahme erfordern, öder es kann alternativ eine gezielte Beobachtung von Bereichen mit hoher Dichte sich bewegender Objekte gefordert sein. Vorteile der Erfindung
Mittels des erfindungsgemäßen Verfahrens ist eine Objekterkennung und Objektverfolgung durch Überwachungseinrichtungen, insbesondere durch Bildanalyse des Videomaterials mehrerer kalibrierter Kameras (alleinstehender Kameras ohne überlappende Sichtbereiche und Kameras mit überlappenden Sichtbereichen) möglich. Daneben können jedoch ebenso andere Überwachungseinrichtungen, wie z.B. Bewegungssensoren, verwendet werden.
Es kann eine Abbildung (Projektion) aufgrund erkannter Personen- und Objekt- bewegungen festgestellter Aktivitätsschwerpunkte in ein virtuelles 3D-Modell der überwachten Szene erfolgen. Hierdurch ist eine unmittelbare visuelle Hervorhebung von Regionen mit hohem Bewegungsaufkommen bzw. mit Aktivitätsschwerpunkten direkt im 3D-Modell möglich. Durch die bevorzugte Möglichkeit zur interaktiven Navigation im 3D-Szenenmodell kann eine direkte Ansteuerung derartiger Regionen mit hohem Bewegungsaufkommen bzw. von Aktivitätsschwerpunkten erfolgen, um diese Bereiche näher zu betrachten.
Die Abbildung erkannter Personen- und Objektbewegungen in ein virtuelles SD- Modell der überwachten Szene erfolgt beispielsweise so, wie es in der WO 2009/068336 A2 der Anmelderin beschrieben ist, auf die an dieser Stelle bezüglich Details zur Ausführung verwiesen wird. Für die dort offenbarte modellbasierte 3D-Positionsbestimmung wird ein Objekt mit einer kalibrierten Kamera aufgenommen, wobei die 3D-Position des Objektes als Schnittpunkt der Sichtgeraden mit dem Szenenmodell bestimmt wird. Die 2D-3D-Abbildung kann auch über einfache Bodenmodelle erfolgen, bei denen die im Bild erkannten Objekte direkt mithilfe der Kamerakalibrierungsinformation auf die Bodenebene projiziert werden. Bei andersartigen Sensoren (z.B. Bewegungsmelder) ist ggf. keine Abbildung erforderlich, da die Sensordaten direkt ins Modell übernommen werden können, sofern die Position des Sensors im Szenenmodell bekannt ist.
3D-Modelle lassen sich grundsätzlich aus dem jeweils generierten Bildmaterial erzeugen, können aber auch beispielsweise vorab, etwa durch Aufmaßdaten und/oder CAD-Software, bereitgestellt werden.
Das vorgeschlagene Verfahren stellt in einem entsprechenden System vorteilhafterweise eine Aktivität (wie etwa ein Bewegungsaufkommen bzw. eine Aktivitätsschwerpunkt) abstrakt dar. Bewegungen mehrerer räumlichen Nahobjekte können zusammengefasst werden, um Aktivitätsschwerpunkte zu identifizieren. Die Quantität der Aktivität kann durch die Größe einer hervorgehobenen Region und ihre Farbe kodiert werden. Insbesondere können als Maß für die Quantität die Anzahl, Geschwindigkeit, Beschleunigung und/oder Ruck bewegter Objekte dienen. Eine derartige visuelle Darstellung der Aktivitätsschwerpunkte kann dem Bild des virtuellen 3D-Modells überlagert werden, so dass auch bei Objektverdeckungen das Bewegungsaufkommen erkennbar bleibt. Die Visualisierung kann insbesondere in einer Falschfarbendarstellung (Farbkodierung der Aktivitätshöhe) erfolgen.
Die vorgeschlagenen Maßnahmen erlauben daher auch in überfüllten Szenen ei- ne übersichtliche Darstellung von Bewegungsintensitäten. Weil im Rahmen des erfindungsgemäßen Verfahrens Bewegungen vorzugsweise durch Einzelkameras erfasst werden können, spielt eine mögliche fehlerhafte Objektkorrespondenz zwischen Kameras nur mehr eine untergeordnete Rolle. Die Darstellung im Rahmen des erfindungsgemäßen Verfahrens kann einen beliebigen Abstraktionsgrad aufweisen, so dass keine Ablenkung von relevanten Bewegungen durch eine übermäßig realistische Darstellung mehr erfolgen kann. Im Gegensatz zu den zuvor genannten Verfahren des Standes der Technik kann eine aktuelle Anzahl aktiver Objekte genutzt und in Echtzeit ausgewertet werden.
Im durch Sankaranarayanan et al. offenbarten Verfahren ist es beispielsweise nicht möglich, Aktivitäten in verdeckten Szenenbereichen (z.B. hinter Wänden) zu erkennen. Die dort vorgesehene photorealistische Darstellung lenkt durch ei- ne Vielzahl von Texturdetails und durch komplexe Personenmodelle von der eigentlichen Bewegung ab. Hierdurch fällt die Bewegung weniger stark ins Auge, so dass, insbesondere im Rahmen einer manuellen Auswertung von Überwachungsszenen bzw. entsprechenden Bilddatenströmen, eine Bewegung möglicherweise nicht oder zu spät erkannt wird. Diese Nachteile werden durch das er- findungsgemäß vorgeschlagene abstrahierende Verfahren zur Echtzeit-
Visualisierung von Aktivitätsschwerpunkten überwunden.
Im Gegensatz zu der zuvor genannten Veröffentlichung von Wang et al. ist es dem nun Betrachter möglich, sich bewegende Objekte (Bewegungsaufkommen), die durch alleinstehende Kameras (d.h. durch Kameras, die keine überlappende
Sichtbereiche mit anderen Kameras aufweisen) aufgenommen werden, visuell in den Gesamtkontext einzubeziehen. Ebenso ist im Gegensatz hierzu eine Akkumulation von Bewegungen über einen längeren Zeitraum nicht mehr erforderlich. Somit wird durch die erfindungsgemäßen Maßnahmen ein direktes visuelles
Feedback für Bewegungen auch in verdeckten Bereichen des 3D-Modells durch eine dem 3D-Bild überlagerte Aktivitätsanzeige erzeugt. Durch eine Kodierung der Quantität des Bewegungsaufkommens durch visuelle Mittel, wie beispielsweise Farbe, kann eine sehr rasche und einleuchtende Darstellung von mögli- cherweise kritischen Bewegungsvorgängen erzielt werden.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung. Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Kurze Beschreibung der Zeichnungen
Figur 1 zeigt eine schematische Darstellung eines Verfahrens gemäß einer besonders bevorzugten Ausführungsform der Erfindung.
Figur 2 zeigt eine Visualisierung von Aktivitätsschwerpunkten gemäß einer besonders bevorzugten Ausführungsform der Erfindung.
Ausführungsform(en) der Erfindung
In Figur 1 ist ein Verfahren gemäß einer besonders bevorzugten Ausführungsform der Erfindung schematisch dargestellt und insgesamt mit 100 bezeichnet. In Figur 100 sind drei parallel ablaufende Teilverfahren 150, 150' und 150" dargestellt, die jeweils einzelnen Überwachungseinrichtungen zugeordnet sind. Es sei zu verstehen gegeben, dass im Rahmen der vorliegenden Erfindung auch eine andere Anzahl paralleler Überwachungsteilverfahren ablaufen kann, die dann jeweils eigenen Überwachungseinrichtungen zugeordnet sind. Eine Bündelung von Teilverfahren ist ebenso möglich. Nachfolgend wird der Übersichtlichkeit halber lediglich Teilverfahren 150 veranschaulicht.
In einem optionalen Schritt 101 erfolgt eine Bildaufnahme, d.h. das Generieren von Bildmaterial, durch eine hier als Überwachungskamera ausgebildete Überwachungseinrichtung 1 1 1. Die Überwachungseinrichtung 1 1 1 ist insbesondere kalibriert, so dass ihre Position, Ausrichtung, Brennweite usw. bekannt sind. In Schritt 102 wird, beispielsweise durch eine der Überwachungseinrichtung 1 1 1 zugeordnete Auswerteeinrichtung, eine Identifizierung eines sich bewegenden Objekts und/oder die Erzeugung einer Trajektorie 1 12 des sich bewegenden Objekts in dem Bildmaterial vorgenommen. In Schritt 103 erfolgt eine räumliche Lo- kalisierung 1 13 des im vorigen Schritt 102 erkannten Objekts bzw. der erkannten
Objekte 1 12 in einem 3D-Szenenmodell. Beispielsweise wird für die SD- Positionsbestimmung ein Objekt mit der kalibrierten Kamera 1 1 1 aufgenommen, wobei die 3D-Position des Objektes als Schnittpunkt der Sichtgeraden mit dem Szenenmodell bestimmt wird. Bezüglich weiterer Details zur Ausführung sei an dieser Steller auf die WO 2009/068336 A2 der Anmelderin verwiesen. Das Szenenmodell wird vorzugsweise aus CAD-Daten erhalten.
In Schritt 1 10 werden die jeweiligen Teilverfahren 150, 150' und 150" gebündelt und zur Visualisierung der Bewegungsschwerpunkte der bewegten Objekte ver- wendet, wie in der nachfolgenden Figur 2 erläutert. In Figur 2 ist die Visualisierung der Aktivitätsschwerpunkte, wie sie im Rahmen einer besonders bevorzugten Ausführungsform vorgenommen wird, veranschaulicht und insgesamt mit 200 bezeichnet. In Figur 2 ist eine Darstellung von erkannten bzw. bestimmten Aktivitätsschwerpunkten in einem dreidimensionalen Szenenmodell dargestellt, wie sie auf Grundlage der Erfindung beispielsweise auf einem Computerbildschirm erhalten werden kann. Auf dem Computerbildschirm ist zunächst das 3D-Szenenmodell 201 dargestellt, das im vorliegenden Beispiel eine Anzahl von Räumen aus einer perspektivischen Ansicht zeigt. Das 3D-Szenenmodell kann beispielsweise aus
CAD-Daten erhalten werden. Ein Betrachter bzw. Nutzer eines entsprechenden Auswertesystems blickt auf den Computerbildschirm, auf dem eine virtuelle 3D- Szene, in diesem Fall als Gebäude veranschaulicht, dargestellt ist. Die Räume sind an bestimmten Stellen mit kalibrierten und justierten Kameras als Bildauf- nahmevorrichtung ausgestattet, deren Standpunkte hier angezeigt werden (optional) und innerhalb des 3D-Szenenmodells mit jeweils 210 gekennzeichnet sind.
Werden von den Kameras 210 - beispielsweise auf Grundlage einer bevorzugten Ausführungsform gemäß Figur 1 - Objekte erkannt, erfolgt gemäß einer bevor- zugten Ausführungsform der Erfindung die Darstellung durch eine Anzeige von Aktivitätsschwerpu nkten .
Gemäß Figur 2 werden vier Aktivitätsschwerpunkte 220, 230, 240 und 250 dar- gestellt, die - ähnlich einem Wärmebild oder Höhenlinien - die erkannte Aktivität darstellen. Als Maß für die Aktivität wird im vorliegenden Beispiel die Anzahl der sich bewegenden Objekte verwendet. Es ist erkennbar, dass bei 250 nur eine geringe Aktivität vorliegt, was einem bewegten Objekt entsprechen kann. Bei 240 liegt eine höhere Aktivität vor, was beispielsweise zwei bewegten Objekten ent- sprechen kann. Bei 230 liegt eine erneut höhere und auch räumlich stärker verteilte Aktivität vor, woraus geschlossen werden kann, dass sich an der Stelle 230 eine Anzahl von Objekten in einem größeren Bereich bewegt. An der Stelle 220 schließlich liegt eine sehr hohe, aber konzentrierte Aktivität vor, woraus geschlossen werden kann, dass sich sehr viele bewegte Objekte an dieser Stelle befinden.
Als Alternatives Maß für einen Aktivitätsschwerpunkt kann die Bewegungsgeschwindigkeit dienen. In diesem Falle werden sich schneller bewegende Objekte mit einer höheren Intensität und sich langsamer bewegende Objekte mit einer geringeren Intensität dargestellt.
Die Intensitätsverteilung kann beispielsweise als auf das jeweilige Maß normierte Glockenkurve um das bewegte Objekt bereitgestellt werden, wobei sich dann die Intensitäten von benachbarten Objekten entsprechend addieren können. Als Maß für die Aktivität dient in bevorzugter Ausführungsform die Anzahl bewegter Objekte. Es sei jedoch zu verstehen gegeben dass als Maß auch die Geschwindigkeit, Beschleunigung und/oder der Ruck dienen können, welche mathematisch verarbeitet werden, insbesondere aufsummiert, aber auch gemittelt u.ä. Gemäß einer bevorzugten Ausführungsform wird das Aktivitätsniveau ähnlich einem Wär- mebild farblich dargestellt, wobei eine hohe Aktivität beispielsweise rot bis gelb und eine niedrige Aktivität grün bis blau gekennzeichnet werden kann.

Claims

Ansprüche
1 . Verfahren zur Visualisierung (200) von Aktivitätsschwerpunkten (220, 230, 240, 250) in einer durch wenigstens eine Überwachungseinrichtung (1 1 1 , 1 1 1 ", 1 1 1 "; 210) überwachten Überwachungsszene mit den folgenden Schrit- ten:
a) Identifizieren und/oder Nachverfolgen (102, 102', 102") bewegter Objekte (1 12, 1 12', 1 12") durch die wenigstens eine Überwachungseinrichtung (1 1 1 , 1 1 1 ', 1 1 1 "; 210),
b) Ermitteln (103, 103', 103") einer räumlichen Lokalisierung (1 13, 1 13', 1 13") der bewegten Objekte (1 12, 1 12', 1 12") in der Überwachungsszene, und
c) Feststellen und Visualisieren (200) von Aktivitätsschwerpunkten (220, 230, 240, 250) der bewegten Objekte (1 12, 1 12', 1 12") in der Überwachungsszene.
2. Verfahren nach Anspruch 1 , bei dem die Aktivitätsschwerpunkte (220, 230, 240, 250) basierend auf der Anzahl, Geschwindigkeit, Beschleunigung und/oder dem Ruck der erkannten bewegten Objekte (1 12, 1 12', 1 12") bestimmt werden.
3. Verfahren nach Anspruch 1 oder 2, bei dem die die Aktivitätsschwerpunkte (220, 230, 240, 250) mittels einer Farbkodierung und/oder einer Größenkodierung visualisiert werden, wobei einem Maß der Aktivität eine Farbe bzw. eine Größe zugeordnet wird.
4. Verfahren nach einem der vorstehenden Ansprüche, bei dem das Feststellen von Aktivitätsschwerpunkten (220, 230, 240, 250) auf Grundlage einer Bündelung von Bewegungen und/oder einer Bündelung von Bewegungstrajekto- rien vorgenommen wird. Verfahren nach einem der vorstehenden Ansprüche, bei dem Überwachungseinrichtungen (111 , 111 ', 111 "; 210) mit einander wenigstens teilweise überlappenden Überwachungsbereichen und/oder Überwachungseinrichtungen (111, 111', 111"; 210) mit einander nicht überlappenden Überwachungsbereichen verwendet werden.
Verfahren nach einem der vorstehenden Ansprüche, das in Echtzeit ausgeführt wird.
Verfahren nach einem der vorstehenden Ansprüche, bei als Überwachungseinrichtung wenigstens eine Überwachungskamera (111, 111', 111"; 210) und/oder wenigstens ein Bewegungssensor verwendet wird.
Verfahren nach einem der vorstehenden Ansprüche, bei dem zur Visualisierung ein 3D-Szenenmodell (201), insbesondere ein navigierbares SD- Szenenmodell, verwendet wird.
Überwachungssystem, das zur Durchführung eines Verfahrens nach einem der vorstehenden Ansprüche eingerichtet ist, mit wenigstens einer Überwachungseinrichtung (111, 111', 111"; 210) zur Überwachung einer Überwachungsszene, Mitteln zum Identifizieren und/oder Nachverfolgen (102, 102', 102") bewegter Objekte (112, 112', 112"), Mitteln zum Ermitteln (103, 103', 103") einer räumlichen Lokalisierung (113, 113', 113") der bewegten Objekte (112, 112', 112") und Mitteln zum Feststellen und Visualisieren (200) von Aktivitätsschwerpunkten (220, 230, 240, 250) der bewegten Objekte (112, 112',
PCT/EP2011/054191 2010-03-26 2011-03-21 Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen WO2011117170A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/636,820 US9008361B2 (en) 2010-03-26 2011-03-21 Method for visualizing zones of higher activity in surveillance scenes
EP11709398.9A EP2553660B1 (de) 2010-03-26 2011-03-21 Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen
CN201180015355.2A CN102834848B (zh) 2010-03-26 2011-03-21 用于监视场景中的活动重点的可视化的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010003336.7 2010-03-26
DE201010003336 DE102010003336A1 (de) 2010-03-26 2010-03-26 Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen

Publications (1)

Publication Number Publication Date
WO2011117170A1 true WO2011117170A1 (de) 2011-09-29

Family

ID=43877013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/054191 WO2011117170A1 (de) 2010-03-26 2011-03-21 Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen

Country Status (5)

Country Link
US (1) US9008361B2 (de)
EP (1) EP2553660B1 (de)
CN (1) CN102834848B (de)
DE (1) DE102010003336A1 (de)
WO (1) WO2011117170A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201339A1 (en) * 2012-02-08 2013-08-08 Honeywell International Inc. System and method of optimal video camera placement and configuration
CN103297692A (zh) * 2013-05-14 2013-09-11 温州市凯能电子科技有限公司 网络摄像机快速定位系统以及其快速定位方法
CN104079881B (zh) * 2014-07-01 2017-09-12 中磊电子（苏州）有限公司 监控装置与其相关的监控方法
KR102282456B1 (ko) 2014-12-05 2021-07-28 한화테크윈 주식회사 평면도에 히트맵을 표시하는 장치 및 방법
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
DE102015201209A1 (de) * 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet Parking-Verfahren und Valet-Parking System
TWI779029B (zh) * 2018-05-04 2022-10-01 大猩猩科技股份有限公司 一種分佈式的物件追蹤系統
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US20080170120A1 (en) * 2007-01-11 2008-07-17 Andrew William Senior Ambient presentation of surveillance data
DE102007048857A1 (de) 2007-10-11 2009-04-16 Robert Bosch Gmbh Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm
WO2009068336A2 (de) 2007-11-26 2009-06-04 Robert Bosch Gmbh Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7787011B2 (en) * 2005-09-07 2010-08-31 Fuji Xerox Co., Ltd. System and method for analyzing and monitoring 3-D video streams from multiple cameras
CN101141633B (zh) * 2007-08-28 2011-01-05 湖南大学 一种复杂场景中的运动目标检测与跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US20080170120A1 (en) * 2007-01-11 2008-07-17 Andrew William Senior Ambient presentation of surveillance data
DE102007048857A1 (de) 2007-10-11 2009-04-16 Robert Bosch Gmbh Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm
WO2009068336A2 (de) 2007-11-26 2009-06-04 Robert Bosch Gmbh Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. BRAUMANN: "Glyphenbasierte Techniken zur Informationsverarbeitung", 2 December 2006 (2006-12-02), pages 1 - 10, XP002634919, Retrieved from the Internet <URL:http://isgwww.cs.uni-magdeburg.de/cv/lehre/InfoVis/ws0506_material/Frank%20Terne%20-%20Stefan%20Braumann%20-%20Glyphen%20-%20FINAL.pdf> [retrieved on 20110429] *
WANG ET AL.: "Correspondence-Free Multi-Camera Activity Analysis and Scene Modeling", PROCEEDINGS OF IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2008
XIAOGANG WANG ET AL: "Correspondence-free multi-camera activity analysis and scene modeling", COMPUTER VISION AND PATTERN RECOGNITION, 2008. CVPR 2008. IEEE CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 23 June 2008 (2008-06-23), pages 1 - 8, XP031297280, ISBN: 978-1-4244-2242-5 *

Also Published As

Publication number Publication date
US9008361B2 (en) 2015-04-14
CN102834848A (zh) 2012-12-19
EP2553660B1 (de) 2016-08-31
US20130094703A1 (en) 2013-04-18
DE102010003336A1 (de) 2011-09-29
EP2553660A1 (de) 2013-02-06
CN102834848B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
EP2553660B1 (de) Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen
EP2297701B1 (de) Videoanalyse
CN105554440B (zh) 监控方法和设备
DE102010038341B4 (de) Videoüberwachungssystem sowie Verfahren zur Konfiguration eines Videoüberwachungssystems
DE102018118423A1 (de) Systeme und verfahren zur verfolgung bewegter objekte in der videoüberwachung
DE102007001649A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
DE10326943A1 (de) Autonomes Fahrzeug sowie zugehörige Verfahren und Vorrichtung zur Bewegungsbestimmung, Bewegungssteuerung und Objekterkennung
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
EP2875498B1 (de) Überwachungssystem mit positionsabhängigem schutzbereich, verfahren zur überwachung eines überwachungsbereichs sowie computerprogramm
DE19621612C2 (de) Vorrichtung zur Überwachung eines Gleisabschnittes in einem Bahnhof
DE102018118421A1 (de) Systeme und verfahren zur erkennung alarmierender bewegungsbahnen von objekten
WO2015028294A1 (de) Überwachungsanlage sowie verfahren zur darstellung eines überwachungsbereichs
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE102018118422A1 (de) Verfahren und system zur darstellung von daten von einer videokamera
DE102017122554A1 (de) Informationenverarbeitungsvorrichtung, informationenverarbeitungsverfahren und speichermedium
EP3352111B1 (de) Verfahren zum erkennen von kritischen ereignissen
DE102007000344A1 (de) System und Verfahren zum Erkennen von Sensorstörungen und/oder von Signalstörungen und/oder von Sabotage
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
DE102006027120A1 (de) Bildverarbeitungsverfahren, Videoüberwachungssystem sowie Computerprogramm
DE102006014546B4 (de) Verfahren und Vorrichtung zum sensorbasierten Überwachen einer Umgebung
DE19749136C2 (de) Verfahren und Vorrichtung zum Erfassen von Bewegungen
DE102015226749A1 (de) Überwachungsanlage
DE102009034266B4 (de) Vorrichtung und Verfahren zum Anzeigen eines digitalen Bildes
DE102006013555A1 (de) Verfahren zur Zustandsanalyse von komplexen Objektsystemen aus elektromagnetischen Signalen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180015355.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11709398

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011709398

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011709398

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13636820

Country of ref document: US