WO2009049973A2 - Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm - Google Patents

Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm Download PDF

Info

Publication number
WO2009049973A2
WO2009049973A2 PCT/EP2008/062093 EP2008062093W WO2009049973A2 WO 2009049973 A2 WO2009049973 A2 WO 2009049973A2 EP 2008062093 W EP2008062093 W EP 2008062093W WO 2009049973 A2 WO2009049973 A2 WO 2009049973A2
Authority
WO
WIPO (PCT)
Prior art keywords
background
background image
scene
textures
object models
Prior art date
Application number
PCT/EP2008/062093
Other languages
English (en)
French (fr)
Other versions
WO2009049973A3 (de
Inventor
Hans-Juergen Busch
Dieter Joecker
Stephan Heigl
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US12/682,069 priority Critical patent/US20100239122A1/en
Priority to EP08804058A priority patent/EP2201524A2/de
Priority to CN2008801109019A priority patent/CN101999139A/zh
Publication of WO2009049973A2 publication Critical patent/WO2009049973A2/de
Publication of WO2009049973A3 publication Critical patent/WO2009049973A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Definitions

  • the invention relates to a method for generating and / or updating
  • Textures of background object models in a three-dimensional scene model of a surveillance scene with background objects and a control device and a video surveillance system for performing the method and a computer program.
  • Video surveillance systems are used for camera-based control of relevant areas and usually include a plurality of surveillance cameras, which are set up in the relevant areas for recording surveillance scenes.
  • the surveillance scenes can be designed, for example, as parking lots, intersections, streets, squares, but also as areas in buildings, factories, hospitals or the like.
  • the image data streams recorded by the surveillance cameras are merged into a monitoring center where they are either automated or evaluated by monitoring personnel.
  • German patent application DE 10001252 A1 proposes a monitoring system which enables a more efficient working with a monitoring system through an object-oriented presentation. To do this, signals from the cameras used for each selected view are decomposed into objects and then passed to a display, adding artificial objects and deleting other objects.
  • the invention creates a possibility that surveillance scenes at least partially in a virtual reality or a partially virtual reality in
  • Form of a three-dimensional scene model can be displayed, with a particularly realistic representation of the surveillance scene can be achieved by generating and / or updating textures of background object models in the three-dimensional scene model.
  • the method allows the mapping of a particular real
  • the surveillance scene can be streets, intersections, squares or areas in buildings, factories, prisons, hospitals, etc.
  • the behind grand objects are preferably defined as static and / or quasi-static objects, which do not change or change only slowly and which are mapped to the background object models.
  • Typical static objects are buildings, trees, panels, etc.
  • the quasi-static objects include, for example, shadows, parked cars or the like.
  • the static objects have a retention period in the
  • the quasi-static objects Monitoring scene of preferably more than several months, the quasi-static objects, however, preferably more than one or more days.
  • the three-dimensional scene model includes the background object models, each of which is formed as a three-dimensional model.
  • the three-dimensional scene model is "walkable", so that a user can move between the background object models in the three-dimensional scene model and / or change the view by adjusting the viewing direction or viewing angle / or an overlapping hierarchy (Z hierarchy) of
  • the background object models and optionally the rest of the background have textures, with textures preferably being in the form of color, hatchings, patterns, and / or features of the surface of the background objects.
  • a background image of the surveillance scene is formed from one or more camera images of the surveillance scene, wherein it is preferably provided that foreground objects or other interfering objects are masked out or suppressed.
  • the background image can be formed in its thickness, ie in terms of the columns and rows of pixels, identical to the camera images.
  • the background image is a section of one or more camera images. It is also possible that the background image has an arbitrary edge contour course, so that, for example, a background image represents exactly one background object.
  • the background image is projected onto the scene model.
  • the background image is imaged in such a way that a pixel of a background object coincides with a corresponding model point of the background object model.
  • the projection can also be done pixelwise in - A -
  • mapping rule Take place in the form of a mapping rule, wherein preferably only the pixels are displayed, to which a corresponding model point is available.
  • the textures of the background object models are each stored with an orientation information, so that the textures in turn can be distributed on the background object models in the representation of the scene model on a monitor or the like, in the same manner as to the projection and projection.
  • the method allows to provide a three-dimensional scene model with realistic textures, wherein the textures can be updated at regular or irregular intervals.
  • the background image is through
  • temporal filtering thus for example by averaging, moving averaging, or by elimination of foreground objects formed. It is also possible to form the median of several camera images or to cut out known objects. In principle, all known methods for creating the background image can be used.
  • the projection of the background image onto the scene model takes place using the parameters of a camera model from the surveillance camera, from the perspective of which the background image is created.
  • the parameters of the camera model it is possible to perform the projection of a point in the coordinate system of the surveillance scene into the coordinate system of the camera image and vice versa.
  • the camera model it is also possible to use a look-up table which provides a corresponding point in the monitoring scene's coordinate system for each pixel in the camera image of the surveillance camera.
  • an assignment rule between the surveillance scene and the camera image it is possible to project the background image resulting from the camera image in the correct position and / or perspective corrected onto the scene model so that misallocations are minimized.
  • the background image is optionally corrected in addition to distortions, which are unintentionally caused by aberrations in the surveillance camera system, e.g. as optical aberrations may have arisen, on the other hand, but also wanted distortions, which are introduced for example by the use of 360 ° - or fish eye cameras.
  • a mutual occlusion of background object models is checked with the aid of a depth buffer, wherein pixels which are to be assigned to a background object model concealed in the region of the corresponding model point are discarded.
  • the depth buffer is based on a known Z-hierarchy from the rendering.
  • the textures are formed on the basis of a plurality of camera images, which originate from a common surveillance camera with a common viewing angle or from different surveillance cameras with different viewing angles onto the surveillance scene.
  • the camera images are projected from different angles in the manner described on the scene model in the correct position.
  • pixels of different background images which belong to a common texture point or a common texture of a background object model, are merged in each case.
  • the Merging can be done, for example, by averaging.
  • a color balance of the pixels to be merged takes place.
  • Surveillance area formed monitoring scenes - texture information from other sources, such as aerial photographs taken.
  • Another object of the invention relates to a video surveillance system which is connected to one or a plurality of surveillance cameras and / or connectable and which has a control device, characterized in that the control device circuitry and / or program technology for performing the method just described and / or it has been defined in the preceding claims is formed.
  • the video surveillance system is designed so that the described method preferably runs in the background at periodic intervals and thus keeps the textures up to date.
  • a particular advantage of the video surveillance system is the fact that for the creation or
  • a final object of the invention relates to a computer program with program code means for carrying out all the steps of the described method when the program is executed on a computer and / or a video surveillance system.
  • FIG. 1 is a flow chart illustrating a first embodiment of the method according to the invention
  • Figure 2 is a block diagram of a video surveillance system for performing the
  • FIG. 1 shows, in a schematic flowchart, the sequence of a method for generating and / or updating textures of background object models in a three-dimensional scene model as an exemplary embodiment of the invention.
  • Surveillance cameras are 10 ( Figure 2), used. These video images 1 are converted in a first method step 2 into a background image with background pixels. The transfer is accomplished by methods known in image processing, such as averaging or median formation of multiple video frames 1, clipping known objects, long-term observation, or the like.
  • a background image is generated, which has as active pixels only background pixels from the one or more video images 1 and optionally disabled pixels, which are set to the positions of the video image 1, where a disturber object or foreground object is shown.
  • the background image generated in this way is projected onto a scene model.
  • the scene model is designed as a three-dimensional scene model and has a multiplicity of background object models, for example representative of buildings, furniture, streets or other stationary objects.
  • Surveillance cameras that have supplied the background image underlying video image 1, which projects pixels of the background image in the image coordinate system to the respective corresponding point of the three-dimensional scene model.
  • the distortion distortions such as distortions or the like are corrected.
  • a pixel-by-pixel check for occlusion from the camera's view takes place with the aid of a depth buffer.
  • a pixel of the background image which was projected by the method step 3 on a background object model, by another background object model and / or a real, e.g. dynamic object in the current camera view is obscured.
  • the test assesses the inspected pixel as hidden, it is discarded and no longer used. Otherwise, the pixel, ie the projected video pixel or background pixel, is used for creating and / or updating the textures.
  • the textures 6 are created and output on the basis of the transferred background pixels.
  • several pixels of different background images which are arranged overlapping at least in sections after the projection and thus relate to the same regions of the same background object models, are merged into a common background pixel.
  • a common background pixel e.g. also a color match done.
  • any remaining gaps in the scene model may be filled by static textures, e.g. taken from aerial photographs.
  • FIG. 2 shows a video surveillance system 100 which is designed to carry out the method described in FIG.
  • the video surveillance system is connected to a plurality of security cameras 10 wirelessly or wired signal technology and is designed for example as a computer system.
  • the Surveillance cameras 10 are directed to relevant areas which show surveillance scenes in the form of squares, intersections or the like.
  • the image data streams of the surveillance cameras 10 are transferred to a background module 20, which is designed to carry out the first method step 2 in FIG.
  • the background image (s) generated are forwarded to a projection module 30, which is designed to carry out the second method step 3.
  • the projected background images are passed to a masking module 40, which is implemented for carrying out the third method step 4.
  • the textures 6 are created or updated on the basis of the checked background images and forwarded to a texture memory 60.
  • a display unit 70 Based on the stored data and the three-dimensional scene model is displayed on a display unit 70, such. a virtual representation of a monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

Videoüberwachungssysteme dienen zur kameragestützten Kontrolle von relevanten Bereichen und umfassen üblicherweise eine Mehrzahl von Überwachungskameras, die an den relevanten Bereichen zur Aufnahme von Überwachungsszenen aufgestellt sind. Die Überwachungsszenen können beispielsweise als Parkplätze, Kreuzungen, Straßen, Plätze, aber auch als Bereiche in Gebäuden, Fabriken, Krankenhäusern oder dergleichen ausgebildet sein. Um die Auswertung der Überwachungsszenen durch Überwachungspersonal zu vereinfachen wird vorgeschlagen, zumindest den Hintergrund der Überwachungsszene auf einem Monitor als virtuellen Realität in Form eines dreidimensionalen Szenenmodells mit Hintergrundobjektmodellen darzustellen. Im Rahmen der Erfindung wird ein Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in dem dreidimensionalen Szenenmodell vorgeschlagen, wobei aus einem oder mehreren Kamerabildern 1 der Überwachungsszene ein Hintergrundbild der Überwachungsszene gebildet wird, wobei das Hintergrundbild auf das Szenenmodell projiziert wird und wobei Texturen der Hintergrundobjektmodelle auf Basis des projizierten Hintergrundbildes erzeugt und/oder aktualisiert werden.

Description

Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssvstem zur Durchführung des
Verfahrens sowie Computerprogramm
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Erzeugung und/oder Aktualisierung von
Texturen von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell einer Überwachungsszene mit Hintergrundobjekten sowie eine Steuerungsvorrichtung und ein Videoüberwachungssystem zur Durchführung des Verfahrens und ein Computerprogramm.
Videoüberwachungssysteme dienen zur kameragestützten Kontrolle von relevanten Bereichen und umfassen üblicherweise eine Mehrzahl von Überwachungskameras, die an den relevanten Bereichen zur Aufnahme von Überwachungsszenen aufgestellt sind. Die Überwachungsszenen können beispielsweise als Parkplätze, Kreuzungen, Straßen, Plätze, aber auch als Bereiche in Gebäuden, Fabriken, Krankenhäusern oder dergleichen ausgebildet sein. Die von den Überwachungskameras aufgenommenen Bilddatenströme werden in einer Überwachungszentrale zusammengeführt, wo diese entweder automatisiert oder durch Überwachungspersonal ausgewertet werden.
Die Arbeit für die manuelle Auswertung durch das Überwachungspersonal wird jedoch dadurch erschwert, dass die Bildqualität der dargestellten Überwachungsszenen aufgrund von Beleuchtungsänderungen, Witterungseinflüssen oder Verschmutzungen der Überwachungskameras manchmal als ungenügend einzustufen sind. Um die Arbeit des Überwachungspersonals zu vereinfachen und zugleich die Überwachungsqualität zu verbessern schlägt beispielsweise die deutsche Offenlegungsschrift DE 10001252 A 1 ein Überwachungssystem vor, das ein effizienteres Arbeiten mit einem Überwachungssystem durch eine objektorientierte Darstellung ermöglicht. Hierzu werden Signale der Kameras, die für die jeweils gewählten Ansichten verwendet werden, in Objekte zerlegt und dann einer Anzeige übergeben, wobei künstliche Objekte hinzugefügt und andere Objekte gelöscht werden.
Offenbarung der Erfindung
Im Rahmen der Erfindung wird ein Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell mit den Merkmalen des Anspruchs 1 , eine Steuerungsvorrichtung zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 10, ein Videoüberwachungssystem gemäß Anspruch 11 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung bzw. aus den Figuren.
Durch die Erfindung wird eine Möglichkeit geschaffen, dass Überwachungsszenen zumindest abschnittsweise in einer virtuellen Realität oder einer teilvirtuellen Realität in
Form eines dreidimensionalen Szenenmodells darstellbar sind, wobei durch eine Generierung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in dem dreidimensionalen Szenenmodell eine besonders realitätsnahe Darstellung der Überwachungsszene erreichbar ist. Dadurch, dass die Überwachungsszene zum einen virtuell, jedoch zum anderen sehr realitätsnah dargestellt wird, ist es für das
Überwachungspersonal sehr einfach und somit fehlerunanfällig zwischen einer tatsächlichen Beobachtung der Überwachungsszene und einer Beobachtung des virtuellen, dreidimensionalen Szenenmodells zu wechseln.
Allgemeiner formuliert, erlaubt das Verfahren die Abbildung einer insbesondere realen
Überwachungsszene mit Hintergrundobjekten auf ein dreidimensionales Szenenmodell mit Hintergrundobjektmodellen mit realitätsnahen Texturen. Bei der Überwachungsszene kann es sich - wie eingangs erwähnt - um Straßen, Kreuzungen, Plätze oder Bereiche in Gebäuden, Fabrikhallen, Gefängnissen, Krankenhäusern etc. handeln. Die Hinter grandobjekte sind vorzugsweise als statische und/oder quasi-statische Objekte definiert, welche sich nicht oder nur langsam ändern und die auf die Hintergrundobjektmodelle abgebildet werden. Typische statische Objekte sind Gebäude, Bäume, Tafeln, etc. Zu den quasi-statischen Objekten zählen beispielsweise Schatten, parkende Autos oder dergleichen. Die statischen Objekte haben eine Verweildauer in der
Überwachungsszene von vorzugsweise mehr als mehrere Monate, die quasi-statischen Objekte dagegen vorzugsweise von mehr als einen oder mehrere Tage.
Das dreidimensionale Szenenmodell umfasst die Hintergrundobjektmodelle, welche jeweils als ein dreidimensionales Modell ausgebildet sind. Beispielsweise ist das dreidimensionale Szenenmodell „begehbar" ausgebildet, so dass ein Benutzer sich in dem dreidimensionalen Szenenmodell zwischen den Hintergrundobjektmodellen bewegen kann und/oder die Ansicht verändern kann, indem die Blickrichtung oder der Blickwinkel einstellbar ist. Insbesondere ist in dem dreidimensionalen Szenenmodell eine Tiefeninformation und/oder eine Überlappungshierarchie (Z-Hierarchie) der
Hintergrundobj ektmodelle abgelegt.
Die Hintergrundobjektmodelle und optional der restliche Hintergrund weist Texturen auf, wobei Texturen vorzugsweise als Farbe, Schraffuren, Muster und/oder Merkmale der Oberfläche der Hintergrundobjekte ausgebildet sind.
In einem Verfahrensschritt werden aus einem oder mehreren Kamerabildern der Überwachungsszene ein Hintergrundbild der Überwachungsszene gebildet, wobei vorzugsweise vorgesehen ist, dass Vordergrundobjekte oder andere Störobjekte ausgeblendet oder unterdrückt werden. Das Hintergrundbild kann in seiner Mächtigkeit, also hinsichtlich der Spalten und Reihen von Pixeln, identisch zu den Kamerabildern ausgebildet sein. Alternativ ist das Hintergrundbild ein Ausschnitt von einem oder mehreren Kamerabildern. Auch ist es möglich, dass das Hintergrundbild einen beliebigen Randkonturverlauf aufweist, so dass beispielsweise ein Hintergrundbild genau ein Hintergrundobj ekt darstellt.
In einem weiteren Verfahrensschritt wird das Hintergrundbild auf das Szenenmodell projiziert. Hierbei wird das Hintergrundbild derart abgebildet, so dass ein Bildpunkt eines Hintergrundobj ekts mit einem dazu korrespondierenden Modellpunkt des Hintergrundobjektmodells übereinstimmt. Die Projektion kann dabei auch pixelweise in - A -
Form einer Abbildungsvorschrift erfolgen, wobei vorzugsweise nur die Bildpunkte abgebildet werden, zu denen ein korrespondierender Modellpunkt verfügbar ist.
Nachdem das Hintergrundbild auf das Szenenmodell bzw. auf die Hintergrundobjektmodelle projiziert ist, werden die Texturen der
Hintergrundobjektmodelle auf Basis des projizierten Hintergrundbilds erzeugt und/oder aktualisiert. Hierzu werden beispielsweise Bildbereiche, welche nach der Projektion lagerichtig dem jeweiligen Hintergrundobjektmodell zugeordnet sind, aus dem Hintergrundbild entnommen und als Textur verwertet.
Optional werden die Texturen der Hintergrundobjektmodelle jeweils mit einer Orientierungsinformation abgespeichert, so dass die Texturen wiederum läge- und projektionsrichtig auf die Hintergrundobjektmodelle bei der Darstellung des Szenenmodells auf einem Monitor oder dergleichen verteilt werden können.
Zusammenfassend erlaubt das Verfahren, ein dreidimensionales Szenenmodell mit realitätsnahen Texturen auszustatten, wobei die Texturen in regelmäßigen oder unregelmäßigen Abständen aktualisiert werden können.
Bei einer bevorzugten Ausführungsform der Erfindung wird das Hintergrundbild durch
Langzeitbeobachtung, also Beobachtung über mehrere Tage, zeitliche Filterung, also zum Beispiel durch Mittelwertbildung, gleitende Mittelwertbildung, oder durch Eliminierung von Vordergrundobjekten gebildet. Es ist auch möglich, den Median von mehreren Kamerabildern zu bilden oder bekannte Objekte auszuschneiden. Prinzipiell sind alle bekannten Verfahren zur Erstellung des Hintergrundbilds einsetzbar.
Bei einer bevorzugten Implementierung des Verfahrens erfolgt die Projektion des Hintergrundbilds auf das Szenenmodell unter Verwendung der Parameter eines Kameramodells von der Überwachungskamera, aus deren Blickwinkel das Hintergrundbild erstellt ist. Durch die Verwendung der Parameter des Kameramodells ist es möglich, die Projektion eines Punktes im Koordinatensystem der Überwachungsszene in das Koordinatensystem des Kamerabilds und vice versa durchzuführen. Alternativ zu dem Kameramodell kann auch eine Look-up-Tabelle verwendet werden, die zu jedem Bildpunkt in dem Kamerabild der Überwachungskamera einen korrespondierenden Punkt im Koordinatensystem der Überwachungsszene bereitstellt. Durch die Verwendung einer Zuordnungsvorschrift zwischen Überwachungsszene und Kamerabild ist es möglich, das aus dem Kamerabild entstandene Hintergrundbild lagerichtig und/oder perspektivisch korrigiert auf das Szenemodell zu projizieren, so dass Fehlzuordnungen minimiert werden.
Bei einer industrienahen Umsetzung des Verfahrens wird das Hintergrundbild optional ergänzend von Verzerrungen korrigiert, welche zum einen unbeabsichtigt durch Abbildungsfehler in dem Überwachungskamerasystem, z.B. als optische Abbildungsfehler entstanden sein können, zum anderen aber auch gewollte Verzerrungen, die beispielsweise durch die Verwendung von 360°- oder Fischaugenkameras eingebracht sind.
Bei einer weiteren bevorzugten Ausführungsform der Erfindung wird das Hintergrundbild und/oder Bildbereiche des Hintergrundbilds und/oder Bildpunkte des
Hintergrundbilds, insbesondere jeder Bildpunkt des Hintergrundbilds auf Verdeckung mit anderen statischen oder quasi-statischen Objekten geprüft. Für den Fall, dass die Überprüfung ergibt, dass der geprüfte Bereich durch ein Störobjekt verdeckt ist, wird dieser Bildpunkt verworfen. Andernfalls wird der geprüfte Bereich zur Erzeugung und/oder Aktualisierung der Texturen verwendet.
Bei einer weiteren möglichen Ergänzung der Erfindung wird eine gegenseitige Verdeckung von Hintergrundobjektmodellen mit Hilfe eines Tiefenpuffers geprüft, wobei Bildpunkte, die einem in dem Bereich des korrespondierenden Modellpunkts verdeckten Hintergrundobjektmodell zugeordnet werden sollen, verworfen werden. Der Tiefenpuffer basiert beispielsweise auf einer aus dem Rendering bekannten Z-Hierarchie.
Bei einer Weiterbildung der Erfindung werden die Texturen auf Basis einer Mehrzahl von Kamerabildern gebildet, welche von einer gemeinsamen Überwachungskamera mit einem gemeinsamen Blickwinkel oder von verschiedenen Überwachungskameras mit verschiedenen Blickwinkeln auf die Überwachungsszene stammen. Hierbei werden die Kamerabilder von verschiedenen Blickwinkeln in beschriebener Weise auf das Szenenmodell lagerichtig projiziert. Nach der Projektion werden jeweils Bildpunkte von verschiedenen Hintergrundbildern, die zu einem gemeinsamen Texturpunkt oder einer gemeinsamen Textur eines Hintergrundobjektmodells gehören, verschmolzen. Die Verschmelzung kann beispielsweise durch eine Mittelwertbildung erfolgen. Bei einer besonders bevorzugten Weiterbildung der Erfindung erfolgt beispielsweise ein Farbabgleich der zu verschmelzenden Bildpunkte.
Optional ergänzend werden, - insbesondere um Lücken in einem durch die
Überwachungsszenen gebildeten Überwachungsbereich abzudecken - Texturinformationen aus weiteren Quellen, wie zum Beispiel Luftaufnahmen entnommen.
Bei einer besonders bevorzugten Ausführungsform des Verfahrens werden die
Hintergrundobjektmodelle mit den Texturen in einer Anzeigeeinheit, wie zum Beispiel einem Monitor oder dergleichen, eines Videoüberwachungssystems, insbesondere wie es nachfolgend beschrieben wird, dargestellt.
Ein weiterer Gegenstand der Erfindung betrifft ein Videoüberwachungssystem, welches mit einer oder einer Mehrzahl von Überwachungskameras verbunden und/oder verbindbar ist und welches eine Steuerungsvorrichtung aufweist, dadurch gekennzeichnet, dass die Steuerungsvorrichtung schaltungstechnisch und/oder programmtechnisch zur Durchführung des soeben beschriebenen Verfahrens und/oder wie es in den vorhergehenden Ansprüchen definiert wurde, ausgebildet ist.
Besonders bevorzugt ist das Videoüberwachungssystem so ausgebildet, dass das geschilderte Verfahren in periodischen Abständen vorzugsweise im Hintergrund abläuft und auf diese Weise die Texturen auf einem aktuellen Stand hält. Ein besonderer Vorteil ist bei dem Videoüberwachungssystem darin zu sehen, dass zur Erstellung bzw.
Aktualisierung der Texturen nur der statische und/oder quasi-statische Szenenhintergrund berücksichtigt wird. Dadurch tauchen dynamische Objekte aus den Videobildern nicht in der Textur der statischen Geometrie des 3D-Modells auf, was andernfalls zu einer Fehldarstellung der dynamischen Objekte als Textur auf den Hintergrundobjektmodellen, z.B. flach auf der Straße oder an Wänden führen könnte. Die dynamischen Objekte können dagegen separat - entweder als reale Abbildung oder als virtuelle Darstellung - in dem Szenenmodell eingeblendet werden, was zu einer glaubhaften oder realitätsnahen Visualisierung führt. Ein letzter Gegenstand der Erfindung betrifft ein Computerprogramm mit Programmcodemitteln, um alle Schritte des beschriebenen Verfahrens durchzuführen, wenn das Programm auf einem Computer und/oder einem Videoüberwachungssystem ausgeführt wird.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung und den beigefügten Figuren. Dabei zeigen:
Figur 1 ein Flussdiagramm zur Illustration eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens;
Figur 2 ein Blockdiagramm eines Videoüberwachungssystems zur Durchführung des
Verfahrens gemäß der Figur 1.
Ausführungsform(en) der Erfindung
Die Figur 1 zeigt in einem schematischen Flussdiagramm den Ablauf eines Verfahrens zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell als ein Ausführungsbeispiel der Erfindung.
Als aktuelle Eingangsinformationen werden eine oder mehrere Videobildern 1 , die von
Überwachungskameras stammen 10 (Figur 2), verwendet. Diese Videobilder 1 werden in einem ersten Verfahrensschritt 2 in ein Hintergrundbild mit Hintergrundpixeln überführt. Die Überführung erfolgt mit Verfahren, welche aus der Bildverarbeitung bekannt sind, wie zum Beispiel einer Mittelwert- oder Medianbildung von mehreren Videobilder 1 , ein Ausschneiden von bekannten Objekten, eine Langzeitbeobachtung oder ähnlichem.
Durch diesen Verfahrensschritt wird ein Hintergrundbild erzeugt, welches als aktive Bildpunkte nur Hintergrundpixel aus dem oder den Videobildern 1 aufweist und optional deaktivierte Bildpunkte, die an die Positionen des Videobilds 1 gesetzt sind, an denen ein Störerobjekt oder Vordergrundobjekt dargestellt ist. In einem zweiten Verfahrensschritt 3 wird das derart erzeugte Hintergrundbild auf ein Szenenmodell projiziert. Das Szenenmodell ist als dreidimensionales Szenenmodell ausgebildet und weist eine Vielzahl von Hintergrundobjektmodellen, zum Beispiel repräsentativ für Gebäude, Möbel, Straßen oder andere feststehende Objekte auf. Im Rahmen des Verfahrensschritt 3 werden mit Hilfe der Parameter des Kameramodells der
Überwachungskameras, die das dem Hintergrundbild zu Grunde liegende Videobild 1 geliefert haben, die Bildpunkte des Hintergrundbilds im Bildkoordinatensystem auf den jeweils korrespondierenden Punkt des dreidimensionalen Szenenmodells projiziert. Optional ergänzend werden im Rahmen der Projektion Verzerrungen, wie zum Beispiel Verzeichnungen oder dergleichen korrigiert.
In einem dritten Verfahrensschritt 4 erfolgt eine bildpunktweise Prüfung auf Verdeckung aus Kamerasicht mit Hilfe eines Tiefenpuffers. Hierbei wird getestet, ob ein Bildpunkt des Hintergrundbilds, welcher durch den Verfahrensschritt 3 auf ein Hintergrundobjektmodell projiziert wurde, durch ein anderes Hintergrundobjektmodell und/oder ein reales, z.B. dynamisches Objekt in der aktuellen Kamerasicht verdeckt ist. Für den Fall, dass der Test den geprüften Bildpunkt als verdeckt bewertet, wird dieser verworfen und nicht weiter verwendet. Ansonsten wird der Bildpunkt, also der projizierte Videobildpunkt bzw. Hintergrundbildpunkt für die Erstellung und/oder Aktualisierung der Texturen verwendet.
In einem vierten Verfahrensschritt 5 werden die Texturen 6 auf Basis der übergebenen Hintergrundbildpunkte erstellt und ausgegeben. Als ergänzende Maßnahmen kann vorgesehen sein, dass mehrere Bildpunkte von verschiedenen Hintergrundbildern, die nach der Projektion zumindest abschnittsweise überlappend angeordnet sind und somit die gleichen Bereiche der gleichen Hintergrundobjektmodelle betreffen, zu einem gemeinsamen Hintergrundbildpunkt verschmolzen werden. Hierbei kann z.B. auch ein Farbabgleich erfolgen. Als weitere ergänzende Maßnahme können insbesondere eventuell verbleibende Lücken in dem Szenenmodell durch statische Texturen gefüllt werden, die z.B. aus Luftaufnahmen stammen.
Die Figur 2 zeigt ein Videoüberwachungssystem 100, welches zur Ausführung des in der Figur 1 beschriebenen Verfahrens ausgebildet ist. Das Videoüberwachungssystem ist mit einer Mehrzahl von Überwachungskameras 10 kabellos oder kabelgebunden signaltechnisch verbunden und ist beispielsweise als Computersystem ausgebildet. Die Überwachungskameras 10 sind auf relevante Bereiche gerichtet, welche Überwachungsszenen in Form von Plätzen, Kreuzungen oder dergleichen zeigen.
Die Bilddatenströme der Überwachungskameras 10 werden an ein Hintergrundmodul 20 übergeben, welches zur Durchführung des ersten Verfahrensschritts 2 in Figur 1 ausgebildet ist. Das oder die erzeugten Hintergrundbildern werden an ein Projektionsmodul 30 weitergeleitet, welches zur Durchführung des zweiten Verfahrensschritts 3 ausgebildet ist. Zur Kontrolle auf Verdeckung werden die projizierten Hintergrundbilder an ein Verdeckungsmodul 40 geleitet, welches zur Durchführung des dritten Verfahrensschritts 4 realisiert ist. In einem Texturmodul 50 werden die Texturen 6 auf Basis der geprüften Hintergrundbilder erstellt oder aktualisiert und an einen Texturspeicher 60 weitergegeben.
Auf Basis der gespeicherten Daten und des dreidimensionalen Szenenmodells wird auf einer Anzeigeeinheit 70, wie z.B. einem Monitor eine virtuelle Darstellung der
Überwachungsszene mit Hintergrundobjektmodellen mit reellen Texturen dargestellt. In diese virtuelle Darstellung können reale Objekte, wie z.B. dynamische Objekte in der Überwachungsszene lagerichtig und wirklichkeitsnah eingeblendet werden.

Claims

Ansprüche
1. Verfahren zur Erzeugung und/oder Aktualisierung von Texturen (6) von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell einer
Überwachungsszene mit Hintergrundobjekten,
wobei aus einem oder mehreren Kamerabildern (1) der Überwachungsszene ein Hintergrundbild der Überwachungsszene gebildet wird (2),
wobei das Hintergrundbild auf das Szenenmodell projiziert wird (3)
und wobei Texturen der Hintergrundobjektmodelle auf Basis des projizierten Hintergrundbildes erzeugt und/oder aktualisiert werden (5).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Hintergrundbild durch Langzeitbeobachtung, Filterung und/oder durch Eliminierung von Vordergrundobjekten gebildet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Projektion des Hintergrundbilds unter Verwendung eines Kameramodells erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Hintergrundbild lagerichtig und/oder perspektivisch korrigiert auf das Szenenmodell projiziert wird.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Hintergrundbild verzerrungskorrigiert wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu dem Hintergrundbild und/oder einem Bildbereich des Hintergrundbilds und/oder einem Bildpunkt des Hintergrundbilds korrespondierende Bereich eines Hintergrundobjektmodells auf Verdeckung durch andere Hintergrundobjektmodelle geprüft wird (4).
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Texturen (6) auf Basis einer Mehrzahl von Kamerabildern (1) gebildet werden, welche von verschiedenen Blickwinkeln auf die Überwachungsszene stammen.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass Bildpunkte von verschiedenen Hintergrundbildern, die zu einem gemeinsamen Texturpunkt oder einer gemeinsamen Textur eines Hintergrundobjektmodells gehören, verschmolzen werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Hintergrundobjektmodelle mit den Texturen in einer Anzeigeeinheit eines
Videoüberwachungssystems (100) dargestellt werden.
10. Steuerungsvorrichtung (100), dadurch gekennzeichnet, dass die Steuerungsvorrichtung (100) schaltungstechnisch und/oder programmtechnisch zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.
11. Videoüberwachungssystem, welches mit einer oder einer Mehrzahl von Überwachungskameras (10) verbunden ist oder verbindbar ist, dadurch gekennzeichnet, dass das Videoüberwachungssystem eine Steuerungsvorrichtung (100) nach Anspruch 10 aufweist.
12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Programm auf einem Computer und/oder einer Steuervorrichtung gemäß Anspruch 10 und/oder einem Videoüberwachungssystem gemäß Anspruch 11 ausgeführt wird.
PCT/EP2008/062093 2007-10-11 2008-09-11 Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm WO2009049973A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/682,069 US20100239122A1 (en) 2007-10-11 2008-09-11 Method for creating and/or updating textures of background object models, video monitoring system for carrying out the method, and computer program
EP08804058A EP2201524A2 (de) 2007-10-11 2008-09-11 Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem
CN2008801109019A CN101999139A (zh) 2007-10-11 2008-09-11 用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视系统以及计算机程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007048857A DE102007048857A1 (de) 2007-10-11 2007-10-11 Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm
DE102007048857.4 2007-10-11

Publications (2)

Publication Number Publication Date
WO2009049973A2 true WO2009049973A2 (de) 2009-04-23
WO2009049973A3 WO2009049973A3 (de) 2010-01-07

Family

ID=40435390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/062093 WO2009049973A2 (de) 2007-10-11 2008-09-11 Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm

Country Status (5)

Country Link
US (1) US20100239122A1 (de)
EP (1) EP2201524A2 (de)
CN (1) CN101999139A (de)
DE (1) DE102007048857A1 (de)
WO (1) WO2009049973A2 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924748A (zh) * 2009-06-11 2010-12-22 鸿富锦精密工业（深圳）有限公司 数字内容系统
WO2011068582A2 (en) * 2009-09-18 2011-06-09 Logos Technologies, Inc. Systems and methods for persistent surveillance and large volume data streaming
DE102010003336A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen
DE102012205130A1 (de) * 2012-03-29 2013-10-02 Robert Bosch Gmbh Verfahren zum automatischen Betreiben einer Überwachungsanlage
DE102012211298A1 (de) 2012-06-29 2014-01-02 Robert Bosch Gmbh Anzeigevorrichtung für ein Videoüberwachungssystem sowie Videoüberwachungssystem mit der Anzeigevorrichtung
CN105023274A (zh) * 2015-07-10 2015-11-04 国家电网公司 输配电线路基建现场立体安全防护方法
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
CN105787988B (zh) * 2016-03-21 2021-04-13 联想(北京)有限公司 一种信息处理方法、服务器及终端设备
CN106204595B (zh) * 2016-07-13 2019-05-10 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
TWI622024B (zh) * 2016-11-22 2018-04-21 Chunghwa Telecom Co Ltd 智慧影像式監測告警裝置
KR20180070297A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN111383340B (zh) * 2018-12-28 2023-10-17 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
CN117119148B (zh) * 2023-08-14 2024-02-02 中南民族大学 基于三维场景的视频监控效果可视化评估方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924801B1 (en) * 1999-02-09 2005-08-02 Microsoft Corporation Method and apparatus for early culling of occluded objects
DE10001252B4 (de) 2000-01-14 2007-06-14 Robert Bosch Gmbh Überwachungssystem
US7148917B2 (en) * 2001-02-01 2006-12-12 Motorola Inc. Method and apparatus for indicating a location of a person with respect to a video capturing volume of a camera
US7161615B2 (en) * 2001-11-30 2007-01-09 Pelco System and method for tracking objects and obscuring fields of view under video surveillance
US6956566B2 (en) * 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
GB2392072B (en) * 2002-08-14 2005-10-19 Autodesk Canada Inc Generating Image Data
WO2004046881A2 (en) * 2002-11-15 2004-06-03 Sunfish Studio, Inc. Visible surface determination system & methodology in computer graphics using interval analysis
JP4307222B2 (ja) * 2003-11-17 2009-08-05 キヤノン株式会社 複合現実感提示方法、複合現実感提示装置
EP1705929A4 (de) * 2003-12-25 2007-04-04 Brother Ind Ltd Bildanzeigevorrichtung und signalverarbeitungsvorrichtung
US7542034B2 (en) * 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
JP4116648B2 (ja) * 2006-05-22 2008-07-09 株式会社ソニー・コンピュータエンタテインメント オクルージョンカリング方法および描画処理装置
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARTIKEL DROSE M ET AL.: "3-D Reconstruction of a Dynamic Environment With a Fully Calibrated Background for Traffic Scenes", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, vol. 15, no. 4, 1 April 2005 (2005-04-01), pages 538 - 549, XP011129238, DOI: doi:10.1109/TCSVT.2005.844452
BUCHAUSZUG J.D. FOLEY; A. VAN DAM; S.K. FEINER; J. F. HUGHES: "Computer Graphics, Principles and Practice, 2nd Edition in C", 1996, PEARSON EDUCATION, pages: 649,651,
See also references of EP2201524A2

Also Published As

Publication number Publication date
DE102007048857A1 (de) 2009-04-16
WO2009049973A3 (de) 2010-01-07
US20100239122A1 (en) 2010-09-23
CN101999139A (zh) 2011-03-30
EP2201524A2 (de) 2010-06-30

Similar Documents

Publication Publication Date Title
WO2009049973A2 (de) Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm
DE102005061952B4 (de) Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE102007030226A1 (de) Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
DE102013207598A1 (de) Platziervorrichtung und Platzierverfahren
DE102011107458A1 (de) Verfahren zum Evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
DE102015220031A1 (de) Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
DE102004040372B4 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
WO2006094637A1 (de) Verfahren zum vergleich eines realen gegenstandes mit einem digitalen modell
DE102014219418B4 (de) Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem
DE102015010264A1 (de) Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
WO2019121287A1 (de) Verfahren zum aufbau eines rohrsystems unter erzeugung mindestens einer rohrverbindung
EP3953862A1 (de) Verfahren zum bereitstellen einer objektverfolgungsfunktion
DE102013106280A1 (de) Verfahren zur Visualisierung eines CAD-Modells
EP3384469A2 (de) Verfahren zur darstellung einer simulationsumgebung
WO2013178358A1 (de) Verfahren zur räumlichen visualisierung von virtuellen objekten
EP2864965B1 (de) Verfahren zur modellbasierten erstellung von testdatensätzen zur prüfung von bildverarbeitungsalgorithmen
DE102007056835A1 (de) Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm
DE102009001870A1 (de) Bildverarbeitungsvorrichtung, Überwachungssystem mit der Bildverarbeitungsvorrichtung, Verfahren sowie Computerprogramm
DE10351577B4 (de) Verfahren und Vorrichtung zum Ändern visueller Informationen in Bildern einer bewegten Bildfolge
DE202022104264U1 (de) Kunstdarstellungssystem
DE102007001273A1 (de) Verfahren zur selbsttätigen Analyse von Objektbewegungen
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
DE102022104805A1 (de) Verfahren zum Trainieren eines künstliche Intelligenz-Systems; System, aufweisend ein künstliche Intelligenz-System, Computerprogrammprodukt
DE102022110076A1 (de) Automatische Trainings-Datensatzgenerierung für einen Algorithmus zur Erkennung und Posenermittlung von Datenbrillen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880110901.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08804058

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2008804058

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12682069

Country of ref document: US