WO2009068336A2 - Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm - Google Patents

Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm Download PDF

Info

Publication number
WO2009068336A2
WO2009068336A2 PCT/EP2008/062883 EP2008062883W WO2009068336A2 WO 2009068336 A2 WO2009068336 A2 WO 2009068336A2 EP 2008062883 W EP2008062883 W EP 2008062883W WO 2009068336 A2 WO2009068336 A2 WO 2009068336A2
Authority
WO
WIPO (PCT)
Prior art keywords
surveillance
model
camera
point
processing module
Prior art date
Application number
PCT/EP2008/062883
Other languages
English (en)
French (fr)
Other versions
WO2009068336A3 (de
Inventor
Stephan Heigl
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP08804765A priority Critical patent/EP2215601A2/de
Publication of WO2009068336A2 publication Critical patent/WO2009068336A2/de
Publication of WO2009068336A3 publication Critical patent/WO2009068336A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • An image processing module for estimating an object position of a surveillance obstruction for estimating an object position of a surveillance obstruction, a method for determining an object position of a surveillance object, and a computer program
  • the invention relates to an image processing module for estimating an object position of a surveillance object or subareas thereof in a surveillance area for a surveillance system for monitoring at least this surveillance area with a surveillance camera, with a model input interface for adopting a model or submodel of the surveillance area, with a camera input interface for adopting a camera model Security camera, with an object input interface to
  • an object point of the surveillance object wherein the object point is determined on the basis of one or more pixels of the surveillance object of a surveillance image recorded with the surveillance camera, wherein the image processing module is formed by offsetting the model, the camera model and the object point, the object position of the surveillance object or
  • the invention relates to a corresponding method for determining the object position of a surveillance object and a computer program.
  • Video surveillance systems are often used to monitor large, angular or complex surveillance areas with the help of surveillance cameras.
  • the recorded with the surveillance cameras image streams are usually merged into a monitoring center or the like and there either automated or controlled by monitoring personnel.
  • the number of image streams that need to be controlled by security guards is steadily increasing. From a certain number of video monitors for displaying the image data streams, it must be assumed that attention for each one
  • Video monitor of the security guards is safely reduced. If the number of video monitors is further increased, this can lead to an unmanageable number, so that a sufficient monitoring quality may no longer be ensured.
  • the rectangles are "set up” by these are pivoted in the 2-D model of the football field to one of the surveillance camera facing side line of the rectangle by 90 °.
  • the proportions of the rectangle are distorted according to perspective, so that in the 2-D model of the
  • Soccer field first perspective approximate images of the football players are shown. In further steps, this operation will be carried out for other football players and thus get views of each football player from different perspectives. These perspective views are contracted to a model of the football player, so that a 3-D representation of the football players is formed.
  • the proposed image processing module is preferably implemented as part of a monitoring system, wherein the monitoring system is suitable and / or designed to monitor at least one surveillance area with a surveillance camera, wherein the surveillance cameras are aimed and / or directed to relevant areas in the surveillance area.
  • a surveillance camera aimed and / or directed to relevant areas in the surveillance area.
  • Another disclosed subject of the invention is therefore also such a monitoring system with the image processing module.
  • the surveillance area can be designed, for example, as the interior of a building complex, public spaces, hospitals, etc.
  • the image processing module is configured to estimate an object position of a surveillance object or portions thereof in the surveillance area.
  • An estimate in this context means a determination of the object position, wherein an arbitrary definition for the object position of the object
  • the monitoring object can be designed as any moving, quasi-stationary or stationary monitoring object and is preferably characterized in that it is not shown in the model described below.
  • the image processing module has a model input interface for adopting a model or a submodel of the monitoring region, wherein the model or submodel are collectively referred to below as a model.
  • the model forms static, quasi-static and / or non-static elements of the
  • the model may include the plans of a building, furniture, desks, or the like. Quasi-static elements are given, for example, in the monitoring of a parking lot by parked cars, which usually remain a longer residence time unmoved. Furthermore, that can - A -
  • Model also included non-static elements, such as passing trains, escalators, elevators, paternoster or the like included.
  • An object input interface is used to transfer an object point of the monitoring object.
  • the object point is based on one or more
  • Pixels of the surveillance object of a recorded with the surveillance camera surveillance image determined.
  • a detection of the monitored object takes place in the monitoring image, the detected image of the monitored object being e.g. is enclosed with a rectangle or polygon and where e.g. a foot point of the rectangle is passed as an object point.
  • a focus of the monitored object or the like can be passed as an object point.
  • the image processing module comprises a camera input interface for
  • the camera model includes in particular the position and / or orientation as well as the imaging and / or projection properties of the surveillance camera in world coordinates and / or model coordinates, so that the surveillance camera and its detection range can be integrated into the model.
  • the camera model is implemented as a transformation matrix, which allows a transformation of pixels in the image plane of the surveillance camera into the model.
  • Model input interface and camera input interface may also be formed as a common interface, the model then includes the camera model.
  • the image processing module is designed as control technology and / or circuit technology, the object position of the surveillance object or partial areas thereof in the
  • the position of the object point in the model is preferably first determined-thus determining the position of the object point in model coordinates-and in a further step transmitting the position in model coordinates to a position in world coordinates in the monitoring area.
  • the model is designed as a 3-D model so that the object position can be determined as a 3-D object position.
  • the 3-D model is delimited from the 2-D model, in particular by the 3-D model containing at least one out-of-plane element.
  • the 3-D model thus has spatial elements such as 3-D triangular meshes, elevation maps or even simple shapes or bodies such as spheres, cuboids or the like for modeling real elements in the surveillance area.
  • the model should come as close as possible to the spatial conditions of the real scene.
  • the model is also called a collision model.
  • One idea of the invention is that it is often necessary to locate surveillance objects not only in flat or planned surveillance areas, but also in surveillance areas with changing altitudes. On the one hand - to get back to the example of the football field - a grandstand or the like can no longer be sensibly processed by the known system.
  • the embodiment according to the invention is advantageous if the 3-D model, for example, depicts a complete building and object positions are to be determined in different floors or intermediate floors. The fact that a "true" 3-D model is used and an object point of the monitoring object is mapped into the model, geometrically complex monitoring areas can be easily incorporated into the object position determination.
  • the at least one surveillance camera has one or the detection area, that is to say a spatial area in the area
  • Surveillance area observed with the surveillance camera wherein the surveillance area and / or the model extends farther or wider than the detection area.
  • the detection range of the camera thus forms a subarea of the surveillance area or only covers a subarea of the model.
  • the monitoring system has at least two surveillance cameras with overlapping and / or non-overlapping detection areas, the surveillance area and / or the model extending exactly over the detection areas or further than the detection areas of the at least two surveillance cameras. Both trainings aim at that Model is far more spacious than the detection range of a single surveillance camera is designed to - as already explained - to be able to control complex surveillance areas effectively.
  • the image processing module is designed such that the object point which lies in the image plane or in an equivalent plane of the surveillance camera and is indicated in image coordinates, based on the camera model to an imaging point of the 3 -. D model is mapped.
  • the imaging point in the 3-D model is on an edge surface of an element shown in the 3-D model.
  • the imaging point determined in this way is interpreted as a 3-D object position and output, for example, via a further interface.
  • the image processing module is designed such that the object point in the image plane is imaged onto a projection point in the model, wherein the projection point lies on a projection plane of the surveillance camera arranged in the correct position in the model.
  • the projection plane is defined as the plane through which rays, starting from a projection center of the
  • Surveillance camera through one or more projection points and meet in the model on the corresponding imaging point.
  • the mapping of the object point to the projection point is completely determined by the camera model.
  • the image processing module is developed such that at least one intersection of the half-lines with one or more elements of the 3-D model are searched.
  • a point on the edge surface ie, for example, a puncture point is sought as the intersection. Since it is possible for the half-line to pierce several elements of the 3-D model and / or to pierce a front and a back of an element of the 3-D model, it is further preferred that the intersection be chosen as the imaging point the smallest distance to the projection origin and / or to the
  • intersection point is interpreted as an imaging point and initially represents the 3D object position of the object point and thus also of the object in model coordinates, which can be easily converted into world coordinates.
  • Memory device is implemented in which the set of all imaging points for a plurality and / or all pixels in the detection range of the surveillance camera is stored.
  • the corresponding imaging point can be found in monitoring mode for an object point in a technically simple manner, without having to carry out the test for multiple intersections, for example.
  • the data content of the memory device can be stored in an initialization phase, alternatively, it is possible that the content of the memory device is updated regularly, irregularly and / or event-controlled.
  • Another object of the invention relates to a method for determining a 3D object position of a surveillance camera detected by a surveillance object in a surveillance area, which is preferably carried out using the image processing module just described or according to one of the preceding claims.
  • an object point of the surveillance object is determined in the image plane of the surveillance camera. For this purpose, for example - as already stated - a rectangle is placed around the detected monitoring object and the base point of the rectangle is selected as the object point.
  • the object point is imaged on the basis of one or the camera model of the surveillance camera onto one or the imaging point of a 3-D model or 3-D submodel, which are also referred to collectively below as a 3-D model.
  • the mapping can take place, for example, by forming a transformation matrix on the basis of the camera model, which transforms the video image or sections thereof of the surveillance camera from the image plane onto a projection surface of the 3-D model, the position and size of the transformed video image being selected such that the pixels of the video image are arranged as correctly positioned projection points in the 3-D model.
  • the object point is mapped to a projection point in the projection plane by means of the transformation matrix.
  • a half-line starting in the projection center of the surveillance camera and piercing the projection point is then cut with the model, finding an imaging point which is formed as an intersection of the half-line with the 3-D model.
  • the 3-D object position of the imaging point is then interpreted as a 3-D object position of the object point and / or the monitored object.
  • some or all object points of the monitoring object can also be projected into the 3-D model in order to obtain a more complex 3-D position information of the surveillance object.
  • the intersection with the smallest distance to the projection center is selected as the imaging point.
  • Another possible embodiment can be seen in that some, a plurality and / or all pixels in the image plane of the surveillance camera are mapped to imaging points of the 3-D model, so that they are present in the sense of a table or a look-up table , This step may be periodic, irregular, and / or event driven, and / or depending on the updating of the 3-D model.
  • This step may be periodic, irregular, and / or event driven, and / or depending on the updating of the 3-D model.
  • Another object of the invention relates to a computer program having the features of claim 12.
  • FIG. 1 is a block diagram of a monitoring system having an image processing module as an embodiment of the invention
  • Figure 2 is a schematic representation of a 3-D model for illustrating the method according to the invention.
  • FIG. 1 shows a schematic block diagram of a monitoring system 1, which is connected to a plurality of surveillance cameras 2 and / or connectable.
  • the surveillance cameras 2 are arranged distributed in a monitoring area (not shown), wherein the detection areas of the
  • Surveillance cameras 2 partially overlap, but also detection areas are provided, which forms no intersection with a detection range of another surveillance camera 2.
  • the monitoring system 1 has an image processing module 3, which is designed to determine a 3-D object position of a monitoring object in the monitoring area on the basis of input data defined in more detail later.
  • This image processing module 3 is used when it is interesting to obtain information about the 3-D object position in world coordinates for a monitoring object detected by the monitoring system 1.
  • the surveillance object is detected in a video image of one of the surveillance cameras 2 and detected, for example, by a "bounding box", ie a rectangle projected in terms of data in the video image.
  • a base point of the bounding box ie a point which lies in the middle of the side edge of the rectangle, which, in perspective interpreted form, should represent the underside of the monitored object, is defined as an object point.
  • the operation of object point extraction is performed in a detection device 4, which
  • the object point is transferred to an evaluation device 5, which is designed to determine the 3-D object position of this object point, as will be explained below.
  • the evaluation device 5 receives from a first data memory 6 a model of the monitoring area.
  • the model is designed as a 3-D model, thus containing elements that are defined outside a common plane.
  • the spatial extent of the model can be limited to the detection range of a single surveillance camera 2, be greater than this detection range, pass over at least the detection areas of two surveillance cameras 2 or capture a plurality of detection areas of surveillance cameras 2.
  • the model should come as close to reality as possible and has, for example, space,
  • the evaluation device 5 receives from a second data memory 7 a camera model of the surveillance camera 2 with which the surveillance object is detected or which provides the object point.
  • the camera model includes data on the position and orientation of the surveillance camera 2 in model or world coordinates and on the optical imaging properties of the surveillance camera, so that, for example, the detection range of the surveillance camera 2 is modeled in the 3D model.
  • the 3-D object position of the object point can now be calculated in model or world coordinates. This calculation will be explained with reference to the schematic representation of a 3-D model 8 in the following figure.
  • the 3-D model is shown in simplified form in FIG. 2 with two elements, namely a cuboid 9 and a modeled surveillance camera 10.
  • the 3-D model is designed as a wireframe model.
  • the cuboid 9 represents any real object in the surveillance area, such as a desk or the like. A plurality of such bodies can thus form the 3-D model.
  • the modeled surveillance camera 10 comprises a projection center 11 and a projection plane 12.
  • the projection center 11 and plane 12 are arranged such that a pixel of the real surveillance camera 2 corresponding to the modeled camera 10 is projected on a half-line which begins in the projection center 11 and through one the image point corresponding imaging point extends, in the correct position as a projection point on the projection plane 12 is shown.
  • the object point is entered as a projection point 14 in the correct position in the model 8.
  • the half-line 13 is formed by the projection center 11 and the projection point 14, so that a direction of the half-line 13 is defined by these input data.
  • there are two points of intersection namely the imaging point 15 and a further intersection point 16. If there are several intersections 15, 16, the evaluation device 5 checks which intersection point 15, 16 has the smallest distance to the projection center 11 this then the modeled surveillance camera 10 facing upper side or visible side of the cuboid 9 and the 3-D model 8 must represent.
  • the 3-D position data of the imaging point 15 are subsequently output as a 3-D object position by the evaluation device 5 or the image processing module 3.
  • the illustrated method allows the position determination in rooms and at different heights. Particularly noteworthy is that walls or similar visual collision objects are taken into account.
  • the image processing module has another input interface to a third
  • Data memory 17 wherein in the third data memory 17 an assignment table is stored, in which for each pixel of the surveillance cameras 2, a corresponding 3 -D object position is calculated.
  • the third data memory 17 is refreshed, for example, in an initialization phase, but also during an update of the model, the camera model, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Videoüberwachungssysteme dienen dazu, mit Hilfe von Überwachungskameras oftmals weiträumige, verwinkelte oder komplexe Überwachungsbereiche zu beobachten. Die mit den Überwachungskameras aufgenommenen Bilddatenströme werden üblicherweise in eine Überwachungszentrale oder dergleichen zusammengeführt und dort entweder automatisiert oder durch Überwachungspersonal kontrolliert. Es wird ein Bildverarbeitungsmodul (3) zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem (1) zur Überwachung von mindestens diesem Überwachungsbereich mit mindestens einer Überwachungskamera (2) vorgeschlagen, mit einer Modelleingangsschnittstelle (6) zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs nachfolgend zusammenfassend als Modell bezeichnet -, mit einer Kameraeingangsschnittstelle (7) zur Übernahme eines Kameramodells der Überwachungskamera (2), mit einer Objekteingangsschnittstelle zur Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul (5) ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen, wobei das Modell als ein 3D-Modell ausgebildet ist, so dass die Objektposition als 3D-Objektposition bestimmbar ist.

Description

Beschreibung
Titel
Bildverarbeitungsmodul zur Schätzung einer Objektposition eines Überwachungsobiekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm
Stand der Technik
Die Erfindung betrifft ein Bildverarbeitungsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem zur Überwachung von mindestens diesem Überwachungsbereich mit einer Überwachungskamera, mit einer Modelleingangsschnittstelle zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs, mit einer Kameraeingangsschnittstelle zur Übernahme eines Kameramodells der Überwachungskamera, mit einer Objekteingangsschnittstelle zur
Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw.
Teilbereichen davon in dem Überwachungsbereich zu bestimmen. Ferner betrifft die Erfindung ein entsprechendes Verfahren zur Bestimmung der Objektposition eines Überwachungsobjekts sowie ein Computerprogramm.
Videoüberwachungssysteme dienen dazu, mit Hilfe von Überwachungskameras oftmals weiträumige, verwinkelte oder komplexe Überwachungsbereiche zu beobachten. Die mit den Überwachungskameras aufgenommenen Bilddatenströme werden üblicherweise in eine Überwachungszentrale oder dergleichen zusammengeführt und dort entweder automatisiert oder durch Überwachungspersonal kontrolliert. Mit der steigenden Größe bzw. Komplexität der Überwachungsbereiche und somit einer steigenden Anzahl von Überwachungskameras nimmt die Anzahl von den Bilddatenströmen, welche von dem Wachpersonal kontrolliert werden müssen, stetig zu. Ab einer gewissen Anzahl von Videomonitoren zur Darstellung der Bilddatenströme muss davon ausgegangen werden, dass die Aufmerksamkeit für jeden einzelnen
Videomonitor des Wachpersonals sicher verringert ist. Wird die Anzahl der Videomonitore weiter erhöht, so kann dies zu einer unüberschaubaren Anzahl führen, so dass eine ausreichende Überwachungsqualität möglicherweise nicht mehr gesichert ist.
Eine Weiterentwicklung von Videoüberwachungssystemen ist beispielsweise durch die
Druckschrift DE 698 125 18 T2, die wohl den nächstkommenden Stand der Technik bildet, gegeben, in der eine Bildverarbeitungsvorrichtung zur Beobachtung von zum Beispiel einem Fußballplatz offenbart ist. In dieser Druckschrift wird vorgeschlagen, dem Beobachter das Fußballfeld nicht mehr real darzustellen, sondern ihm ein Modell des Fußballfelds zu zeigen und die Fußballspieler als virtuelle Objekte einzublenden. Hierzu wird in einem ersten Schritt in einem Videobild die Lage des Fußballfeldes kalibriert, indem vier Eckpunkte des Fußballfelds in dem Videobild manuell bestimmt werden. In weiteren Schritten werden durch Bildverarbeitungsalgorithmen die Bilder von detektierten Fußballspielern in der Bildebene der Überwachungskamera mit Rechtecken (bounding-box) zu umgeben. Diese Rechtecke werden nachfolgend datentechnisch von der 2-D-Bildebene der Überwachungskamera in das 2-D-Modell des Fußballfelds übertragen. In einem nächsten Schritt werden die Rechtecke "aufgestellt ", indem diese in dem 2-D-Modell des Fußballfeldes um eine der Überwachungskamera zugewandte Seitenlinie des Rechtecks um 90° geschwenkt werden. Die Proportionen des Rechtecks werden nach perspektivischen Gesichtspunkten verzerrt, so dass in dem 2-D-Modell des
Fußballfelds zunächst perspektivisch annähernd richtige Abbilder der Fußballspieler dargestellt sind. In weiteren Schritten wird diese Operation für weitere Fußballspieler durchgeführt und so Ansichten eines jeden Fußballspielspielers aus verschiedenen Perspektiven erhalten. Diese perspektivischen Ansichten werden zu einem Modell des Fußballspielers zusammengezogen, so dass eine 3 -D-Darstellung der Fußballspieler gebildet wird.
Offenbarung der Erfindung Im Rahmen der Erfindung wird ein Bildverarbeitungsmodul mit den Merkmalen des Anspruchs 1, ein Verfahren zur Bestimmung einer Objektposition mit den Merkmalen des Anspruchs 8 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten
Figuren.
Das vorgeschlagene Bildverarbeitungsmodul ist vorzugsweise ein Teil eines Überwachungssystems realisiert, wobei das Überwachungssystem zur Überwachung von mindestens einem Überwachungsbereich mit einer Überwachungskamera geeignet und/oder ausgebildet ist, wobei die Überwachungskameras auf relevante Bereiche in dem Überwachungsbereich gerichtet und/oder zu richten sind. Ein weiterer offenbarter Erfindungsgegenstand ist somit auch ein derartiges Überwachungssystem mit dem Bildverarbeitungsmodul. Der Überwachungsbereich kann beispielsweise als das Innere eines Gebäudekomplexes, öffentliche Plätze, Krankenhäuser, etc. ausgebildet sein.
Das Bildverarbeitungsmodul ist zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in dem Überwachungsbereich ausgebildet. Eine Schätzung bedeutet in diesem Zusammenhang eine Bestimmung der Objektposition, wobei eine beliebige Definition für die Objektposition des
Überwachungsobjekts verwendbar ist Beispiele für Definitionen sind der Schwerpunkt des Überwachungsobjekts, ein Fußpunkt des Überwachungsobjekts oder dergleichen. Das Überwachungsobjekt kann als beliebiges, bewegtes, quasi-stationäres oder stationäres Überwachungsobjekt ausgebildet sein und ist vorzugsweise dadurch gekennzeichnet, dass es in dem nachfolgend beschriebenen Modell nicht abgebildet ist.
Das Bildverarbeitungsmodul weist eine Modelleingangsschnittstelle zur Übernahme eines Modells oder eines Teilmodells des Überwachungsbereichs auf, wobei Modell oder Teilmodell nachfolgend zusammenfassend als Modell bezeichnet werden. Das Modell bildet statische, quasi-statische und/oder nicht-statische Elemente des
Überwachungsbereichs ab. Beispielsweise kann das Modell die Pläne eines Gebäudes, Möbel, Schreibtische oder dergleichen enthalten. Quasi-statische Elemente sind beispielsweise bei der Überwachung eines Parkplatzes durch parkende Autos gegeben, welche üblicherweise eine längere Verweildauer unbewegt bleiben. Weiterhin kann das - A -
Modell auch nicht-statische Elemente enthalten, wie zum Beispiel durchfahrende Züge, Rolltreppen, Aufzüge, Paternoster oder dergleichen enthalten.
Eine Objekteingangsschnittstelle dient zur Übernahme eines Objektpunkts des Überwachungsobjekts. Der Objektpunkt wird auf Basis von einem oder mehreren
Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt. Bei einer möglichen Umsetzung erfolgt in dem Bildverarbeitungsmodul oder in einem vorgeschalteten Modul eine Detektion des Überwachungsobjekts in dem Überwachungsbild, wobei das detektierte Abbild des Überwachungsobjekts z.B. mit einem Rechteck oder Polygon umschlossen wird und wobei z.B. ein Fußpunkt des Rechtecks als Objektpunkt weitergegeben wird. Alternativ hierzu kann selbstverständlich auch ein Schwerpunkt des Überwachungsobjekts oder dergleichen als Objektpunkt weitergegeben werden.
Ferner umfasst das Bildverarbeitungsmodul eine Kameraeingangsschnittstelle zur
Übernahme eines Kameramodells. Das Kameramodell umfasst insbesondere die Lage und/oder Ausrichtung sowie die Abbildungs- und/oder Projektions eigenschaften der Überwachungskamera in Weltkoordinaten und/oder Modellkoordinaten, so dass die Überwachungskamera und deren Erfassungsbereich in das Modell integriert werden kann. Beispielsweise ist das Kameramodell als eine Transformationsmatrix realisiert, welche eine Transformation von Bildpunkten in der Bildebene der Überwachungskamera in das Modell erlaubt.
Modelleingangsschnittstelle und Kameraeingangsschnittstelle können auch als eine gemeinsame Schnittstelle ausgebildet sein, wobei das Modell dann das Kameramodell umfasst.
Das Bildverarbeitungsmodul ist steuerungstechnisch und/oder schaltungstechnisch ausgebildet, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem
Überwachungsbereich zu bestimmen. Hierzu wird vorzugsweise zunächst die Lage des Objektpunkts in dem Modell bestimmt - somit die Lage des Objektspunkts in Modellkoordinaten bestimmt -und in einem weiteren Schritt die Lage in Modellkoordinaten auf eine Lage in Weltkoordinaten in dem Überwachungsbereich übertragen. Der Erfindung folgend wird vorgeschlagen, dass das Modell als ein 3 -D-Modell ausgebildet ist, so dass die Objektposition als 3 -D-Objektposition bestimmbar ist. Das 3- D-Modell wird gegenüber dem 2-D-Modell, insbesondere dadurch abgegrenzt, dass das 3 -D-Modell wenigstens ein Element außerhalb einer Ebene enthält. Das 3 -D-Modell weist somit räumliche Elemente auf, wie beispielsweise 3 -D-Dreiecksnetze, Höhenkarten oder auch einfache Formen oder Körper wie Sphären, Quader oder dergleichen zur Modellierung von realen Elementen in dem Überwachungsbereich. Vorzugsweise sollte das Modell den räumlichen Gegebenheiten der realen Szene so nahe wie möglich kommen. Das Modell wird auch als Kollisionsmodell bezeichnet.
Ein Gedanke der Erfindung ist es, dass es oftmals notwendig ist, Überwachungsobjekte nicht nur in ebenen bzw. planen Überwachungsbereichen, sondern auch in Überwachungsbereichen mit wechselnden Höhen zu orten. Zum einen kann - um auf das Beispiel des Fußballfelds zurückzukommen - eine Tribüne oder dergleichen nicht mehr von dem bekannten System sinnvoll verarbeitet werden. Zum anderen ist die erfindungsgemäße Ausgestaltung vorteilhaft, wenn das 3 -D-Modell beispielsweise ein komplettes Gebäude abbildet und Objektpositionen in verschiedene Etagen oder Zwischenetagen zu bestimmen sind. Dadurch, dass ein „echtes" 3 -D-Modell verwendet wird und ein Objektpunkt des Überwachungsobjekts in das Modell abgebildet wird, können in einfacher Weise auch geometrisch komplexe Überwachungsbereiche in die Objektpositionsermittlung übernommen werden.
Bei einer Weiterbildung der Erfindung weist die mindestens eine Überwachungskamera einen bzw. den Erfassungsbereich auf, also einen räumlichen Bereich in dem
Überwachungsbereich, der mit der Überwachungskamera beobachtet wird, wobei sich der Überwachungsbereich und/oder das Modell weiter oder weiträumiger als der Erfassungsbereich erstreckt. Der Erfassungsbereich der Kamera bildet somit einen Teilbereich des Überwachungsbereichs bzw. deckt nur einen Teilbereich des Modells ab.
Es ist auch möglich, dass das Überwachungssystem mindestens zwei Überwachungskameras mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist, wobei sich der Überwachungsbereich und/oder das Modell genau über die Erfassungsbereiche oder weiter als die Erfassungsbereiche der mindestens zwei Überwachungskameras erstreckt. Beide Weiterbildungen zielen darauf ab, dass das Modell weiträumiger als der Erfassungsbereich einer einzigen Überwachungskamera ausgebildet ist, um - wie bereits erläutert - auch komplexe Überwachungsbereiche effektiv kontrollieren zu können.
Bei einer möglichen Konkretisierung der Erfindung ist das Bildverarbeitungsmodul schaltungstechnisch und/oder programmtechnisch so ausgebildet, dass der Objektpunkt, welcher in der Bildebene oder in einer dazu äquivalenten Ebene der Überwachungskamera liegt und in Bildkoordinaten angegeben ist, auf Basis des Kameramodells auf einen Abbildungspunkt des 3 -D-Modells abgebildet wird. Vorzugsweise liegt der Abbildungspunkt in dem 3-D-Modell auf einer Randfläche eines in dem 3 -D-Modell dargestellten Elements.
Der derart ermittelte Abbildungspunkt wird als 3 -D-Objektposition interpretiert und beispielsweise über eine weitere Schnittstelle ausgegeben.
Bei einer möglichen Ausführungsform ist das Bildverarbeitungsmodul so ausgebildet, dass der Objektpunkt in der Bildebene auf einen Projektionspunkt in dem Modell abgebildet wird, wobei der Projektionspunkt auf einer lagerichtig in dem Modell angeordneten Projektionsebene der Überwachungskamera liegt. Die Projektionsebene ist als die Ebene definiert, durch die Strahlen, ausgehend von einem Projektionszentrum der
Überwachungskamera durch einen oder mehrere Projektionspunkte verlaufen und in dem Modell auf den korrespondierenden Abbildungspunkt treffen. Die Abbildung des Objektpunkts auf den Projektionspunkt ist durch das Kameramodell vollständig bestimmt.
Durch Kenntnis der Lage des Projektionspunkts und der Lage des Projektionszentrums ist es möglich, z.B. auf Basis von geometrischen Optik, eine Halbgerade zu konstruieren, deren Ursprung in dem Projektionszentrum liegt und die durch den Projektionspunkt verläuft. Durch diese Operation ist sichergestellt, dass der gesuchte Abbildungspunkt auf der Halbgeraden liegt.
Bevorzugt ist das Bildverarbeitungsmodul derart weitergebildet, dass mindestens ein Schnittpunkt der Halbgeraden mit einem oder mehreren Elementen des 3 -D-Modells gesucht werden. Vorzugsweise wird als Schnittpunkt ein Punkt auf der Randfläche, also z.B. ein Durchstoßpunkt gesucht. Nachdem es möglich ist, dass die Halbgerade mehrere Elemente des 3 -D-Modells durchstößt und/oder eine Vorder- und eine Rückseite eines Elements des 3 -D-Modells durchstößt, ist es weiterhin bevorzugt, dass der Schnittpunkt als Abbildungspunkt gewählt wird, welche den kleinsten Abstand zu dem Projektionsursprung und/oder zu der
Überwachungskamera aufweist. Hierdurch ist sichergestellt, dass der Schnittpunkt auf einer von der Überwachungskamera erfassbaren Fläche angeordnet wird.
Der derart ermittelte Schnittpunkt wird als Abbildungspunkt interpretiert und repräsentiert die 3D-Objektposition des Objektpunkts und damit auch des Objekts zunächst in Modellkoordinaten, die in einfacher Weise in Weltkoordinaten gewandelt werden können.
Insbesondere mit dem Ziel, im Überwachungsbetrieb die Anforderung an Prozessoren oder dergleichen zu verringern, wird ergänzend vorgeschlagen, dass eine
Speichervorrichtung implementiert ist, in der die Menge aller Abbildungspunkte für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der Überwachungskamera gespeichert ist. In diesem Fall kann im Überwachungsbetrieb für einen Objektpunkt in datentechnisch einfacher Weise der korrespondierende Abbildungspunkt gefunden werden, ohne zum Beispiel die Prüfung auf mehrere Schnittpunkte durchführen zu müssen. Der Dateninhalt der Speichervorrichtung kann zum einen in einer Initialisierungsphase eingespeichert werden, alternativ ist es möglich, dass der Inhalt der Speichervorrichtung regelmäßig, unregelmäßig und/oder ereignisgesteuert aktualisiert wird.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung einer 3 -D- Objektposition eines von einer Überwachungskamera erfassten Überwachungsobjekts in einem Überwachungsbereich, welches vorzugsweise mit Hilfe des soeben beschriebenen Bildverarbeitungsmoduls bzw. nach einem der vorhergehenden Ansprüche durchgeführt wird.
Bei dem erfindungsgemäßen Verfahren wird zunächst ein Objektpunkt des Überwachungsobjekts in der Bildebene der Überwachungskamera bestimmt. Hierzu wird beispielsweise - wie bereits ausgeführt - ein Rechteck um das detektierte Überwachungsobjekt gelegt und der Fußpunkt des Rechtecks als Objektpunkt gewählt. In einem nächsten Schritt wird der Objektpunkt auf Basis eines oder des Kameramodells der Überwachungskamera auf einen oder den Abbildungspunkt eines 3 -D-Modells oder 3 -D-Teilmodells, welche nachfolgend ebenfalls zusammenfassend als 3 -D-Modell bezeichnet werden, abgebildet.
Die Abbildung kann beispielsweise dadurch erfolgen, dass auf Basis des Kameramodells eine Transformationsmatrix erstellt wird, welche das Videobild oder Abschnitte davon der Überwachungskamera von der Bildebene auf eine Projektionsfläche des 3 -D-Modells transformiert, wobei Lage und Größe des transformierten Videobilds so gewählt ist, dass die Bildpunkte des Videobilds als lagerichtig Projektionspunkte in dem 3 -D-Modell angeordnet sind.
In einem nachfolgenden Schritt wird der Objektpunkt mittels der Transformationsmatrix auf einen Projektionspunkt in der Projektionsebene abgebildet. Eine Halbgerade, welche in dem Projektionszentrum der Überwachungskamera ihren Anfang hat und den Projektionspunkt durchstößt wird dann mit dem Modell geschnitten, wobei ein Abbildungspunkt gefunden wird, welcher als ein Schnittpunkt der Halbgeraden mit dem 3 -D-Modell ausgebildet ist. Die 3 -D-Objektposition des Abbildungspunkts wird dann als 3 -D-Objektposition des Objektpunkts und/oder des Überwachungsobjekts interpretiert.
Bei einer Weiterbildung der Erfindung können auch einige oder sämtliche Objektpunkte des Überwachungsobjekts in das 3 -D-Modell projiziert werden, um eine komplexere 3 -D- Positionsinformation des Überwachungsobjekts zu erhalten.
Auch bei dem Verfahren ist es möglich, dass bei mehreren Schnittpunkten einer einzigen der Halbgeraden mit dem 3 -D-Modell der Schnittpunkt mit dem kleinsten Abstand zu dem Projektionszentrum als Abbildungspunkt gewählt wird.
Eine weitere mögliche Ausgestaltung ist darin zu sehen, dass einige, eine Mehrzahl und/oder alle Bildpunkte in der Bildebene der Überwachungskamera auf Abbildungspunkte des 3-D-Modells abgebildet werden, so dass diese im Sinne einer Tabelle oder einer Look-Up-Table vorliegen. Dieser Schritt kann regelmäßig, unregelmäßig und/oder ereignisgesteuert und/oder in Abhängigkeit der Aktualisierung des 3-D-Modells erfolgen. Obwohl die Erfindung anhand einer Darstellung mit Halbgeraden vorgestellt wurde, kann die gleiche Abbildung auch in einer äquivalenten mathematischen Darstellung umgesetzt werden.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit den Merkmalen des Anspruchs 12.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie den Figuren der Erfindung. Dabei zeigen:
Figur 1 ein Blockdiagramm eines Überwachungssystems mit einem Bildverarbeitungsmodul als ein Ausführungsbeispiel der Erfindung;
Figur 2 eine schematische Darstellung eines 3-D-Modells zur Illustration des Verfahrens gemäß der Erfindung.
Ausführungsform(en) der Erfindung
Die Figur 1 zeigt in einer schematischen Blockdarstellung ein Überwachungssystem 1 , welches mit einer Mehrzahl von Überwachungskameras 2 verbunden und/oder verbindbar ist. Die Überwachungskameras 2 sind in einem Überwachungsbereich (nicht dargestellt) verteilt angeordnet, wobei sich die Erfassungsbereiche der
Überwachungskameras 2 teilweise überlappen, jedoch auch Erfassungsbereiche vorgesehen sind, welche keine Schnittmenge mit einem Erfassungsbereich einer anderen Überwachungskamera 2 bildet.
Das Überwachungssystem 1 weist unter anderem ein Bildverarbeitungsmodul 3 auf, welches ausgebildet ist, auf Basis von später näher definierten Eingangsdaten eine 3-D- Objektposition eines Überwachungsobjekts in dem Überwachungsbereich zu bestimmen. Dieses Bildverarbeitungsmodul 3 wird eingesetzt, wenn es interessant ist, zu einem durch das Überwachungssystem 1 erfassten Überwachungsobjekt eine Information über die 3- D-Objektposition in Weltkoordinaten zu erhalten. Zur Ermittlung der 3-D-Objektposition wird in einem ersten Schritt das Überwachungsobjekt in einem Videobild einer der Überwachungskameras 2 detektiert und beispielsweise durch eine „Bounding-Box", also einem in das Videobild datentechnisch projiziertes Rechteck, erfasst.
Ein Fußpunkt der Bounding-Box, also ein Punkt, welcher in der Mitte der Seitenkante des Rechtecks liegt, die perspektivisch interpretiert die Unterseite des Überwachungsobjekts repräsentieren müsste, wird als ein Objektpunkt definiert. Die Operation der Objektpunktextraktion wird in einer Detektionseinrichtung 4 durchgeführt, welche
Bestandteil des Bildverarbeitungsmoduls 3 sein, diesem jedoch auch vorgeschaltet sein kann.
Der Objektpunkt wird an eine Auswerteeinrichtung 5 übergeben, welche dazu ausgebildet ist, die 3 -D-Objektposition dieses Objektpunktes zu bestimmen, wie nachfolgend dargelegt wird.
Als weitere Daten erhält die Auswerteeinrichtung 5 von einem ersten Datenspeicher 6 ein Modell des Überwachungsbereichs. Das Modell ist als ein 3-D-Modell ausgebildet, enthält somit Elemente, welche außerhalb einer gemeinsamen Ebene definiert sind. Die räumliche Erstreckung des Modells kann sich auf den Erfassungsbereich einer einzigen Überwachungskamera 2 beschränken, größer als dieser Erfassungsbereich sein, über mindestens die Erfassungsbereiche von zwei Überwachungskameras 2 gehen oder eine Vielzahl von Erfassungsbereichen von Überwachungskameras 2 erfassen. Das Modell soll der Realität so nahe wie möglich kommen und weist beispielsweise Raum-,
Gebäude- und/oder Geländegrenzen, 3 -D-Dreiecksnetze, Höhenkarten oder auch einfache geometrische Körper, wie zum Beispiel Sphären oder Quader zur Nachbildung der realen Welt dar. Die reale Welt wird datentechnisch in Weltkoordinaten dargestellt, das Modell liegt in Modellkoordinaten vor. Die Transformation von Welt- zu Modellkoordinaten oder in umgekehrter Richtung ist vollständig bestimmt.
Als weitere Eingangsdaten erhält die Auswerteeinrichtung 5 aus einem zweiten Datenspeicher 7 ein Kameramodell der Überwachungskamera 2, mit der das Überwachungsobjekt erfasst ist bzw. die den Objektpunkt bereitstellt. Das Kameramodell umfasst Daten über die Lage und die Ausrichtung der Überwachungskamera 2 in Modell- bzw. Weltkoordinaten sowie über die optischen Abbildungseigenschaften der Überwachungskamera, so dass beispielsweise der Erfassungsbereich der Überwachungskamera 2 in dem 3D-Modell modellierbar ist.
Unter Verwendung der Daten des Kameramodells, des Modells sowie des Objektpunkts kann nun die 3-D-Objektposition des Objektpunkts in Modell- bzw. Weltkoordinaten berechnet werden. Diese Berechnung wird anhand der schematischen Darstellung eines 3 -D-Modells 8 in der nachfolgenden Figur erläutert.
Das 3 -D-Modell ist in der Figur 2 vereinfacht mit zwei Elementen dargestellt, nämlich einem Quader 9 und einer modellierten Überwachungskamera 10. Beispielsweise ist das 3 -D-Modell als ein Drahtgittermodell ausgeführt. Der Quader 9 repräsentiert ein beliebiges reales Objekt in dem Überwachungsbereich, wie zum Beispiel einen Schreibtisch oder dergleichen. Eine Vielzahl derartiger Körper kann somit das 3-D- Modell bilden.
Die modellierte Überwachungskamera 10 umfasst ein Projektionszentrum 11 sowie eine Projektionsebene 12. Projektionszentrum 11 und -ebene 12 sind so angeordnet, dass ein Bildpunkt der zu der modellierten Kamera 10 korrespondierenden realen Überwachungskamera 2 auf einer Halbgeraden, welche im Projektionszentrum 11 beginnt und sich durch einen zu dem Bildpunkt korrespondierenden Abbildungspunkt erstreckt, lagerichtig als Projektionspunkt auf der Projektionsebene 12 abgebildet liegt.
Diese optisch geometrischen Zusammenhänge können auch von der schematischen Darstellung in der Figur 2 entnommen werden, so verläuft eine Halbgerade 13 ausgehend von dem Projektionszentrum 11 durch einen Projektionspunkt 14 und durch einen Abbildungspunkt 15, welcher auf der Oberseite oder Oberfläche des Quaders 9 liegt. Die Ausrichtung sowie Lage des Projektionszentrums 11, der Projektionsebene 12 sowie der Projektionspunkte 14 sind durch das Kameramodell und das Modell 8 vorgegeben.
Wieder zurückkehrend zu der geschilderten Verfahrensweise des Bildverarbeitungsmoduls 3 in Figur 1 wird der Objektpunkt als Projektionspunkt 14 lagerichtig in dem Modell 8 eingetragen. Nachfolgend wird die Halbgerade 13 durch das Projektionszentrum 11 und den Projektionspunkt 14 gebildet, so dass durch diese Eingangsdaten eine Richtung der Halbgeraden 13 definiert ist. In einem nächsten Schritt wird die Halbgerade 13 mit dem Modell 8 - in diesem Fall mit dem Quader 9 - geschnitten. Wie sich aus der Darstellung ergibt, liegen zwei Schnittpunkte vor, nämlich der Abbildungspunkt 15 und ein weiterer Schnittpunkt 16. Bei Vorliegen von mehreren Schnittpunkten 15, 16 prüft die Auswerteeinrichtung 5, welcher Schnittpunkt 15, 16 den kleinsten Abstand zu dem Projektionszentrum 11 aufweist, da dieser dann die der modellierten Überwachungskamera 10 zugewandte Oberseite oder Sichtseite des Quaders 9 bzw. des 3-D-Modells 8 repräsentieren muss.
Die 3 -D-Lagedaten des Abbildungspunkts 15 werden nachfolgend als 3 -D-Objektposition von der Auswerteeinrichtung 5 bzw. dem Bildverarbeitungsmodul 3 ausgegeben.
Das dargestellte Verfahren erlaubt die Positionsbestimmung in Räumen und auf verschiedenen Höhen. Besonders hervorzuheben ist, dass Wände oder ähnliche Sichtkollisionsobjekte berücksichtigt werden.
Bei einer Weiterbildung des Ausführungsbeispiels ist es auch möglich, dass mehrere Bildpunkte des Überwachungsobjekts als Objektpunkte an das Bildverarbeitungsmodul 3 übergeben werden, um eine komplexere Information über die 3 -D-Objektposition des Überwachungsobjekts zu erhalten. Bei anderen Ausführungsformen weist das Bildverarbeitungsmodul eine weitere Eingangsschnittstelle zu einem dritten
Datenspeicher 17 auf, wobei in dem dritten Datenspeicher 17 eine Zuordnungstabelle abgelegt ist, in der für jeden Bildpunkt einer der Überwachungskameras 2 eine entsprechende 3 -D-Objektposition berechnet ist. Der dritte Datenspeicher 17 wird zum Beispiel in einer Initialisierungsphase, aber auch bei einer Aktualisierung des Modells, des Kameramodells, etc. aufgefrischt. Durch die Verwendung des dritten Datenspeichers
17 kann die Echtzeitfähigkeit des Bildverarbeitungsmoduls 3 und damit des Überwachungssystems 1 verbessert werden, da rechenzeitintensive Prozeduren vor dem Echtzeitbetrieb bereits abgearbeitet werden können.

Claims

Ansprüche
1. Bildverarbeitungsmodul (3) zur Schätzung einer Objektposition eines
Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem (1) zur Überwachung von mindestens diesem
Überwachungsbereich mit mindestens einer Überwachungskamera (2),
mit einer Modelleingangsschnittstelle (6) zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs - nachfolgend zusammenfassend als Modell bezeichnet -,
mit einer Kameraeingangsschnittstelle (7) zur Übernahme eines Kameramodells der Überwachungskamera (2),
mit einer Objekteingangsschnittstelle zur Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren
Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist,
wobei das Bildverarbeitungsmodul (5) ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen,
dadurch gekennzeichnet,
dass das Modell als ein 3D-Modell ausgebildet ist, so dass die Objektposition als 3D-
Objektposition bestimmbar ist.
2. Bildverarbeitungsmodul (5) nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Überwachungskamera (2) einen Erfassungsbereich aufweist und sich der Überwachungsbereich und/oder das Modell weiter als der Erfassungsbereich erstreckt.
3. Bildverarbeitungsmodul (5) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Überwachungssystem (1) mindestens zwei Überwachungskameras (2) mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist und sich der Überwachungsbereich und/oder das Modell mindestens über oder weiter als die Erfassungsbereiche der mindestens zwei Überwachungskameras (2) erstreckt.
4. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Verrechnung der Objektpunkt in der Bildebene der Überwachungskamera oder in einer äquivalenten Ebene auf Basis des Kameramodells auf einen Abbildungspunkt (15) des 3D-Modells abgebildet wird, wobei der Abbildungspunkt (15) die 3D-Objektposition repräsentiert.
5. Bildverarbeitungsmodul (5) nach Anspruch 4, dadurch gekennzeichnet, dass der Abbildungspunkt (145) als Schnittpunkt einer Halbgeraden (13) mit einem Element (9) des 3D-Modells definiert ist, wobei die Halbgerade durch einen Projektionsursprung (11) der modellierten Überwachungskamera (2) und durch einen auf dem Objektpunkt basierenden Projektionspunkt (14) verläuft.
6. Bildverarbeitungsmodul (5) nach Anspruch 5, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionsursprung (11) als Abbildungspunkt (15) gewählt wird.
7. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Speichervorrichtung (17), wobei in der Speichervorrichtung (17) die Menge aller Abbildungspunkte (15) für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der Überwachungskamera (2) gespeichert ist.
8. Verfahren zur Bestimmung einer 3D-Objektposition eines von einer Überwachungskamera (2) erfassten Überwachungsobjekts in einem Überwachungsbereich vorzugsweise unter Verwendung des Bildverarbeitungsmoduls (5) nach einem der vorhergehenden Ansprüche, wobei ein Objektpunkt des Überwachungsobjekts in der Bildebene der Überwachungskamera (2) bestimmt wird,
wobei der Objektpunkt auf der Basis eines Kameramodells der Überwachungskamera (2) auf einen Abbildungspunkt (15) eines 3D-Modells oder 3D-Teilmodells des Überwachungsbereichs - nachfolgend zusammenfassend als 3D-Modell bezeichnet - abgebildet wird,
wobei die 3D-Objektposition des Abbildungspunkts (15) als 3D-Objektposition des
Objektpunkts und/oder des Überwachungsobjekts interpretiert wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Abbildung durch Konstruktion einer Halbgeraden erfolgt, welche durch das Projektionszentrum (11) der Überwachungskamera (2) und einen auf dem Objektpunkt basierenden Projektionspunkt
(14) definiert ist, wobei der Abbildungspunkt (15) als ein Schnittpunkt der Halbgeraden mit dem 3D-Modell (8) ausgebildet ist.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Halbgeraden mit dem 3D-Modell (8) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionszentrum (11) als Abbildungspunkt (15) gewählt wird.
11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass alle Bildpunkte in der Bildebene der Überwachungskamera (2) auf Abbildungspunkte (15) des 3D-Modells (8) abgebildet werden und die Abbildungspunkte gespeichert werden.
12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 8 bis 11 durchzuführen, wenn das Programm auf einem Computer und/oder einem Bildverarbeitungsmodul (5) gemäß Anspruch der
Ansprüche 1 bis 7 ausgeführt wird.
PCT/EP2008/062883 2007-11-26 2008-09-26 Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm WO2009068336A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP08804765A EP2215601A2 (de) 2007-11-26 2008-09-26 Modell-basierte 3d positionsbestimmung eines objektes welches mit einer kalibrierten kamera zu überwachungszwecken aus einer einzigen perspektive aufgenommen wird wobei die 3d position des objektes als schnittpunkt der sichtgeraden mit dem szenenmodell bestimmt wird

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007056835A DE102007056835A1 (de) 2007-11-26 2007-11-26 Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm
DE102007056835.7 2007-11-26

Publications (2)

Publication Number Publication Date
WO2009068336A2 true WO2009068336A2 (de) 2009-06-04
WO2009068336A3 WO2009068336A3 (de) 2010-01-14

Family

ID=40577061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/062883 WO2009068336A2 (de) 2007-11-26 2008-09-26 Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm

Country Status (3)

Country Link
EP (1) EP2215601A2 (de)
DE (1) DE102007056835A1 (de)
WO (1) WO2009068336A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003336A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804481B (zh) * 2020-12-29 2022-08-16 杭州海康威视系统技术有限公司 监控点位置的确定方法、装置及计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9719694D0 (en) 1997-09-16 1997-11-19 Canon Kk Image processing apparatus
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROBERT T COLLINS ET AL.: "Algorithms for Cooperative Multisensor Surveillance", PROCEEDINGS OF THE IEEE, vol. 89, no. 10, 1 October 2001 (2001-10-01), XP011044562

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003336A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen
WO2011117170A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen
US9008361B2 (en) 2010-03-26 2015-04-14 Robert Bosch Gmbh Method for visualizing zones of higher activity in surveillance scenes

Also Published As

Publication number Publication date
DE102007056835A1 (de) 2009-05-28
EP2215601A2 (de) 2010-08-11
WO2009068336A3 (de) 2010-01-14

Similar Documents

Publication Publication Date Title
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE112005000929B4 (de) Automatisches Abbildungsverfahren und Vorrichtung
DE602006000627T2 (de) Dreidimensionales Messverfahren und dreidimensionale Messvorrichtung
DE102005021735B4 (de) Videoüberwachungssystem
WO2008083869A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
DE102011084554A1 (de) Verfahren zur Darstellung eines Fahrzeugumfeldes
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
EP2553660B1 (de) Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen
DE112016006262T5 (de) Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen
DE112017001545T5 (de) Virtuelles überlagerungssystem und verfahren für verdeckte objekte
DE102017121694A1 (de) Vorrichtung und Verfahren zum Erzeugen dreidimensionaler Daten und Überwachungssystem mit Vorrichtung zur Erzeugung dreidimensionaler Daten
DE102016124978A1 (de) Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
DE102016124747A1 (de) Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
DE102020127000A1 (de) Erzeugung von zusammengesetzten bildern unter verwendung von zwischenbildflächen
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
EP2215601A2 (de) Modell-basierte 3d positionsbestimmung eines objektes welches mit einer kalibrierten kamera zu überwachungszwecken aus einer einzigen perspektive aufgenommen wird wobei die 3d position des objektes als schnittpunkt der sichtgeraden mit dem szenenmodell bestimmt wird
DE102018118422A1 (de) Verfahren und system zur darstellung von daten von einer videokamera
WO2006094637A1 (de) Verfahren zum vergleich eines realen gegenstandes mit einem digitalen modell
DE112022002520T5 (de) Verfahren zur automatischen Kalibrierung von Kameras und Erstellung von Karten
EP2940624B1 (de) Dreidimensionales virtuelles Modell einer Umgebung für Anwendungen zur Positionsbestimmung
DE102012010799B4 (de) Verfahren zur räumlichen Visualisierung von virtuellen Objekten
DE102019201600A1 (de) Verfahren zum Erzeugen eines virtuellen, dreidimensionalen Modells eines realen Objekts, System zum Erzeugen eines virtuellen, dreidimensionalen Modells, Computerprogrammprodukt und Datenträger
DE102019102561A1 (de) Verfahren zum Erkennen einer Pflastermarkierung
EP1434184B1 (de) Steuerung eines Multikamera-Systems
DE102012025463A1 (de) Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08804765

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2008804765

Country of ref document: EP