WO2008083869A1 - Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera - Google Patents

Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera Download PDF

Info

Publication number
WO2008083869A1
WO2008083869A1 PCT/EP2007/061808 EP2007061808W WO2008083869A1 WO 2008083869 A1 WO2008083869 A1 WO 2008083869A1 EP 2007061808 W EP2007061808 W EP 2007061808W WO 2008083869 A1 WO2008083869 A1 WO 2008083869A1
Authority
WO
WIPO (PCT)
Prior art keywords
surveillance
moving object
scene
surveillance camera
position data
Prior art date
Application number
PCT/EP2007/061808
Other languages
English (en)
French (fr)
Inventor
Marcel Merkel
Thomas Jaeger
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP07822150A priority Critical patent/EP2126840A1/de
Priority to US12/522,571 priority patent/US20100103266A1/en
Publication of WO2008083869A1 publication Critical patent/WO2008083869A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the invention relates to a method for self - calibration of a surveillance camera, which images a real surveillance scene, which is writable in world coordinates, onto a surveillance image, which is writable in image coordinates, wherein at least one moving object trajectory in the surveillance scene is determined, comprising a set of Position data includes, which describes the position of the moving object in image coordinates time-dependent, and wherein the trajectory is used for self-calibration of the surveillance camera, as well as a device adapted thereto and a computer program.
  • video surveillance systems are used to monitor public places, such as train stations, intersections, airports, or public buildings, such as libraries, museums, but also private environments, e.g. in homes as an alarm system.
  • the video surveillance systems often have a plurality of surveillance cameras that observe relevant surveillance scenes.
  • the video sequences generated during observation are usually combined and evaluated centrally.
  • the evaluation of the video sequences can be performed manually by monitoring personnel. However, this is on the one hand staff-intensive and therefore expensive and secondly, it should be noted that rarely occur alarm situations and therefore there is a risk that the monitoring staff is inattentive due to the lengthy waiting times between the alarm situations.
  • the evaluation can be done automatically via image processing algorithms respectively.
  • moving objects are separated from the substantially static background (object separation), tracked over time (object tracking), and an alarm is triggered when particular conditions, such as movement pattern or location, are met.
  • the surveillance cameras are usually and not least installed for cost reasons of installation personnel, which is not an expensive calibration of surveillance cameras is reasonable. Often therefore uncalibrated surveillance cameras are used in connection with the automatic evaluation.
  • any objects in the field of view of the surveillance camera to be calibrated are detected and arranged in terms of size and appearance in the image area in histograms.
  • the calibration of the surveillance camera is performed by evaluating the histograms.
  • the invention relates to a method for calibrating a surveillance camera having the features of claim 1, a device for calibrating a surveillance camera or the surveillance camera with the features of claim 10 and a computer program for carrying out the method with the features of claim 11.
  • the surveillance camera is preferably designed as a permanently installed and / or immovable camera, which has a focal length fixed optics.
  • a movable and / or zoomable surveillance camera it is also possible to use a movable and / or zoomable surveillance camera, but the calibration takes place for all or a multiplicity of position and / or zoom settings.
  • the surveillance camera can be any training, so as black and white or
  • Coloring camera with any objective lens, ie in particular wide-angle, fish-eye, telephoto or 360 ° lens, and for any wavelength, e.g. UV, VIS, NIR or FI R, be formed.
  • any objective lens ie in particular wide-angle, fish-eye, telephoto or 360 ° lens
  • any wavelength e.g. UV, VIS, NIR or FI R
  • the surveillance camera forms a real, three-dimensional surveillance scene, e.g. an intersection, a public place o- the like, on a two-dimensional monitoring image, which could also be referred to as a camera image.
  • a two-dimensional monitoring image which could also be referred to as a camera image.
  • positions and movements in the monitoring image in image coordinates and in the monitoring scene in world coordinates can be described.
  • the calibration of the surveillance camera includes the determination of camera parameters, such as those shown in FIG. the inclination angle, roll angle, mounting height and / or the focal length etc. of the surveillance camera, and / or transformation rules describing an angle, a distance, a motion or the like from the image coordinate system to the world coordinate system.
  • the transformation rules describe the conversion of a distance of two points in image coordinates into the corresponding distance in world coordinates.
  • the trajectory comprises a set of position data which represent the position of the moving object in image coordinates in a time-dependent manner.
  • a trajectory describes the movement of the moving object over time.
  • the center of gravity of the moving object and / or a box enclosing the object, a so-called bouncing box is used or used as trajectory data.
  • a foot point of the moving object can be set off, since the foot point is in or almost in physical contact with the ground plane of the moving object
  • the trajectory is used to calibrate the surveillance camera, namely by using the time-dependent position data of the moving object by using a movement model of the moving object
  • Determination of distances in the real surveillance scene can be used.
  • advance or a priori information about the moved object is introduced into the calibration via the movement model so that it is improved.
  • the invention is based on the consideration of not basing a semi or fully automatic calibration of the surveillance camera on the basis of the size change of the moving object in different image areas of the surveillance image due to perspective effects, but the movement of the moving object under the assumption of a To evaluate motion model.
  • the inventive method opens up a new information source for an automatic camera calibration, which can be used instead of or in addition to the known information sources and consequently can improve the accuracy or quality of the calibration.
  • the moving object is classified and assigned or rejected on the basis of the classification of an object class with a motion model for objects of this object class.
  • the moving object is classified as a pedestrian and used as a movement model, a pedestrian movement model, which models the movement of the pedestrian at a constant speed, such as 4 km / h.
  • movement models of other objects or object classes such as eg vehicles, objects moved with conveyor belts, etc., can be used.
  • more complex movement models can be used, which, for example, when changing direction, model a speed change or waiting positions in front of a traffic light or the like.
  • the time-dependent position data of the trajectory are designed to be equidistant in time. This is the case, in particular, when the surveillance scene is recorded at a constant image frequency, so that the surveillance images are arranged equidistantly in time in a video sequence and an object position of the moving object is determined for each surveillance image.
  • time-equidistant, time-dependent position data of the trajectory the distance between two positions in image coordinates determined by the position data is simply in a distance in, assuming a constant speed of movement
  • the position data are not arranged and / or configured to be equidistant in time, but this leads only to a slight increase in the complexity of calculating the distance in world coordinates corresponding to the distance between two position data in image coordinates, since instead of the reciprocal value Picture frequency of the time interval between the two position data must be used.
  • the method generally assumes that the trajectory between two position data is rectilinear or nearly straight.
  • the method according to the invention provides, in an advantageous embodiment, for a transformation or mapping rule between image and world coordinates on the basis of the time-dependent position data is determined.
  • This mapping rule preferably makes it possible to transform or convert any arbitrary distance between two pixels in image coordinates into a real distance in world coordinates.
  • a plurality of trajectories are optionally used by a plurality of moving objects, so that the mapping rules are statistically protected.
  • a plurality of trajectories can be combined, e.g. be statistically averaged, and then derived therefrom mapping rules and / or initially mapping rules are derived, which are then summarized, e.g. be statistically averaged.
  • the knowledge of several trajectories is summarized via the RANSAC algorithm, which is known to those skilled in the art, for example, from the scientific article by D. Greenhill, J. Renno, J. Orwell and G.A. Jones: Learning the semantic landscape: Embedding scene knowledge in object tracking. Real Time Imaging, Special issue on video
  • the recording of the trajectories preferably takes place during a long-term observation of the surveillance scene whose minimum duration depends on the density of the moving objects and in particular lasts at least several days.
  • further advance information or knowledge is used for the calibration, such as e.g. the previously described use of the known height of the moving object. Due to the mutual supplementation of several information sources, on the one hand the evaluation of the trajectory via a movement model and on the other hand, for example the known height of the moving object, the calibration of the surveillance camera can be further improved.
  • the determined or calculated distances and / or the transformation rule are used for the calculation or estimation of camera parameters.
  • the camera parameters are estimated via modeling in such a way that they correspond to the determined distances or the transformation instructions.
  • the camera parameters relate in particular to the height of the Surveillance camera over the ground, the angle of inclination and the roll angle of the surveillance camera.
  • the camera parameters also refer to the focal length or other optical characteristics of the surveillance camera.
  • a basic plane and / or a basic plane coordinate system are estimated via the calibration of the surveillance camera.
  • This basic plane or the corresponding coordinate system allows a horizon in the monitoring image to be calculated or estimated, with image regions which are above the estimated or calculated horizon preferably being left out in the image processing.
  • This training is based on the consideration that no moving objects (pedestrians, cars, etc.) are to be expected above the horizon and that therefore an evaluation of these areas is superfluous.
  • the invention further relates to a device for calibrating a surveillance camera, in particular according to the method of claims 1 to 9 and / or as just described, which is preferably designed as part of a video surveillance system.
  • the device according to the invention is thus connected and / or connectable to a plurality of surveillance cameras, which in particular are directed rigidly and / or immovably to various surveillance scenes.
  • the device has an input module for inputting one or more surveillance images of a real surveillance scene that is writable in world coordinates.
  • the surveillance images are in particular part of one or more video sequences recorded by the surveillance camera.
  • An object tracking module is configured to determine a trajectory of a moving object in the surveillance scene.
  • the object tracking is preferably based in a known manner on an object segmentation of the moving object with respect to a static or quasi-static background and the object tracking over a plurality of surveillance images of a video sequence.
  • Trajectory comprises a set of position data which describes the position of the moving object in image coordinates in a time-dependent manner.
  • position data which describes the position of the moving object in image coordinates in a time-dependent manner.
  • any mathematically equivalent form of representation of the trajectory is possible.
  • a calibration module is configured to perform a calibration of the surveillance camera by using a motion model of the moving object to convert the time-dependent position data of the moving object into distances in the real surveillance scene. For further details of the calibration or the conversion is made to the method described above.
  • Another object of the invention relates to a computer program with program code means to perform all steps of the method described above or according to one of claims 1 to 9, when the program on a computer and / or on the device according to the claim
  • Figure 1-3 are schematic representations of coordinate systems for illustrating the terms used
  • FIG. 4 shows a surveillance image with a trajectory drawn in
  • FIG. 5 shows the monitoring image in FIG. 4 with further trajectories shown
  • FIG. 6 shows a functional block diagram of a device for calibrating a
  • FIG. 1 shows, in a schematic side view, a ground plane 1 on which a moving object, in this example a person 2, moves with an object height H.
  • the person 2 is recorded together with their surroundings by a surveillance camera 3.
  • a world coordinate system is used, which is formed in FIG. 1 as a local basic plane coordinate system (GCS) 4.
  • GCS local basic plane coordinate system
  • This is a Cartesian coordinate system, where the X and Z axes are arranged coplanar with the ground plane 1 and the Y coordinate is oriented at right angles to the ground plane 1.
  • the surveillance camera 3 is described by means of a camera coordinate system (CCS) 5.
  • the camera coordinate system 5 has its origin in the surveillance camera 3, the Z-axis being oriented parallel to the optical axis of the surveillance camera 3 and the X and Y axes being parallel to the side edges of an image-sensing sensor element in the surveillance camera.
  • the camera coordinate system 5 results as follows: First, the origin is displaced by the length L, which corresponds to the mounting height of the surveillance camera 3 above the ground plane 1. In a further step, the shifted coordinate system is rotated by a roll angle rho and by an angle of inclination theta. It should also be noted that the Z-axis of the basic plane coordinate system 4 is designed as a vertical projection of the Z-axis and thus of the optical axis of the surveillance camera 3.
  • FIG. 3 shows an image coordinate system 6 in a monitoring image 7, which is arranged at the upper left corner of the surveillance image 7. In addition, in the monitoring image 7, the horizon 8 is shown, as it results due to the mounting height L of the roll angle rho and the inclination angle theta and the other camera parameters of the surveillance camera 3.
  • the calibration of the surveillance camera 3 involves the difficulty of converting or transferring distances in the surveillance image 7 into image coordinates 6 into real distances in the surveillance scene into world coordinates or basic plane coordinates 4.
  • the time-dependent trajectories of the moving object (person 2) are evaluated, as will be explained below with reference to FIGS. 4 and 5.
  • FIG. 4 shows a monitoring image 7 in which a trajectory 9 is shown.
  • the trajectory 9 consists of individual points 10 representing the position of the moving object (person 2) at intervals of 2 seconds. Assuming now that the person 2 usually moves at a speed of 4 km / h, the distance between two points 10 is about 2.2 m in each case. Due to the perspective properties in the transmission of the real scene in world coordinates 4 in a monitoring image in image coordinates 6, the distances in image coordinates 6 between the points 10 in the direction of the horizon smaller or larger in the vicinity of the surveillance camera 3. The monitoring image 7 continues in that the direction of movement also has a significant effect on the distance between the points 10.
  • FIG. 4 shows the same monitoring image 7, but with further trajectories 9, the trajectories 9 each having horizontally running sections. As can be seen from the horizontally extending but vertically offset trajectory sections, the distances between the points 10 are smaller the farther the horizontal sections are arranged by the surveillance camera 3.
  • the distance between the individual trajectory points 10 and the surveillance camera 3 in world coordinates 4 can be estimated.
  • this knowledge can be used to estimate camera parameters, such as the focal length of the surveillance camera 3 and thus the observation angles.
  • the monitoring scene is monitored over a long period of time, which can be several days.
  • the trajectories 9 recorded during this time are clustered to obtain mean values for the movement times of the common trajectories. It is also possible to use a so-called RANSAC algorithm to combine the knowledge of a plurality of trajectories. This step makes sense to deal with statistical outliers, such as running or very slow-moving people.
  • FIG. 6 shows a functional diagram of a video surveillance system 11, which is connected via interfaces 12 to a plurality of surveillance cameras 3.
  • the video sequences recorded by the surveillance cameras 3 are guided into an input module 13 and from there guided into an object tracking module 14, which calculates the trajectories of moving objects, eg the person 2, in the video sequences.
  • an object tracking module 14 which calculates the trajectories of moving objects, eg the person 2, in the video sequences.
  • the trajectories or the combined trajectories are used to first calculate a mapping rule between image coordinates 6 and world coordinates 4 and finally to determine camera parameters and to use these for calibration of the surveillance camera 3.
  • the video surveillance system 11 is designed as a computer. forms and the illustrated method is implemented by means of a computer program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, wie Bahnhöfen, Kreuzungen, Flughäfen, oder von öffentlichen Gebäuden, wie Bibliotheken, Museen, jedoch auch von privaten Umgebungen, wie z.B. in Häusern als Alarmanlage. Hierzu weisen die Videoüberwachungssysteme oftmals eine Mehrzahl von Überwachungskameras auf, die relevante Überwachungsszenen beobachten. Die bei der Beobachtung erzeugten Videosequenzen werden meist zentral zusammengeführt und ausgewertet. Es wird ein Verfahren zur Kalibrierung einer Überwachungskamera (3) vorgeschlagen, wobei die Überwachungskamera (3) eine reale Überwachungsszene, die in Weltkoordinaten (4) beschreibbar ist, auf ein Überwachungsbild (7), welches in Bildkoordinaten (4) beschreibbar ist, abbildet, wobei mindestens eine Trajektorie (9) eines bewegten Objekts (2) in der Überwachungsszene bestimmt wird, die einen Satz von Positionsdaten (10) umfasst, der die Position des bewegten Objektes (2) in Bildkoordinaten (4) zeitabhängig beschreibt, und wobei die Trajektorie (9) zur Kalibrierung der Überwachungskamera (3) verwendet wird, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts (2) die zeitabhängigen Positionsdaten (10) des bewegten Objekts in Distanzen in der realen Überwachungsszene umgerechnet werden.

Description

Beschreibung
Titel
Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Selbstkalibrierung einer Überwachungskamera, die eine reale Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf ein Überwachungsbild, welches in Bildkoordinaten beschreibbar ist, abbildet, wobei mindestens eine Trajektorie eines bewegten Objekts in der Überwachungsszene bestimmt wird, die einen Satz von Positionsdaten umfasst, der die Position des bewegten Objektes in Bildkoordinaten zeitabhängig beschreibt, und wobei die Trajektorie zur Selbstkalibrierung der Überwachungskamera verwendet wird, sowie eine daran angepasste Vorrichtung und ein Computerprogramm.
Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, wie Bahnhöfen, Kreuzungen, Flughäfen, oder von öffentlichen Gebäuden, wie Bibliotheken, Museen, jedoch auch von privaten Umgebungen, wie z.B. in Häusern als Alarmanlage. Hierzu weisen die Videoüberwachungssysteme oftmals eine Mehrzahl von Überwachungskameras auf, die relevante Ü- berwachungsszenen beobachten. Die bei der Beobachtung erzeugten Videosequenzen werden meist zentral zusammengeführt und ausgewertet.
Die Auswertung der Videosequenzen kann manuell durch Überwachungspersonal durchgeführt werden. Dies ist jedoch zum einen personalintensiv und somit teuer und zum zweiten ist zu berücksichtigen, dass nur selten Alarmsituationen auftreten und daher die Gefahr besteht, dass das Überwachungspersonal durch die langwierige Wartezeiten zwischen den Alarmsituationen unaufmerksam wird. Alternativ kann die Auswertung automatisch über Bildverarbeitungsalgorithmen erfolgen. Bei einem üblichen Ansatz werden bewegte Objekte von dem im wesentlichen statischen Hintergrund (Objektseparierung) getrennt, über die Zeit verfolgt (Objektverfolgung) und ein Alarm ausgelöst, wenn besondere Konditionen z.B. hinsichtlich des Bewegungsmusters oder der Aufenthaltsposition erfüllt sind.
Die Überwachungskameras werden meist und nicht zuletzt aus Kostengründen von Montagepersonal installiert, denen eine aufwendige Kalibrierung der Überwachungskameras nicht zuzumuten ist. Oftmals werden deshalb in Zusammenhang mit der automatischen Auswertung unkalibrierte Überwachungskameras eingesetzt.
Alternativ dazu werden Kalibrierungsverfahren für Überwachungskameras vorgeschlagen, die eine halb- oder sogar vollautomatische Selbstkalibrierung der Ü- berwachungskameras erlauben. So beschreibt die Druckschrift US 6,970,083 B2, die wohl den nächstkommenden Stand der Technik bildet, ein Videoüberwachungssystem, welches in einer möglichen Ausführungsform eine halbautomatische Kalibrierung der verwendeten Überwachungskameras ermöglicht. Hierbei läuft eine Person bekannter Größe durch das Sichtfeld der zu kalibrierenden Ü- berwachungskamera, so dass das Videoüberwachungssystem anhand der per- spektivischen Größenänderung der Person in den verschiedenen Bildbereichen
Skalierungsinformationen berechnen und auf diese Weise die Überwachungskamera kalibrieren kann. Bei einer automatischen Kalibrierung werden beliebige Objekte im Sichtfeld der zu kalibrierenden Überwachungskamera detektiert und hinsichtlich der Größe und des Auftreten in dem Bildbereich in Histogrammen geordnet. Die Kalibrierung der Überwachungskamera erfolgt durch Auswertung der Histogramme.
Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Überwachungskamera mit den Merkmalen des Anspruchs 1, eine Vorrichtung zur Kalibrierung einer o- der der Überwachungskamera mit den Merkmalen des Anspruchs 10 sowie ein Computerprogramm zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 11. Vorteilhafte und/oder bevorzugte Ausführungsformen der Erfin- dung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung und den beigefügten Figuren.
Erfindungsgemäß wird ein Verfahren zur Kalibrierung einer Überwachungskame- ra vorgestellt. Die Überwachungskamera ist vorzugsweise als eine fest installierte und/oder unbewegbare Kamera ausgebildet, die eine brennweitenstarre Optik aufweist. Alternativ ist auch möglich, eine bewegbare und/oder zoomfähige Cl- berwachungskamera einzusetzen, wobei jedoch die Kalibrierung für alle oder eine Vielzahl von Positions- und/oder Zoomeinstellungen erfolgt. Die Überwa- chungskamera kann beliebiger Ausbildung sein, also als Schwarz/Weiß- oder
Färb- Kamera, mit beliebigem Objektiv, also insbesondere Weitwinkel-, Fischauge-, Tele- oder 360°- Objektiv, und für eine beliebige Wellenlänge, also z.B. UV, VIS, NIR oder FI R, ausgebildet sein.
Funktionell betrachtet bildet die Überwachungskamera eine reale, dreidimensionale Überwachungsszene, also z.B. eine Kreuzung, einen öffentlichen Platz o- der dergleichen, auf ein zweidimensionales Überwachungsbild ab, welches auch als Kamerabild bezeichnet werden könnte. In einer mathematischen Darstellung können Positionen und Bewegungen in dem Überwachungsbild in Bildkoordina- ten und in der Überwachungsszene in Weltkoordinaten beschrieben werden. Die
Wahl des Bild- und des Weltkoordinatensystems dient zur Beschreibung und es können auch andere, dazu gleichwertige und/oder mathematisch äquivalente Koordinatensysteme Verwendung finden.
Die Kalibrierung der Überwachungskamera umfasst in der allgemeinsten Definition die Ermittlung von Kameraparametern, wie z.B. dem Neigungswinkel, Rollwinkel, der Befestigungshöhe und/oder der Brennweite etc. der Überwachungskamera, und/oder von Transformationsvorschriften, die einem Winkel, eine Strecke, eine Bewegung oder dergleichen von dem Bildkoordinatensystem in das Weltkoordinatensystem beschreiben. Im einfachsten Fall beschreiben die Transformationsvorschriften die Umrechnung eines Abstandes von zwei Punkten in Bildkoordinaten in die dazu korrespondierende Distanz in Weltkoordinaten.
Zur Durchführung der Kalibrierung wird mindestens eine Trajektorie eines be- wegten Objektes in der Überwachungsszene bestimmt. Zur Verbesserung der Kalibrierung ist es vorteilhaft, wenn eine Vielzahl von Trajektorien des bewegten Objekts und/oder eine Vielzahl von Trajektorien von verschiedenen bewegten Objekten erzeugt werden. Die Trajektorie umfasst dabei einen Satz von Positionsdaten, die die Position des bewegten Objektes in Bildkoordinaten zeitabhän- gig darstellen. Eine Trajektorie beschreibt insbesondere die Bewegung des bewegten Objekts über die Zeit. Bevorzugt wird der Schwerpunkt des bewegten Objekts und/oder eine das Objekt umschließende Box, eine sogenannte boun- ding box, als Trajektoriedaten verwendet oder mitverwendet. Insbesondere kann statt des Schwerpunkts ein Fußpunkt des bewegten Objekts verrechnet werden, da der Fußpunkt in oder nahezu in physischem Kontakt mit der Grundebene der
Überwachungsszene steht.
Erfindungsgemäß wird die Trajektorie zur Kalibrierung der Überwachungskamera verwendet und zwar indem unter Verwendung eines Bewegungsmodells des be- wegten Objekts die zeitabhängigen Positionsdaten des bewegten Objektes zur
Bestimmung von Distanzen in der realen Überwachungsszene benutzt werden. Über das Bewegungsmodell werden dabei Vorab- oder a priori-lnformationen über das bewegte Objekt in die Kalibrierung eingebracht, so dass diese verbessert wird.
Die Erfindung geht dabei von der Überlegung aus, eine halb- oder vollautomatische Kalibrierung der Überwachungskamera nicht oder nicht ausschließlich auf Basis der Größenänderung des bewegten Objekts in verschiedenen Bildbereichen des Überwachungsbilds aufgrund von perspektivischen Effekten zu stützen, sondern die Bewegung des bewegten Objekts unter der Annahme eines Bewegungsmodells auszuwerten. Damit eröffnet das erfindungsgemäße Verfahren eine neue Informationsquelle für eine automatische Kamerakalibrierung, die anstatt oder zusätzlich zu den bekannten Informationsquellen nutzbar ist und folglich die Genauigkeit oder Qualität der Kalibrierung verbessern kann.
Bei einer bevorzugten Ausführungsform wird das bewegte Objekt klassifiziert und aufgrund der Klassifizierung einer Objektklasse mit einem Bewegungsmodell für Objekte dieser Objektklasse zugeordnet bzw. verworfen. In einer vorteilhaften Ausgestaltung wird das bewegte Objekt als Fußgänger klassifiziert und als Bewegungsmodell ein Fußgängerbewegungsmodell verwendet, welches die Bewegung des Fußgängers mit einer konstanten Geschwindigkeit wie z.B. 4 km/h modelliert. Alternativ oder ergänzend können Bewegungs- modelle anderer Objekte bzw. Objektklassen, wie z.B. Fahrzeuge, mit Transportbändern bewegte Objekte, etc. eingesetzt werden. Neben einem einfachen Bewegungsmodell, welches von einer durchgehend konstanten Geschwindigkeit ausgeht, können auch komplexere Bewegungsmodelle verwendet werden, die beispielsweise bei Richtungsänderungen eine Geschwindigkeitsänderung oder Wartepositionen vor einer Ampel oder dergleichen modellieren.
Bei einer optionalen Ausführungsform sind die zeitabhängigen Positionsdaten der Trajektorie zeitlich äquidistant ausgebildet. Dies ist insbesondere dann der Fall, wenn die Überwachungsszene mit einer konstanten Bilderfrequenz aufge- nommen wird, so dass die Überwachungsbilder in einer Videosequenz zeitlich äquidistant angeordnet sind und für jedes Überwachungsbild eine Objektposition des bewegten Objektes bestimmt wird. Bei diesen zeitlich äquidistanten, zeitabhängigen Positionsdaten der Trajektorie ist der Abstand zwischen zwei durch die Positionsdaten bestimmten Positionen in Bildkoordinaten unter der Annahme ei- ner konstanten Bewegungsgeschwindigkeit in einfacher Weise in eine Distanz in
Weltkoordinaten umzurechnen, die durch das Produkt aus Bewegungsgeschwindigkeit und dem reziproken Wert der Bilderfrequenz berechnet wird.
Bei einer weitergeführten Ausführungsform der Erfindung sind die Positionsdaten nicht zeitlich äquidistant angeordnet und/oder ausgebildet, was jedoch nur zu einer geringfügigen Erhöhung der Komplexität der Berechnung der zu dem Abstand zwischen zwei Positionsdaten in Bildkoordinaten korrespondierenden Distanz in Weltkoordinaten führt, da statt des reziproken Wertes der Bilderfrequenz der zeitliche Abstand zwischen den beiden Positionsdaten verwendet werden muss. Bevorzugt geht das Verfahren im Allgemeinen davon aus, dass die Trajektorie zwischen zwei Positionsdaten geradlinig oder nahezu geradlinig verläuft.
Allgemeiner formuliert sieht das erfindungsgemäße Verfahren bei einer vorteilhaften Ausgestaltung vor, dass auf Basis der zeitabhängigen Positionsdaten eine Transformations- oder Abbildungsvorschrift zwischen Bild- und Weltkoordinaten bestimmt wird. Diese Abbildungsvorschrift ermöglicht es vorzugsweise, jeden beliebigen Abstand zwischen zwei Bildpunkten in Bildkoordinaten in eine reale Distanz in Weltkoordinaten zu transformieren oder umzurechnen.
Bei einer Weiterbildung des Verfahrens wird eine Mehrzahl von Trajektorien gegebenenfalls von einer Mehrzahl von bewegten Objekten verwendet, so dass die Abbildungsvorschriften statistisch abgesichert sind. Hierbei können zum einen eine Mehrzahl von Trajektorien zusammengefasst, z.B. statistisch gemittelt werden, und dann daraus Abbildungsvorschriften abgeleitet werden und/oder zu- nächst Abbildungsvorschriften abgeleitet werden, die dann zusammengefasst, z.B. statistisch gemittelt werden. Vorzugsweise wird das Wissen von mehreren Trajektorien über den RANSAC Algorithmus zusammengefasst, welcher dem Fachmann beispielsweise aus dem wissenschaftlichen Artikel von D. Greenhill, J. Renno, J. Orwell and G. A. Jones: Learning the semantic landscape: Embedding scene knowledge in object tracking. Real Time Imaging, Special Issue on Video
Object Processing 11, pp.186-203, 2005 bekannt ist, dessen Inhalt in Bezug auf den RANSAC Algorithmus hiermit über Referenzierung eingefügt wird. Die Aufnahme der Trajektorien erfolgt vorzugsweise während einer Langzeitbeobachtung der Überwachungsszene, deren minimale Dauer von der Dichte der beweg- ten Objekte abhängig ist und insbesondere mindestens mehrere Tage dauert.
Bei einer vorteilhaften Weiterbildung des Verfahrens werden weitere Vorabinformationen oder -kentnisse zur Kalibrierung verwendet, wie z.B. die bereits weiter vorne beschriebene Nutzung der bekannten Höhe des bewegten Objekts. Durch die gegenseitige Ergänzung von mehreren Informationsquellen, auf der einen Seite die Auswertung der Trajektorie über ein Bewegungsmodell und auf der anderen Seite zum Beispiel die bekannte Höhe des bewegten Objekts, kann die Kalibrierung der Überwachungskamera weiter verbessert werden.
Bei einer vorteilhaften Ausprägung der Erfindung werden die ermittelten oder berechneten Distanzen und/oder die Transformationsvorschrift zur Berechnung o- der zur Abschätzung von Kameraparametern verwendet. Hierbei werden die Kameraparameter zum Beispiel über eine Modellierung so abgeschätzt, dass sie den ermittelten Distanzen beziehungsweise der Transformationsvorschrift ent- sprechen. Die Kameraparameter beziehen sich insbesondere auf die Höhe der Überwachungskamera über dem Boden, den Neigungswinkel sowie den Rollwinkel der Überwachungskamera. Optional beziehen sich die Kameraparameter auch auf die Brennweite oder weitere optische Kenngrößen der Überwachungskamera. Auch bei dieser Ausprägung ist es möglich, weiteres Vorab-Wissen bei der Abschätzung auszunutzen: So kann es sich beispielsweise als vorteilhaft erweisen, wenn bei der Modellierung die Brennweite der Überwachungskamera oder weitere optische Kenngrößen der Überwachungskamera bereits bekannt sind, so dass nur noch die Positions- und Orientierungsparameter abgeschätzt werden müssen.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung werden über die Kalibrierung der Überwachungskamera eine Grundebene und/oder ein Grundebenenkoordinatensystem abgeschätzt. Diese Grundebene beziehungsweise das entsprechende Koordinatensystem erlaubt beispielsweise einen Horizont in dem Überwachungsbild zu berechnen oder abzuschätzen, wobei Bildbereiche, die oberhalb von dem abgeschätzten oder berechneten Horizont liegen, bei der Bildverarbeitung vorzugsweise ausgespart werden. Dieser Ausbildung liegt die Überlegung zugrunde, dass oberhalb des Horizonts keine bewegten Objekte (Fußgänger, Autos etc) zu erwarten sind und dass deshalb eine Auswertung die- ser Bereiche überflüssig ist.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Kalibrierung einer Überwachungskamera, insbesondere nach dem Verfahren der Ansprüche 1 bis 9 und/oder wie es soeben beschrieben wurde, welche vorzugsweise als Teil eines Videoüberwachungssystems ausgebildet ist. Die erfindungsgemäße Vorrichtung ist somit mit einer Mehrzahl von Überwachungskameras, die insbesondere starr und/oder unbewegbar auf diverse Überwachungsszenen gerichtet sind verbunden und/oder verbindbar.
Die Vorrichtung weist ein Eingangsmodul zur Eingabe einer oder mehrerer Ü- berwachungsbilder einer realen Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf. Die Überwachungsbilder sind insbesondere Bestandteil einer oder mehrerer Videosequenzen, die durch die Überwachungskamera aufgenommen wurde. Ein Objektverfolgungsmodul ist ausgebildet, um eine Trajektorie eines bewegten Objekts in der Überwachungsszene zu bestimmen. Die Objektverfolgung beruht vorzugsweise in bekannter Weise auf einer Objektsegmentierung des bewegten Objekts gegenüber einem statischen oder quasi-statischem Hintergrund und der Objektverfolgung über mehrere Überwachungsbilder einer Videosequenz. Die
Trajektorie umfasst einen Satz von Positionsdaten, der die Position des bewegten Objekts in Bildkoordinaten zeitabhängig beschreibt. Prinzipiell ist jede mathematisch dazu äquivalente Form der Darstellung der Trajektorie möglich.
Ein Kalibrierungsmodul ist ausgebildet, um eine Kalibrierung der Überwachungskamera durchzuführen, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts die zeitabhängigen Positionsdaten des bewegten Objekts in Distanzen in der realen Überwachungsszene umgerechnet werden. Zu weiteren Details der Kalibrierung beziehungsweise der Umrechnung wird auf das zuvor beschriebene Verfahren verwiesen.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit Programmcodemitteln, um alle Schritte des oben beschriebenen Verfahrens beziehungsweise nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Pro- gramm auf einem Computer und/oder auf der Vorrichtung gemäß dem Anspruch
10 ausgeführt wird.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie der beigefügten Figuren. Dabei zeigen:
Figur 1-3 schematische Darstellungen von Koordinatensystemen zur Illust- rierung der verwendeten Begriffe;
Figur 4 ein Überwachungsbild mit einer eingezeichneten Trajektorie;
Figur 5 das Überwachungsbild in Figur 4 mit weiteren eingezeichneten Trajektorien; Figur 6 ein Funktionsblockbild einer Vorrichtung zur Kalibrierung einer
Überwachungskamera als ein Ausführungsbeispiel der Erfindung.
Ausführungsform(en) der Erfindung
Figur 1 zeigt in einer schematischen Seitenansicht eine Grundebene 1, auf der sich ein bewegtes Objekt, in diesem Beispiel eine Person 2, mit einer Objekthöhe H bewegt. Die Person 2 wird zusammen mit ihrer Umgebung durch eine Überwachungskamera 3 aufgenommen.
Zur Beschreibung der Bewegung etc. der Person 2 in der Umgebung wird ein Weltkoordinatensystem verwendet, welches in der Figur 1 als lokales Grundebe- nenkoordinatensystem (GCS-local ground plane coordinate System) 4 ausgebildet ist. Dabei handelt es sich um ein kartesisches Koordinatensystem, wobei X- und Z-Achse koplanar mit der Grundebene 1 angeordnet sind und die Y- Koordinate rechtwinklig zu der Grundebene 1 ausgerichtet ist.
Die Überwachungskamera 3 wird dagegen mittels eines Kamerakoordinatensystems (CCS-camera coordinate System) 5 beschrieben. Das Kamerakoordinatensystem 5 hat seinen Ursprung in der Überwachungskamera 3, wobei die Z-Achse parallel zur optischen Achse der Überwachungskamera 3 und die X- beziehungsweise Y-Achse parallel zu den Seitenkanten eines bildaufnehmenden Sen- sorelements in der Überwachungskamera orientiert sind.
Aus dem Grundebenenkoordinatensystems 4 ergibt sich das Kamerakoordinatensystem 5 wie folgt: Zunächst erfolgt eine Verschiebung des Ursprungs um die Länge L, die der Befestigungshöhe der Überwachungskamera 3 oberhalb der Grundebene 1 entspricht. In einem weiteren Schritt wird das verschobene Koordinatensystem um einen Rollwinkel rho und um einen Neigungswinkel theta gedreht. Anzumerken ist noch, dass die Z-Achse des Grundebenenkoordinatensystems 4 als senkrechte Projektion der Z-Achse und somit der optischen Achse der Überwachungskamera 3 ausgebildet ist. Die Figur 3 zeigt ein Bildkoordinatensystem 6 in einem Überwachungsbild 7, welches an der oberen linken Ecke des Überwachungsbilds 7 angeordnet ist. Zusätzlich ist in dem Überwachungsbild 7 der Horizont 8 eingezeichnet, wie er sich aufgrund der Befestigungshöhe L des Rollwinkels rho und des Neigungswinkels theta sowie der weiteren Kameraparametern der Überwachungskamera 3 ergibt.
Wie bereits weiter oben erläutert stellt sich bei der Kalibrierung der Überwachungskamera 3 die Schwierigkeit, Abstände in dem Überwachungsbild 7 in Bildkoordinaten 6 in reale Distanzen in der Überwachungsszene in Weltkoordina- ten beziehungsweise Grundebenenkoordinaten 4 umzurechnen beziehungsweise zu überführen. Zu diesem Zweck werden die zeitabhängigen Trajektorien des bewegten Objekts (Person 2) ausgewertet, wie nachfolgenden an den Figuren 4 und 5 erläutert wird.
Die Figur 4 zeigt ein Überwachungsbild 7, in dem eine Trajektorie 9 dargestellt ist. Die Trajektorie 9 besteht aus Einzelpunkten 10, welche die Position des bewegten Objekts (Person 2) jeweils in Intervallen von 2 Sekunden darstellen. Geht man nun davon aus, dass die Person 2 sich üblicherweise mit einer Geschwindigkeit von 4 km/h bewegt, so ergibt sich für die Distanz zwischen zwei Punkten 10 jeweils circa 2,2 m. Aufgrund der perspektivischen Eigenschaften bei der Ü- bertragung der realen Szene in Weltkoordinaten 4 in ein Überwachungsbild in Bildkoordinaten 6 werden die Abstände in Bildkoordinaten 6 zwischen den Punkten 10 in Richtung des Horizonts kleiner beziehungsweise größer in der Nähe der Überwachungskamera 3. Das Überwachungsbild 7 zeigt weiterhin, dass die Be- wegungsrichtung sich ebenfalls wesentlich auf den Abstand der Punkte 10 auswirkt. Solange die Person 2 sich von der Überwachungskamera entfernt, also entlang eines vertikalen oder quasi vertikalen Wegs läuft, wird der Abstand zwischen zwei Punkten 10 stetig kleiner. Wenn sich jedoch die Person horizontal zu der Überwachungskamera 3 bewegt, bleibt der Abstand zwischen zwei Punkten 10 auf der jeweilig gleichen horizontalen Höhe in etwa gleich. Die in der Figur 4 dargestellte Trajektorie 9 enthält somit unter der Annahme des Bewegungsmodells einer konstanten Bewegungsgeschwindigkeit von 4 km/h der Person 2 Informationen über die tatsächlichen Abstände zwischen zwei Punkten 10 in Weltkoordinaten 4. Die Figur 5 zeigt das gleiche Überwachungsbild 7, jedoch mit weiteren Trajekto- rien 9, wobei die Trajektorien 9 jeweils horizontal verlaufende Streckenabschnitte aufweisen. Wie sich aus den horizontal verlaufenden, jedoch vertikal zueinander versetzten Trajektorienabschnitte ergibt, sind die Abstände zwischen den Punk- ten 10 kleiner je weiter entfernt die horizontalen Abschnitte von der Überwachungskamera 3 angeordnet sind. Durch die Ausnutzung dieses Wissens kann die Distanz zwischen den einzelnen Trajektorienpunkten 10 und der Überwachungskamera 3 in Weltkoordinaten 4 abgeschätzt werden. Sobald jedoch die Distanzen in Weltkoordinaten 4 bekannt sind - und somit eine Abbildungsvor- schritt zwischen Bildkoordinaten 6 und Weltkoordinaten 4 abgeschätzt oder berechnet ist - kann dieses Wissen genutzt werden, um Kameraparameter, wie zum Beispiel die Brennweite der Überwachungskamera 3 und somit die Beobachtungswinkel abzuschätzen.
Um die Kalibrierung möglichst genau auszugestalten, wird die Überwachungsszene über einen langen Zeitraum beobachtet, der mehrere Tage betragen kann. Die während dieser Zeit aufgenommenen Trajektorien 9 werden geclustert um Mittelwerte für die Bewegungszeiten der gemeinsamen Trajektorien zu erhalten. Es ist auch möglich einen sogenannten RANSAC Algorithmus zu benutzen, um das Wissen einer Vielzahl von Trajektorien zu kombinieren. Dieser Schritt ist sinnvoll, um mit statistischen Ausreißern, wie zum Beispiel rennenden oder sehr langsam laufenden Personen umzugehen.
Die Figur 6 zeigt als Funktionsschaltbild ein Videoüberwachungssystem 11, wel- ches über Schnittstellen 12 mit einer Mehrzahl von Überwachungskameras 3 verbunden ist. Die durch die Überwachungskameras 3 aufgenommen Videosequenzen werden in ein Eingangsmodul 13 geführt und von dort aus in ein Objektverfolgungsmodul 14 geleitet, welches die Trajektorien von bewegten Objekten, z.B. der Person 2, in den Videosequenzen berechnet. In einem Kalibrie- rungsmodul 15 werden die Trajektorien oder die kombinierten Trajektorien genutzt, um zunächst eine Abbildungsvorschrift zwischen Bildkoordinaten 6 und Weltkoordinaten 4 zu berechnen und daraus schließlich Kameraparameter zu bestimmen und diese zur Kalibrierung der Überwachungskamera 3 zu verwenden. Vorzugsweise ist das Videoüberwachungssystem 11 als Computer ausge- bildet und das dargestellte Verfahren wird mittels eines Computerprogramms umgesetzt.

Claims

Ansprüche
1. Verfahren zur Kalibrierung einer Überwachungskamera (3), die eine reale Überwachungsszene, die in Weltkoordinaten (4) beschreibbar ist, auf ein Überwachungsbild (7), welches in Bildkoordinaten (4) beschreibbar ist, ab- bildet,
wobei mindestens eine Trajektorie (9) eines bewegten Objekts (2) in der Ü- berwachungsszene bestimmt wird, die einen Satz von Positionsdaten (10) umfasst, der die Position des bewegten Objektes (2) in Bildkoordinaten (4) zeitabhängig beschreibt, und
wobei die Trajektorie (9) zur Kalibrierung der Überwachungskamera (3) verwendet wird, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts (2) die zeitabhängigen Positionsdaten (10) des bewegten Objekts in Distanzen in der realen Überwachungsszene umgerechnet werden .
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das bewegte Objekt (2) klassifiziert wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bewegungsmodell als Fußgängerbewegungsmodell ausgebildet ist, welches von einer konstanten Bewegungsgeschwindigkeit eines Fußgängers ausgeht.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zeitabhängigen Positionsdaten (10) zeitlich äquidistant ausgebildet sind und dass der Abstand zwischen zwei Bildpunkten von zwei Positionsdaten in Bildkoordinaten (4) in eine Distanz in Weltkoordinaten (6) in der realen Überwachungsszene umgerechnet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Transformationsvorschrift zwischen Bild- (4) und Weltkoordinaten (6) bestimmt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vielzahl von Trajektorien (8) ermittelt und verwendet werden, die statistisch miteinander kombiniert werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass weitere Vorab- Kenntnisse zur Kalibrierung verwendet werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die ermittelten Distanzen und/oder die Transformationsvorschrift zur Berechnung oder Abschätzung von Kameraparametern verwendet werden (L, rho, theta).
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass eine Grundebene (1) in der Überwachungsszene ermittelt wird.
10. Vorrichtung zur Kalibrierung einer Überwachungskamera, welche vorzugsweise für das Verfahren nach einem der vorhergehenden Ansprüche ausge- bildet ist,
mit einem Eingangsmodul (12) zur Eingabe einer oder mehrerer Überwachungsbilder einer realen Überwachungsszene, die in Weltkoordinaten (4) beschreibbar ist,
mit einem Objektverfolgungsmodul (13), welches ausgebildet ist, um eine Trajektorie (9) eines bewegten Objekts (2) in der Überwachungsszene zu bestimmen, wobei die Trajektorie (9) einen Satz von Positionsdaten (10) um- fasst, der die Position des bewegten Objekts (2) in Bildkoordinaten (6) zeit- abhängig beschreibt, und mit einem Kalibrierungsmodul (14), welches ausgebildet ist, eine Kalibrierung der Überwachungskamera (3) durchzuführen, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts (2) die zeitabhängigen Po- sitionsdaten des bewegten Objekts (2) in Distanzen in der realen Überwachungsszene umgerechnet werden.
11. Computerprogramm mit Programmcode- Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Programm auf einem Computer und/oder auf der Vorrichtung gemäß Anspruch 10 ausgeführt wird.
PCT/EP2007/061808 2007-01-11 2007-11-02 Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera WO2008083869A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07822150A EP2126840A1 (de) 2007-01-11 2007-11-02 Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
US12/522,571 US20100103266A1 (en) 2007-01-11 2007-11-02 Method, device and computer program for the self-calibration of a surveillance camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007001649.4 2007-01-11
DE102007001649A DE102007001649A1 (de) 2007-01-11 2007-01-11 Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera

Publications (1)

Publication Number Publication Date
WO2008083869A1 true WO2008083869A1 (de) 2008-07-17

Family

ID=38917680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/061808 WO2008083869A1 (de) 2007-01-11 2007-11-02 Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera

Country Status (4)

Country Link
US (1) US20100103266A1 (de)
EP (1) EP2126840A1 (de)
DE (1) DE102007001649A1 (de)
WO (1) WO2008083869A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962365B2 (en) 2008-10-31 2011-06-14 International Business Machines Corporation Using detailed process information at a point of sale
US8345101B2 (en) 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US8429016B2 (en) 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
US8612286B2 (en) 2008-10-31 2013-12-17 International Business Machines Corporation Creating a training tool
CN106373125A (zh) * 2016-09-30 2017-02-01 杭州电子科技大学 一种基于信息熵的雪花噪声检测方法
CN110400352A (zh) * 2011-12-28 2019-11-01 派尔高公司 利用特征识别的摄像机校准

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1991935A1 (de) * 2006-02-27 2008-11-19 Robert Bosch GmbH Videoabrufsystem, -verfahren und -computerprogramm zur überwachung beweglicher objekte
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US8325976B1 (en) * 2008-03-14 2012-12-04 Verint Systems Ltd. Systems and methods for adaptive bi-directional people counting
EP2164043A1 (de) 2008-09-12 2010-03-17 March Networks Corporation Videokamera-Kalibrierung und Perspektivberechnung
AU2011289156B2 (en) * 2010-08-13 2015-01-15 Certusview Technologies, Llc Methods, apparatus and systems for marking material color detection in connection with locate and marking operations
US9046413B2 (en) 2010-08-13 2015-06-02 Certusview Technologies, Llc Methods, apparatus and systems for surface type detection in connection with locate and marking operations
AU2011301822A1 (en) 2010-09-17 2013-04-04 Curtis Chambers Methods and apparatus for tracking motion and/or orientation of a marking device
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8675090B2 (en) * 2010-12-15 2014-03-18 Panasonic Corporation Image generating apparatus, image generating method, and recording medium
DE102011100628B4 (de) 2011-05-05 2013-04-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
AU2011202555B2 (en) * 2011-05-31 2013-07-18 Canon Kabushiki Kaisha Multi-view alignment based on fixed-scale ground plane rectification
US9369616B2 (en) 2011-07-29 2016-06-14 Robert Bosch Gmbh Camera with internal assembly frame and process for assembling the camera
CN103718100B (zh) 2011-07-29 2018-02-16 罗伯特·博世有限公司 直线致动器和具有包括该直线致动器的机动后焦点模块的摄像机
US9160909B2 (en) 2011-07-29 2015-10-13 Robert Bosch Gmbh Back focus adjusting module and camera with the back focus adjusting module
DE102011088822A1 (de) 2011-12-16 2013-06-20 Robert Bosch Gmbh Überwachungskamera, Überwachungssystem sowie Verfahren zur Konfiguration einer bzw. der Überwachungskamera
US8744125B2 (en) 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification
FI20125281L (fi) * 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä, laite ja tietokoneohjelma kuvaparametrin määrittämiseksi
WO2013183738A1 (ja) * 2012-06-08 2013-12-12 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム
EP2709058B1 (de) 2012-07-18 2015-09-02 AGT International GmbH Kalibrierung von kamerabasierten Überwachungssystemen
EP2709064B1 (de) 2012-07-18 2019-06-26 AGT International GmbH Bildverarbeitung zum Ableiten von Bewegungseigenschaften für eine Vielzahl von Objekten in einer Warteschlange
KR102003776B1 (ko) 2013-08-13 2019-07-26 한화테크윈 주식회사 감시용 카메라의 자세 검출 방법 및 장치
CN103856774B (zh) * 2014-02-28 2016-03-23 北京航科威视光电信息技术有限公司 一种视频监控智能检测系统及方法
US9942450B2 (en) 2014-07-11 2018-04-10 Agt International Gmbh Automatic time signature-based video matching for a camera network
CN108431702B (zh) 2015-10-30 2021-11-30 昕诺飞控股有限公司 传感器系统的试运行
EP3264761A1 (de) * 2016-06-23 2018-01-03 Thomson Licensing Verfahren und vorrichtung zur erzeugung eines paares stereoskopischer bilder mit mindestens einer lichtfeldkamera
DE102016222319A1 (de) 2016-11-14 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-referenzierung
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
US10643078B2 (en) * 2017-11-06 2020-05-05 Sensormatic Electronics, LLC Automatic camera ground plane calibration method and system
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
CN111369622B (zh) * 2018-12-25 2023-12-08 中国电子科技集团公司第十五研究所 虚实叠加应用的相机世界坐标位置获取方法、装置和系统
CN111564015B (zh) * 2020-05-20 2021-08-24 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
DE102021209698A1 (de) * 2021-09-03 2023-03-09 Continental Automotive Technologies GmbH Verfahren zur Kalibrierung einer Straßenüberwachungseinrichtung und Straßenüberwachungssystem

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US6970083B2 (en) 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US20070076977A1 (en) * 2005-10-05 2007-04-05 Kuan-Wen Chen Method for calibrating camera parameters

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BISWAJIT BOSE, ERIC GRIMSON: "Ground Plane Rectification by Tracking Moving Objects", PROCEEDINGS OF THE JOINT IEEE INTERNATIONAL WORKSHOP ON VISUAL SURVEILLANCE AND PERFORMANCE EVALUATION OF TRACKING AND SURVEILLANCE (VS-PETS), October 2003 (2003-10-01), Nice, France, pages 1 - 8, XP002464737, Retrieved from the Internet <URL:http://people.csail.mit.edu/cielbleu/pubs/BoseGrimson03GroundPlaneRectification.pdf> [retrieved on 20080114] *
CHRISTOPHER JAYNES: "Multi-view calibration from planar motion trajectories", IMAGE AND VISION COMPUTING, vol. 22, no. 7, 1 July 2004 (2004-07-01), Elsevier, Netherlands, pages 535 - 550, XP002464738, ISSN: 0262-8856, Retrieved from the Internet <URL:http://www.sciencedirect.com/science?_ob=MImg&_imagekey=B6V09-49V3JPR-3-4W&_cdi=5641&_user=987766&_orig=search&_coverDate=07%2F01%2F2004&_sk=999779992&view=c&wchp=dGLbVtz-zSkWW&md5=5fd20afe470dc39e8900b519161f86a6&ie=/sdarticle.pdf> [retrieved on 20080116] *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962365B2 (en) 2008-10-31 2011-06-14 International Business Machines Corporation Using detailed process information at a point of sale
US8345101B2 (en) 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US8429016B2 (en) 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
US8612286B2 (en) 2008-10-31 2013-12-17 International Business Machines Corporation Creating a training tool
CN110400352A (zh) * 2011-12-28 2019-11-01 派尔高公司 利用特征识别的摄像机校准
CN110400352B (zh) * 2011-12-28 2023-09-05 派尔高公司 利用特征识别的摄像机校准
CN106373125A (zh) * 2016-09-30 2017-02-01 杭州电子科技大学 一种基于信息熵的雪花噪声检测方法
CN106373125B (zh) * 2016-09-30 2018-10-19 杭州电子科技大学 一种基于信息熵的雪花噪声检测方法

Also Published As

Publication number Publication date
EP2126840A1 (de) 2009-12-02
US20100103266A1 (en) 2010-04-29
DE102007001649A1 (de) 2008-07-17

Similar Documents

Publication Publication Date Title
WO2008083869A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
EP1589484B1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
EP2043045B1 (de) Verfahren zur Objektverfolgung
DE102014206704B4 (de) Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse
EP2757346B1 (de) Verfahren zum Messen eines Höhenprofils eines auf einer Straße passierenden Fahrzeugs
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
DE102016209625A1 (de) Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
EP3104330B1 (de) Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
DE102007054950B4 (de) Verfahren zur Stützung der selbsttätigen Navigation eines niedrig fliegenden Flugkörpers
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
DE102006027123A1 (de) Verfahren für die Erfassung eines Verkehrsraums
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
EP3867796A1 (de) Verfahren und vorrichtung zur bestimmung einer umgebungskarte
WO2011020713A1 (de) Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
WO2013091626A1 (de) Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
WO2023083620A1 (de) Prüfung der umfeldsensorik und/oder umfeldperzeption eines fahrzeugs
EP2219155B1 (de) Vorrichtung, Verfahren und Computerprogramm zur Segmentierung eines Objektes in einem Bild, und Videoüberwachungssystem
DE19517031A1 (de) Verfahren zur Bestimmung der Länge eines Fahrzeuges mit Hilfe einer das Fahrzeug aufnehmenden Videokamera und Vorrichtung zur Durchführung des Verfahrens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07822150

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007822150

Country of ref document: EP