WO2013091626A1 - Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor - Google Patents

Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor Download PDF

Info

Publication number
WO2013091626A1
WO2013091626A1 PCT/DE2012/100393 DE2012100393W WO2013091626A1 WO 2013091626 A1 WO2013091626 A1 WO 2013091626A1 DE 2012100393 W DE2012100393 W DE 2012100393W WO 2013091626 A1 WO2013091626 A1 WO 2013091626A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
camera
extract stream
stream
sensor
Prior art date
Application number
PCT/DE2012/100393
Other languages
English (en)
French (fr)
Inventor
Michael Lehning
Original Assignee
Jenoptik Robot Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jenoptik Robot Gmbh filed Critical Jenoptik Robot Gmbh
Priority to DE112012005369.9T priority Critical patent/DE112012005369A5/de
Publication of WO2013091626A1 publication Critical patent/WO2013091626A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor

Definitions

  • an image capturing measuring system When using an image capturing measuring system is usually a digital camera for taking pictures together with special sensors for
  • Receiver surface of the camera imaged object points (pixels) to the
  • Sensor measured object points are determined. In particular, from the
  • Traffic measurement known method for detecting traffic violations and the unambiguous assignment of a monitoring or measurement result to the detected vehicle is a precise calibration is a prerequisite for approval of such a measurement system.
  • the measuring devices such as the position sensor and the camera to each other and to a monitored area within a framework, which are defined for example in a set-up rule for the respective measuring system.
  • a framework which are defined for example in a set-up rule for the respective measuring system.
  • the published patent application DE 10 2009 013 667 A1 describes a method with which a predefined positional relationship, which is determined by the spatial relationship between a laser scanner and a digital camera, is established for a traffic monitoring device.
  • the laser scanner and the digital camera are roughly aligned with each other so that a surveillance area within the scan angle range of the laser scanner is completely covered by the object field of the digital camera at a given photo point.
  • the spatial relationship between the laser scanner (henceforth: position sensor) and the digital camera (henceforth: camera) is determined by the spatial relationship of the laser coordinate system (henceforth sensor coordinate system) to the camera coordinate system.
  • the laser coordinate system is determined by a Laserscanachse (henceforth: sensor axis), which is perpendicular to a receiver surface, as well as the location of the scan plane and represents a polar coordinate system.
  • Through the scan field (henceforth: sensor area) of the position sensor moving objects can by detecting a Distance value and the scan angle at the time of detection (henceforth: measurement time) are assigned to a location in the sensor area.
  • the camera coordinate system is determined by the optical axis of the camera and its receiver matrix and represents a Cartesian coordinate system. Mappings are made with regard to their position in the image plane (on the receiver matrix) via the knowledge of the position of the receiving image elements (pixels) in lines and columns certain receiver matrix detected.
  • the spatial relationship is established in two steps. In a first step, a rough adaptation of sensor and camera coordinate system is first calculated. In a second step, a fine adjustment is made in a user-led, manual process.
  • the measured values of the position sensor which describe a spatially distributed number of measuring points corresponding to a vehicle contour and the scanning range orientation in a polar coordinate system, are transformed into a Cartesian coordinate system assigned to the position sensor.
  • This can then be transformed into a Cartesian coordinate system assigned to the camera.
  • This is done by computational translational displacements along the axes of the coordinate system of the position sensor and by a conversion of the measured values, taking into account the known imaging characteristic of the camera.
  • the coarse amounts of the translational displacements result from the distances between the axes of the coordinate systems of the position sensor and the camera and are known due to a fixed positional relationship between position sensor and camera.
  • the transformation thus generated still requires the adaptation of the rotational rotation and the fine adjustment of the translational displacements.
  • the fine adjustment is done by a user in one interactive process by means of a suitable device for image processing.
  • a suitable device for image processing For this purpose, at least one photograph of the detected vehicle is superimposed with a visually illustrated measurement structure, which was generated from the number of measured values formed at the time the photo was taken, and shifted and rotated by the user in such a way that the vehicle is superimposed as ideally as possible by the measurement structure.
  • the superimposed measuring structure is taken over into the photo and thus simultaneously serves to mark the detected vehicle z. B. in the case of a photo of a multi-lane roadway.
  • the invention has for its object to propose a method by which the unknown spatial relationship between a position sensor and a camera can be determined fully automatically.
  • the object is achieved by a method according to claim 1.
  • the implementation of the method according to the invention requires that a camera and a position sensor are provided, which are directed onto a roadway.
  • the camera having a Cartesian camera coordinate system passing through the optical axis of the camera, the plane of the receiver matrix and the direction of the rows and columns of the pixels of the receiver matrix is determined so that the roadway is aligned, that a part of the roadway is detected by the object field of the camera.
  • the position sensor which has a polar sensor coordinate system, which is determined by a sensor axis and a receiver surface
  • the sensor coordinate system is designed polar.
  • the relative position of the two coordinate systems to each other is given, but not known. To gain knowledge about the relative position is the purpose of the calibration.
  • the object field and the sensor area can be subregions of one another, overlap or else lie next to or away from each other.
  • the position sensor can, for. B. be a radar sensor or a laser scanner. By reflection of radiation on a vehicle passing through the sensor area, it receives measurement data for a plurality of successive measuring times, which are recorded as a measured data stream and supplied to a computer. The measured data are distance and angle values and thus form polar coordinates of measuring points in the sensor area.
  • the measurement data generated by a vehicle is typical for a vehicle and can be extracted from the measurement data stream.
  • the extracted measurement data of the measurement data stream are referred to below as measurement data extract stream.
  • the inventive method is basically applicable to any objects. Preferably, however, the objects are vehicles.
  • image data corresponding to a vehicle or a salient area of a vehicle is extracted.
  • the extracted image data will hereinafter be referred to as the formed image data extract stream.
  • the measured data extract stream and the formed image data extract stream are generated by means of a computer and by methods known to the person skilled in the art.
  • the trajectory of the vehicle can be derived from the measured data extract stream and the image data extract stream formed, that is, the lane which describes the vehicle as it is being driven during the acquisition.
  • this is only of interest if the object field and the sensor area do not overlap or overlap only very slightly, as a result of which a vehicle is not or only a few times captured at one location both by the position sensor and by the camera.
  • a stationary detection of a vehicle with the position sensor and the camera or the creation of location-identical pseudomessage or image data is the prerequisite for being able to calibrate the camera to the position sensor.
  • an artificial image data extract stream is generated from the measured data extract stream, which is then brought into conformity with the image data extract stream formed by known error calculation methods.
  • the prior knowledge of the intrinsic parameters of the camera is not mandatory, but facilitates the effort for the estimation of the parameters. It is also conceivable via compensation calculations that the intrinsic parameters of the camera are also determined within the framework of error calculation methods. A direct comparison of the formed image data extract stream with the measured data extract stream is not possible since the measured data extract stream in 3D space is determined while an image data extract stream in a 2D area is determined.
  • a comparison be made of traces of the formed image data extract stream and the artificial image data extract stream.
  • it is determined with which rotation angle and with which spatial offset at least one of the image data extract streams to be rotated and spatially offset in order to achieve a match of the formed image data extract stream and the artificial image data extract stream.
  • a match equals a predetermined similarity of the formed image data extract stream and the artificial image data extract stream.
  • the image data extract stream both the formed and the artificial, can thus be interpreted in the sense of a visual representation as an image track (track).
  • the artificially generated track can thus be compared with the tracks given by the formed image data extract stream.
  • an image data extract stream is referred to by the skilled person as optical flow and refers to the track or tracks left by moving objects in the object field or in the sensor area. Comparable is the optical flow with the tracks that are used in a nocturnal long-term photographic exposure, z. B. a busy road, are displayed.
  • the measured data extract stream is filmed with a virtual camera.
  • the comparison with an acceptance by means of a virtual camera is used below for a simplified explanation of the method according to the invention.
  • Virtual camera shooting is similar to rendering a 3D model in a CAD program onto a 2D line drawing, the location and rotation of that virtual camera compared to the (real) camera coordinate system used as the reference coordinate system gives an actually required rotation angle as well as an actually required spatial offset to a relative position between Describe sensor coordinate system and camera coordinate system (hereafter: coordinate systems).
  • a pictorial representation is, in general terms, an image of a 3D object on a 2D projection surface.
  • a projection can be applied to any type of 3D objects, such as these, z. B. including their movement parameters, are recognized by modern measuring systems. These measuring systems provide, for example, the location and speed of the appropriate objects. If these 3D objects, including their tracks, are then imaged on a two-dimensional artificial track as an artificial image data extract stream, this artificial image data extract stream can be compared manually and / or automatically with the image data extract stream formed. In a simple case, the formed image data extract stream and the artificial image data extract stream are comparable by determining geometric distances of points or regions of the respective tracks.
  • the artificial image data extract stream serves as a comparison data stream to the formed image data extract stream.
  • Positional parameters are preferably given by at least one rotation angle and by at least one spatial offset.
  • the rotation angle denotes an angle about which a virtual optical axis of the virtual camera is to tilt in order to image a 3D object from the same angle as the (real) camera.
  • the virtual camera describes a rotating movement (rotation).
  • the 3D object projected in this way and projected onto a 2D surface may have a different spatial position than the 3D object imaged by means of the camera.
  • the difference of the local positions represents the Spatial displacement.
  • this means that the angle of rotation indicates the rotation of the virtual camera that is required to convert the measured data extract stream into the artificial image data extract stream.
  • the spatial offset can be determined from the difference of the spatial positions of formed image data extract stream and artificial image data extract stream.
  • the coordinate system of the camera in particular a point of the coordinate system, is selected.
  • the origin point can be chosen if it is a Cartesian coordinate system or a base point of a coordinate axis, if it is a polar coordinate system.
  • the choice of another reference point is also known and possible.
  • the measurement data extract stream is converted into an artificial 3D object in an artificial space using these estimated attitude parameters.
  • the conversion of points of the artificial 3D object into points of an artificial projection on a 2D surface is done using the virtual Camera, which has the same intrinsic parameters as the camera. Since the measured data extract stream embodies a time profile of measured data, a projection of the measured data extract stream gives a temporal sequence of the artificial dots on the 2D area-and thus the artificial image data extract stream.
  • the artificial image data extract stream can be generated using the estimated rotation angle and the estimated spatial offset.
  • the virtual camera is rotated around the 3D object until a sufficient similarity or coincidence is detected between the formed image data extract stream and the artificial image data extract stream. In this case, an actually required rotation angle is determined.
  • the estimated rotation angle can then be corrected accordingly. From the comparison of the artificial image data extract stream and the formed image data extract stream, an actually required spatial offset is determined.
  • the estimated spatial offset can then be corrected.
  • the relative position of the coordinate systems can be determined without using estimated position parameters.
  • This step can be skipped in the method according to the invention since only the relative relationship between sensor and camera coordinate system is of interest.
  • the formed image data extract stream is generated in the prior art method of the present invention, the combination of an artificial 3D rotation of the measurement data extract stream with a subsequent 3D / 2D artificial projection is new. From the comparison of the formed image data extract stream with the artificial image data extract stream, a correct determination of the relative position between the sensor coordinate system and the camera coordinate system is made possible.
  • the position sensor can also provide information on the direction of travel and speed of the vehicle.
  • the data is used like the location information for the adjustment calculation.
  • the speed and the direction from the measured data extract stream are converted into a virtual optical flow, and this virtual optical flow is compared with the real optical flow from the image data extract stream in the context of the error compensation method.
  • a large variety of appropriate object points of a vehicle are matched with a large plurality of pixels of the imaged vehicle.
  • measurement points within the sensor coordinate system are transformed into pixels within the camera coordinate system.
  • a transformation rule is derived, according to which later determined measurement data can be assigned to image data, as long as the orientation of the camera and the position sensor relative to one another does not change.
  • the measurement data can be converted into the image data by mathematical displacement and rotation and compared with the image data actually obtained.
  • a camera (box b) and a position sensor (box h) are positioned relative to each other such that a sensor area is detected by the position sensor and an object field by the camera.
  • Sensor area and object field are aligned with each other so that an object to be detected moves through both the sensor area and the object field.
  • the sensor area and the object field may overlap completely or partially. They also can not be aligned overlapping.
  • the position sensor and camera are positioned according to a set-up rule, which defines the minimum and maximum allowable distances as well as the lowest and highest rotation angles between the sensor axis of the position sensor and the optical axis of the camera.
  • the explanation is given by means of two moving vehicles.
  • the camera has a receiver matrix with a Cartesian coordinate system.
  • the position sensor has a receiver unit (not shown), by means of which measurement data from the sensor area can be detected at measurement instants. The measured data can be stored assigned to the measurement times.
  • a number of image recordings of the object field are recorded successively in time as a sequence of images and stored in a computing unit (not shown) (box c).
  • a computing unit not shown
  • the contour is recognized and stored in some selected image recordings of the image sequence.
  • Those image data by which the contour is described are extracted from the image recordings of the image sequence and an image data extract stream is formed therefrom and stored as educated image data extract stream (box d). Due to the image data extract stream formed, the two detected vehicles can be displayed (shown in a highly schematic manner as angled arrows). Box e) can be displayed. The formed image data extract stream is passed to a comparison unit (represented by box f) where it is compared to an artificial image data extract stream (see below).
  • the contribution of the position sensor when carrying out the method according to the invention is that measured values are acquired at measuring times in the sensor area and stored as measured data associated with the measuring times. Due to the chronological sequence of acquired measurement data, a measurement data stream is given.
  • the position sensor which has a sensor coordinate system with a sensor axis, the vehicles are detected in the sensor area and tracked during their movement through the sensor area (tracking). At each measurement time, those data are extracted from the measurement data, which are each assigned to one of the vehicles.
  • the relative position of the vehicles to the sensor coordinate system is continuously given by data triples of angle, distance and speed as measured data.
  • a movement path (lane, lane) of each vehicle can be derived from the measurement data stream, which describes the respective vehicle during its movement through the sensor area. This also makes it possible to track two or more vehicles at the same time.
  • the two vehicles are tracked (see schematically in box j) (box i).
  • Estimated positional parameters are created for the position sensor.
  • the sensor axis and the optical axis are arranged with a relative position to each other, which can be specified by a rotation angle and a spatial offset.
  • both the value of the rotation angle and the value of the spatial offset can lie only within a respective area defined by the setup rule.
  • an estimated rotation angle and estimated spatial displacement are selected (Box k2).
  • the measured data extract stream of each vehicle is converted and the respective vehicle is displayed as a 3D object.
  • a rotation of a virtual camera is performed and each 3D object is imaged by the virtual camera, thereby projecting the 3D object into a 2D surface (box 11).
  • the 3D object can be translated to account for the estimated spatial offset.
  • the same intrinsic parameters that the camera (box b) has (box 12) are assumed.
  • Data points of the 3D object are transferred to data points in the 2D area. Since the measured data extract current comprises a number of measuring times, the projection shows a movement path (lane) of the vehicle in the sensor area (box j).
  • the data points in the 2D area yield an artificial image data extract stream (box m).
  • This artificial image data extract stream is transferred to the comparison unit (box f) and compared with the formed image data stream and matched. If necessary, a further rotation is performed by a further rotation angle. If a better match of the image data extract streams is achieved by the further rotation, the further rotation angle is used to correct the estimated rotation angle.
  • a further spatial offset is determined. If a better match of the image data extract streams is achieved by the further spatial offset, the further spatial offset is used to correct the estimated spatial offset.
  • the actually required rotation angle and the actually required spatial offset describe as positional parameters a relative position of the coordinate systems to one another.
  • a transformation rule can be derived, by means of which points of a coordinate system can be converted into points of the other coordinate system.
  • the trajectories can be derived by extrapolating acquired measurement data and forming pseudo measurement data. The pseudo measurement data allow the description of trajectories outside the sensor range.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor, bei dem aus Bilddaten zeitlich aufeinanderfolgend erstellter Bilder ein Bilddatenstrom und aus zu verschiedenen Messzeitpunkten erhaltenen Messdaten ein Messdatenstrom gebildet wird. Aus beiden Datenströmen werden objektrelevante Daten extrahiert, um einen Bilddatenextraktstrom bzw. einen Messdatenextraktstrom zu bilden. Über ein bekanntes Schätzverfahren wird aus dem Messdatenextraktstrom ein künstlicher Bilddatenextraktstrom generiert und über ein bekanntes Fehlerrechnungsverfahren mit dem gebildeten Bilddatenextraktstrom in Übereinstimmung gebracht.

Description

VERFAHREN ZUR KALIBRIERUNG EINER
VERKEHRSÜBERWACHUNGSKAMERA ZU EINEM LAGESENSOR
Bei der Verwendung eines bilderfassenden Messsystems wird in der Regel eine digitale Kamera zur Aufnahme von Bildern zusammen mit speziellen Sensoren zur
Erfassung von Messgrößen verwendet. Bevor mit beiden Komponenten zusammen ein verlässliches Messergebnis generiert werden kann, muss die Kamera zum
Sensor kalibriert werden. Das heißt, es muss die Lagebeziehung von den auf der
Empfängerfläche der Kamera abgebildeten Objektpunkten (Bildpunkten) zu den vom
Sensor gemessenen Objektpunkten ermittelt werden. Insbesondere bei den aus der
Verkehrsmesstechnik bekannten Verfahren zur Erfassung von Verkehrsverstößen und der zweifelsfreien Zuordnung eines Überwachungs- oder Messergebnisses zum erfassten Fahrzeug ist eine genaue Kalibrierung eine Voraussetzung zur Zulassung eines solchen Messsystems.
Um festgestellte Verkehrsverstöße auch tatsächlich ahnden zu können, ist es üblich, die Messgeräte wie Lagesensor und Kamera zueinander und zu einem zu überwachenden Bereich innerhalb von Rahmenbedingungen anzuordnen, die beispielsweise in einer Aufstellvorschrift für das jeweilige Messsystem festgelegt sind. Durch eine Aufstellvorschrift können einzuhaltende Mindest- und Höchstabstände sowie einzuhaltende Bereiche relativer Winkellagen der Sensorachse und der optischen Achse der Kamera zueinander festgelegt sein.
In der Offenlegungsschrift DE 10 2009 013 667 A1 ist ein Verfahren beschrieben, mit dem für eine Verkehrsüberwachungseinrichtung eine vorgegebene Lagebeziehung, die durch die räumliche Beziehung zwischen einem Laserscanner und einer Digitalkamera bestimmt ist, hergestellt wird.
Der Laserscanner und die Digitalkamera werden grob zueinander ausgerichtet, sodass ein Überwachungsbereich, innerhalb des Scanwinkelbereiches des Laserscanners vom Objektfeld der Digitalkamera an einem vorgegebenen Fotopunkt vollständig überdeckt wird. Die räumliche Beziehung zwischen dem Laserscanner (fortan: Lagesensor) und der Digitalkamera (fortan: Kamera) ist durch die räumliche Beziehung des Laserkoordinatensystems (fortan: Sensorkoordinatensystem) zum Kamerakoordinatensystems bestimmt. Das Laserkoordinatensystem ist bestimmt durch eine Laserscanachse (fortan: Sensorachse), die senkrecht auf einer Empfängerfläche steht, sowie die Lage der Scanebene und stellt ein polares Koordinatensystem dar. Sich durch das Scanfeld (fortan: Sensorbereich) des Lagesensors bewegende Objekte können durch die Erfassung eines Entfernungswertes und des Scanwinkels zum Zeitpunkt der Erfassung (fortan: Messzeitpunkt) einem Ort im Sensorbereich zugeordnet werden.
Das Kamerakoordinatensystem ist bestimmt durch die optische Achse der Kamera und deren Empfängermatrix und stellt ein kartesisches Koordinatensystem dar. Abbildungen werden bezüglich ihrer Lage in der Bildebene (auf der Empfängermatrix) über die Kenntnis der Lage der empfangenden Bildelemente (Pixel) in der durch Zeilen und Spalten bestimmten Empfängermatrix erfasst.
Die Herstellung der räumlichen Beziehung erfolgt in zwei Schritten. In einem ersten Schritt wird zunächst eine grobe Anpassung von Sensor- und Kamerakoordinatensystem berechnet. In einem zweiten Schritt wird in einem benutzergeführten, manuellen Prozess eine Feinanpassung vorgenommen.
Im ersten Schritt werden die Messwerte des Lagesensors, die eine räumlich verteilte Anzahl von Messpunkten entsprechend einer Fahrzeugkontur und der Scanbereichausrichtung in einem polaren Koordinatensystem beschreiben, in ein dem Lagesensor zugeordnetes kartesisches Koordinatensystem transformiert. Dieses kann anschließend in ein der Kamera zugeordnetes kartesisches Koordinatensystem transformiert werden. Das erfolgt durch rechnerisch translatorische Verschiebungen entlang der Achsen des Koordinatensystems des Lagesensors sowie durch eine Umrechnung der Messwerte unter Einbeziehung der bekannten Abbildungscharakteristik der Kamera. Die groben Beträge der translatorischen Verschiebungen ergeben sich aus den Abständen zwischen den Achsen der Koordinatensysteme des Lagesensors und der Kamera und sind aufgrund einer festen Lagebeziehung zwischen Lagesensor und Kamera bekannt.
Die so erzeugte Transformation bedarf im zweiten Schritt noch der Anpassung der rotatorischen Verdrehung und der Feinanpassung der translatorischen Verschiebungen. Die Feinanpassung erfolgt durch einen Benutzer in einem interaktiven Prozess mittels eines geeigneten Geräts zur Bildbearbeitung. Dazu wird mindestens einem Foto des erfassten Fahrzeugs mit einer visuell dargestellten Messstruktur, die aus der zum Zeitpunkt der Aufnahme des Fotos gebildeten Anzahl von Messwerten generiert wurde, überlagert und vom Benutzer so verschoben und verdreht, dass das Fahrzeug möglichst ideal von der Messstruktur überlagert wird. Die überlagerte Messstruktur wird in das Foto übernommen und dient somit gleichzeitig der Markierung des erfassten Fahrzeugs z. B. im Fall eines Fotos einer mehrspurigen Fahrbahn.
Die möglichst genaue Bestimmung der Beträge der translatorischen Verschiebungen bei der Transformation des kartesischen Koordinatensystems des Lagesensors in das Koordinatensystem der Kamera gestaltet sich dann relativ einfach, wenn Lagesensor und Kamera in einem gemeinsamen Gehäuse angeordnet sind und die Generierung der Beträge schon anhand der Konstruktionsdaten erfolgen kann.
Für Messaufgaben, in denen eine starre Anordnung von Lagesensor und Kamera zueinander nicht möglich ist, gestaltet sich das Verfahren als schwierig.
Ein weiterer Nachteil des Verfahrens ist in dem notwendigen Aufwand bei der manuellen Markierung und der Feinanpassung der Messstruktur an das Foto des erfassten Fahrzeugs zu sehen.
Der Erfindung liegt die Aufgabe zugrunde ein Verfahren vorzuschlagen, mit dem die unbekannte räumliche Beziehung zwischen einem Lagesensor und einer Kamera vollautomatisch bestimmt werden kann.
Die Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst.
Das erfindungsgemäße Verfahren soll nachfolgend anhand eines Ausführungsbeispiels näher erläutert werden.
Die Durchführung des erfindungsgemäßen Verfahrens setzt voraus, dass eine Kamera und ein Lagesensor vorhanden sind, die auf eine Fahrbahn gerichtet sind.
Das heißt, dass die Kamera, welche ein kartesisches Kamerakoordinatensystem aufweist, das durch die optische Achse der Kamera, die Ebene der Empfängermatrix und die Richtung der Zeilen und Spalten der Pixel der Empfängermatrix bestimmt ist, so zur Fahrbahn ausgerichtet ist, dass ein Teil der Fahrbahn vom Objektfeld der Kamera erfasst ist.
Für den Lagesensor, welcher ein polares Sensorkoordinatensystem aufweist, das durch eine Sensorachse und eine Empfängerfläche bestimmt ist, heißt das, dass ein Teil der Fahrbahn vom Sensorbereich erfasst ist. Es ist aber nicht zwingend, dass das Sensorkoordinatensystem polar ausgelegt ist.
Die Relativlage der beiden Koordinatensysteme zueinander ist damit gegeben, aber nicht bekannt. Kenntnis über die Relativlage zu erlangen, ist der Zweck der Kalibrierung.
Das Objektfeld und der Sensorbereich können Teilbereiche voneinander sein, sich überlappen oder aber auch nebeneinander bzw. voneinander entfernt liegen.
Sie müssen allerdings so zueinander liegen, dass ein Fahrzeug, welches den Sensorbereich durchfährt, auch das Objektfeld durchfährt - und umgekehrt.
Der Lagesensor kann z. B. ein Radarsensor oder ein Laserscanner sein. Er erhält durch Reflexion von Strahlung an einem den Sensorbereich durchfahrenden Fahrzeug zu mehreren aufeinanderfolgenden Messzeitpunkten Messdaten, die als ein Messdatenstrom erfasst und einem Rechner zugeführt werden. Die Messdaten sind Entfernungs- und Winkelwerte und bilden so Polarkoordinaten von Messpunkten im Sensorbereich.
Je nach Art des Lagesensors sind die Messdaten, die durch ein Fahrzeug generiert werden, für ein Fahrzeug typisch und können aus dem Messdatenstrom extrahiert werden. Die extrahierten Messdaten des Messdatenstromes werden nachfolgend als Messdatenextraktstrom bezeichnet. Das erfindungsgemäße Verfahren ist grundsätzlich für beliebige Objekte anwendbar. Vorzugsweise sind die Objekte aber Fahrzeuge.
Durch die Kamera werden kontinuierlich, dass heißt in kurzen zeitlichen Abständen nacheinander, Bilder vom Objektfeld erstellt, die in Form von Bilddaten von der Empfängermatrix der Kamera geliefert werden und einen Bilddatenstrom bilden, der dem Rechner zugeführt wird.
Aus dem Bilddatenstrom werden Bilddaten extrahiert, die einem Fahrzeug oder einem markanten Bereich eines Fahrzeuges entsprechen. Die extrahierten Bilddaten werden nachfolgend als gebildeter Bilddatenextraktstrom bezeichnet.
Der Messdatenextraktstrom und der gebildete Bilddatenextraktstrom werden mittels eines Rechners und mittels dem Fachmann bekannter Verfahren erzeugt. Aus dem Messdatenextraktstrom und dem gebildeten Bilddatenextraktstrom lässt sich die Bewegungsbahn des Fahrzeuges ableiten, das heißt, diejenige Fahrspur, welche das Fahrzeug bei seiner Fahrt während der Erfassung beschreibt. Damit ist es auch möglich, den Bilddatenextraktstrom und/oder den Messdatenextraktstrom so zu extrapolieren, dass Pseudomessdaten bzw. Pseudobilddaten von dem angemessenen bzw. abgebildeten Fahrzeug außerhalb des Sensorbereichs bzw. des Objektfelds geschaffen werden. Das ist jedoch nur dann von Interesse, wenn sich das Objektfeld und der Sensorbereich nicht oder nur sehr gering überlappen, womit ein Fahrzeug nicht oder nur wenige Male an einem Ort sowohl von dem Lagesensor als auch von der Kamera erfasst wird. Eine ortsgleiche Erfassung eines Fahrzeuges mit dem Lagesensor und der Kamera bzw. die Schaffung von ortsgleichen Pseudomess- bzw. -bilddaten ist die Vorraussetzung, um die Kamera zum Lagesensor kalibrieren zu können.
In Kenntnis der intrinsischen Parameter der Kamera und mit vorliegenden Erfahrungen oder mit durch Anlernen gewonnenen Erkenntnissen über ein die erhaltenen Messdaten verursachendes Fahrzeug, wird aus dem Messdatenextraktstrom ein künstlicher Bilddatenextraktstrom generiert, der anschließend über bekannte Fehlerrechnungsverfahren mit dem gebildeten Bilddatenextraktstrom in Übereinstimmung gebracht wird. Die Vorabkenntnis der intrinsischen Parameter der Kamera ist allerdings nicht zwingend, sondern erleichtert den Aufwand für die Schätzung der Parameter. Es ist über Ausgleichsrechnungen ebenso denkbar, dass auch die intrinsischen Parameter der Kamera im Rahmen von Fehlerrechnungsverfahren bestimmt werden. Ein direkter Vergleich des gebildeten Bilddatenextraktstroms mit dem Messdatenextraktstrom ist nicht möglich, da der Messdatenextraktstrom im 3D-Raum ermittelt wird, während ein Bilddatenextraktstrom in einer 2D-Fläche ermittelt wird. Vielmehr ist es erfindungswesentlich, dass ein Vergleich von Spuren des gebildeten Bilddatenextraktstroms und des künstlichen Bilddatenextraktstroms vorgenommen wird. Dabei wird ermittelt, mit welchem Rotationswinkel und mit welchem räumlichen Versatz mindestens einer der Bilddatenextraktströme zu rotieren und räumlich zu versetzen ist, um eine Übereinstimmung des gebildeten Bilddatenextraktstroms und des künstlichen Bilddatenextraktstroms zu erreichen. Einer Übereinstimmung steht eine festgelegte Ähnlichkeit des gebildeten Bilddatenextraktstroms und des künstlichen Bilddatenextraktstroms gleich.
Der Bilddatenextraktstrom, sowohl der gebildete als auch der künstliche, kann somit im Sinne einer bildlichen Darstellung als Bildspur (Spur) interpretiert werden. Die künstlich generierte Spur (künstlicher Bilddatenextraktstrom) kann somit mit den Spuren verglichen werden, die durch den gebildeten Bilddatenextraktstrom gegeben sind.
Allgemein wird ein Bilddatenextraktstrom vom Fachmann als optischer Fluss bezeichnet und bezeichnet die Spur bzw. die Spuren, die von sich bewegenden Objekten im Objektfeld bzw. im Sensorbereich hinterlassen werden. Vergleichbar ist der optische Fluss mit den Spuren, die bei einer nächtlichen fotografischen Langzeitbelichtung, z. B. einer befahrenen Straße, abgebildet werden.
Sinngemäß wird der Messdatenextraktstrom mit einer virtuellen Kamera gefilmt. Der Vergleich mit einer Annahme mittels einer virtuellen Kamera dient nachfolgend einer vereinfachten Erläuterung des erfindungsgemäßen Verfahrens. Das Filmen mit der virtuellen Kamera ist vergleichbar mit dem sogenannten„Rendern" eines 3D-Modells in einem CAD-Programm auf eine 2D-Strichzeichnung. Die Lageposition und die Rotation dieser virtuellen Kamera im Vergleich zu dem als Referenzkoordinatensystem verwendeten Koordinatensystem der (echten) Kamera ergibt einen tatsächlich erforderlichen Rotationswinkel sowie einen tatsächlich erforderlichen räumlichen Versatz, um eine Relativlage zwischen Sensorkoordinatensystem und Kamerakoordinatensystem (nachfolgend: Koordinatensysteme) zu beschreiben.
Eine bildliche Darstellung ist, verallgemeinert ausgedrückt, eine Abbildung eines 3D- Objekts auf eine 2D-Projektionsfläche. Grundsätzlich kann eine solche Projektion auf jede Art von 3D-Objekten angewendet werden, wie diese, z. B. einschließlich ihrer Bewegungsparameter, von modernen Messsystemen erkannt werden. Diese Messsysteme liefern beispielsweise Ort und Geschwindigkeit der angemessenen Objekte. Bildet man nun diese 3D-Objekte einschließlich ihrer Spuren als einen künstlichen Bilddatenextraktstrom auf eine zweidimensionale künstliche Spur ab, ist dieser künstliche Bilddatenextraktstrom mit dem gebildeten Bilddatenextraktstrom manuell und / oder automatisiert vergleichbar. In einem einfachen Fall sind der gebildete Bilddatenextraktstrom und der künstliche Bilddatenextraktstrom durch die Ermittlung geometrischer Abstände von Punkten oder Bereichen der jeweiligen Spuren miteinander vergleichbar. Es können mehrere Vergleiche von gleichen oder verschiedenen Kombinationen von Punkten und / oder von Bereichen durchgeführt werden. Anhand des Ergebnisses des Vergleichs bzw. der Vergleiche ist eine Relativlage der Koordinatensysteme zueinander ermittelbar. Der künstliche Bilddatenextraktstrom dient in dem erfindungsgemäßen Verfahren als ein Vergleichsdatenstrom zum gebildeten Bilddatenextraktstrom.
Zur Ermittlung der Relativlage der Koordinatensysteme zueinander ist es bevorzugt, Lageparameter des Lagesensors bezüglich eines Referenzkoordinatensystems zu ermitteln. Lageparameter sind vorzugsweise durch mindestens einen Rotationswinkel und durch mindestens einen räumlichen Versatz gegeben.
Ausgehend von der Sensorachse des Sensorkoordinatensystems ist mit dem Rotationswinkel ein Winkel bezeichnet, um den eine virtuelle optische Achse der virtuellen Kamera zu kippen ist, um ein 3D-Objekt unter einem gleichen Blickwinkel abzubilden wie die (echte) Kamera. Bezüglich des 3D-Objekts beschreibt die virtuelle Kamera eine rotierende Bewegung (Rotation). Das derart abgebildete und auf eine 2D-Fläche projizierte 3D-Objekt kann eine andere Ortslage aufweisen als dass mittels der Kamera abgebildete 3D-Objekt. Die Differenz der Ortslagen stellt den räumlichen Versatz dar. Übertragen auf das erfindungsgemäße Verfahren bedeutet das, dass der Rotationswinkel die Rotation der virtuellen Kamera angibt, die erforderlich ist, um den Messdatenextraktstrom in den künstlichen Bilddatenextraktstrom zu überführen. Der räumliche Versatz kann aus der Differenz der Ortslagen von gebildetem Bilddatenextraktstrom und künstlichem Bilddatenextraktstrom ermittelt werden.
Es ist möglich, den erforderlichen Rechenaufwand bei der Ermittlung der Relativlage der Koordinatensysteme zueinander dadurch zu reduzieren, dass nach dem Anordnen des Lagesensors und der Kamera zur Durchführung des erfindungsgemäßen Verfahrens Lageparameter des Lagesensors als geschätzte Lageparameter bereitgestellt werden. Als Referenz wird dabei das Koordinatensystem der Kamera, insbesondere ein Punkt des Koordinatensystems, gewählt. Beispielsweise kann der Ursprungspunkt gewählt werden, wenn es sich um ein kartesisches Koordinatensystem handelt oder ein Fußpunkt einer Koordinatenachse, wenn es sich um ein polares Koordinatensystem handelt. Die Wahl eines anderen Bezugspunktes ist ebenfalls bekannt und möglich.
Üblicherweise erfolgt ein Anordnen von Lagesensor und Kamera anhand einer Aufstellvorschrift. Diese ist erforderlich, um beispielsweise amtlich zugelassene und rechtlich verwertbare Messergebnisse zu erhalten. Durch die Aufstellvorschrift sind daher Wertebereiche vorgegeben, innerhalb derer sich die Werte der Rotationswinkel und des räumlichen Versatzes nur bewegen dürfen. Bei Befolgung der Aufstellvorschrift können daher alle möglichen Werte von Rotationswinkeln und räumlichen Versätzen bei der Ermittlung der Relativlage der Koordinatensysteme zueinander unberücksichtigt bleiben, durch welche die Aufstellvorschrift nicht eingehalten wird. Es ist daher möglich, mindestens einen geschätzten Rotationswinkel und mindestens einen geschätzten räumlichen Versatz anzugeben.
Der Messdatenextraktstrom wird unter Anwendung dieser geschätzten Lageparameter in ein künstliches 3D-Objekt in einem künstlichen Raum konvertiert. Die Konvertierung von Punkten des künstlichen 3D-Objekts in Punkte einer künstlichen Projektion auf eine 2D-Fläche erfolgt unter Nutzung der virtuellen Kamera, welche die gleichen intrinsischen Parameter aufweist, wie die Kamera. Da der Messdatenextraktstrom einen zeitlichen Verlauf von Messdaten verkörpert, ist durch eine Projektion des Messdatenextraktstroms eine zeitliche Abfolge der künstlichen Punkte auf der 2D-Fläche - und damit der künstliche Bilddatenextraktstrom gegeben.
Bei der Durchführung des erfindungsgemäßen Verfahrens kann unter Anwendung des geschätzten Rotationswinkels und des geschätzten räumlichen Versatzes der künstliche Bilddatenextraktstrom erzeugt werden. Die virtuelle Kamera wird solange um das 3D-Objekt rotiert, bis eine hinreichende Ähnlichkeit oder eine Übereinstimmung zwischen dem gebildeten Bilddatenextraktstrom und dem künstlichen Bilddatenextraktstrom festgestellt wird. Dabei wird ein tatsächlich erforderlicher Rotationswinkel ermittelt. Der geschätzte Rotationswinkel kann daraufhin entsprechend korrigiert werden. Aus dem Vergleich des künstlichen Bilddatenextraktstroms und des gebildeten Bilddatenextraktstroms wird ein tatsächlich erforderlicher räumlicher Versatz ermittelt. Der geschätzte räumliche Versatz kann daraufhin korrigiert werden. Durch Korrekturen des geschätzten Rotationswinkels und/oder des räumlichen Versatzes ist das erfindungsgemäße Verfahren weiter optimierbar und die benötigte Rechenleistung und Rechenzeit können reduziert werden.
In weiteren Ausführungen des erfindungsgemäßen Verfahrens kann die Relativlage der Koordinatensysteme ermittelt werden, ohne geschätzte Lageparameter zu verwenden.
Im Stand der Technik wird ein willkürliches Koordinatensystem z. B. auf die Straße gelegt und die lokalen Koordinatensysteme des Sensors und der Kamera werden jeweils getrennt gegen dieses willkürliche Koordinatensystem ausgerichtet. Dieser Schritt kann in dem erfindungsgemäßen Verfahren übersprungen werden, da nur die relative Beziehung zwischen Sensor- und Kamerakoordinatensystem von Interesse ist. Während der gebildete Bilddatenextraktstrom in dem erfindungsgemäßen Verfahren gemäß dem Stand der Technik generiert wird, ist die Kombination einer künstlichen 3D-Rotation des Messdatenextraktstroms mit einer anschließenden künstlichen 3D/2D-Projektion neu. Aus dem Vergleich des gebildeten Bilddatenextraktstroms mit dem künstlichen Bilddatenextraktstrom ist eine korrekte Ermittlung der Relativlage zwischen dem Sensorkoordinatensystem und dem Kamerakoordinatensystem ermöglicht.
Neben der Bestimmung der Lage des angemessenen Objektes kann der Lagesensor darüber hinaus auch Informationen zur Fahrtrichtung und -geschwindigkeit des Fahrzeuges liefern. Die Daten werden wie die Lageinformationen zur Ausgleichsrechnung genutzt. Die Geschwindigkeit und die Richtung aus dem Messdatenextraktstrom werden hierzu in einen virtuellen optischen Fluss umgerechnet und dieser virtuelle optische Fluss wird im Rahmen des Fehlerausgleichsverfahrens mit dem realen optischen Fluss aus dem Bilddatenextraktstrom verglichen.
Mit dem beschriebenen Verfahren werden eine große Vielzahl von angemessenen Objektpunkten eines Fahrzeuges mit einer großen Vielzahl von Bildpunkten des abgebildeten Fahrzeuges in Übereinstimmung gebracht. Mathematisch betrachtet, werden Messpunkte innerhalb des Sensorkoordinatensystems in Bildpunkte innerhalb des Kamerakoordinatensystems transformiert. Dabei wird eine Transformationsregel abgeleitet, nach der später ermittelte Messdaten Bilddaten zugeordnet werden können, solange sich die Ausrichtung von Kamera und Lagesensor zueinander nicht verändert. Nach der Transformationsregel können die Messdaten durch mathematische Verschiebung und Verdrehung in die Bilddaten umgerechnet werden und mit den real erhaltenen Bilddaten verglichen werden.
Stimmen die errechneten Bilddaten und die realen Bilddaten überein, ist das ein Beweis, dass das angemessene Fahrzeug und das abgebildete Fahrzeug identisch sind. Verändert sich die Relativlage der Kamera und des Lagesensors zueinander, so kann über das beschriebene Verfahren eine neue Transformationsregel erstellt werden.
Das erfindungsgemäße Verfahren wird nachfolgend anhand eines in Fig. 1 gezeigten Ablaufschemas erläutert.
Um das Verfahren auszuführen (Kasten a), werden eine Kamera (Kasten b) und ein Lagesensor (Kasten h) so zueinander positioniert, dass durch den Lagesensor ein Sensorbereich und durch die Kamera ein Objektfeld erfasst werden. Sensorbereich und Objektfeld sind so zueinander ausgerichtet, dass sich ein zu erfassendes Objekt sowohl durch den Sensorbereich als auch durch das Objektfeld bewegt. Dabei können sich Sensorbereich und Objektfeld ganz oder teilweise überlappen. Sie können auch nicht überlappend ausgerichtet sein. Die Positionierung von Lagesensor und Kamera erfolgt nach einer Aufstellvorschrift, in der die zulässigen Mindest- und Höchstabstände sowie die geringsten und größten Rotationswinkel zwischen der Sensorachse des Lagesensors und der optischen Achse der Kamera definiert sind.
Die Erläuterung wird anhand zweier sich bewegender Fahrzeuge gegeben. Die Kamera weist eine Empfängermatrix mit einem kartesischen Koordinatensystem auf. Der Lagesensor weist eine Empfängereinheit (nicht gezeigt) auf, durch die zu Messzeitpunkten Messdaten aus dem Sensorbereich erfassbar sind. Die Messdaten sind den Messzeitpunkten zugeordnet speicherbar.
Zuerst soll der Beitrag der Kamera zur Durchführung des erfindungsgemäßen Verfahrens erläutert werden. Mittels der Kamera werden von dem Objektfeld zeitlich aufeinanderfolgend eine Anzahl von Bildaufnahmen als eine Bildfolge aufgenommen und in einer Recheneinheit (nicht gezeigt) gespeichert (Kasten c). In den Bildaufnahmen der Bildfolge wird mindestens jeweils eine kennzeichnende Kontur jedes Fahrzeugs oder jeweils eines Fahrzeugbereichs erkannt. In einer weiteren Ausführung des Verfahrens wird die Kontur in einigen ausgewählten Bildaufnahmen der Bildfolge erkannt und gespeichert. Mittels bekannter Bilderkennungsverfahren ist es möglich, eine relative Veränderung der Lage der Kontur bezüglich eines Bildkoordinatensystems zu beschreiben. Diejenigen Bilddaten, durch welche die Kontur beschrieben wird, werden aus den Bildaufnahmen der Bildfolge extrahiert und daraus ein Bilddatenextraktstrom gebildet und als gebildeter Bilddatenextraktstrom abrufbar gespeichert (Kasten d). Durch den gebildeten Bilddatenextraktstrom sind die beiden erfassten Fahrzeuge darstellbar (stark schematisiert als gewinkelte Pfeile dargestellt) Kasten e) darstellbar. Der gebildete Bilddatenextraktstrom wird einer Vergleichseinheit (durch Kasten f repräsentiert) übergeben und dort mit einem künstlichen Bilddatenextraktstrom (siehe weiter unten) verglichen.
Der Beitrag des Lagesensors bei der Durchführung des erfindungsgemäßen Verfahrens besteht darin, dass zu Messzeitpunkten in dem Sensorbereich Messgrößen erfasst und den Messzeitpunkten zugeordnet als Messdaten gespeichert werden. Durch die zeitliche Abfolge von erfassten Messdaten ist ein Messdatenstrom gegeben. Durch den Lagesensor, der ein Sensorkoordinatensystem mit einer Sensorachse aufweist, werden die Fahrzeuge im Sensorbereich erfasst und während ihrer Bewegung durch den Sensorbereich verfolgt (Tracking). Zu jedem Messzeitpunkt werden aus den Messdaten diejenigen Daten extrahiert, die jeweils einem der Fahrzeuge zuzuordnen sind. Die relative Lage der Fahrzeuge zum Sensorkoordinatensystem ist fortwährend durch Datentripel aus Winkel, Entfernung und Geschwindigkeit als Messdaten gegeben. Aus dem Messdatenstrom ist zudem eine Bewegungsbahn (Fahrspur, Spur) jedes Fahrzeugs ableitbar, die das jeweilige Fahrzeug während seiner Bewegung durch den Sensorbereich beschreibt. Damit ist es auch möglich, zwei oder mehr Fahrzeuge gleichzeitig zu verfolgen. Mittels des Lagesensors werden die beiden Fahrzeuge (siehe schematisch in Kasten j) verfolgt (Kasten i).
Für den Lagesensor werden geschätzte Lageparameter erstellt. Bei Beachtung der Aufstellvorschrift sind die Sensorachse und die optische Achse mit einer Relativlage zueinander angeordnet, die sich durch einen Rotationswinkel und einen räumlichen Versatz angeben lässt. Dabei können sowohl der Wert des Rotationswinkels als auch der Wert des räumlichen Versatzes nur innerhalb jeweils eines durch die Aufstellvorschrift definierten Bereiches liegen. Aus diesem Bereich wird ein geschätzter Rotationswinkel und ein geschätzter räumlicher Versatz gewählt (Kasten k2). Der Messdatenextraktstrom jedes Fahrzeugs wird konvertiert und das jeweilige Fahrzeug als ein 3D-Objekt dargestellt. Auf der Grundlage des geschätzten Rotationswinkels wird eine Rotation einer virtuellen Kamera durchgeführt und jedes 3D-Objekt mittels der virtuellen Kamera abgebildet, wodurch das 3D-Objekt in eine 2D-Fläche projiziert wird (Kasten 11 ). Außerdem kann das 3D-Objekt translatiert werden, um den geschätzten räumlichen Versatz zu berücksichtigen.
Für die virtuelle Kamera werden dieselben intrinsischen Parameter angenommen, die auch die Kamera (Kasten b) aufweist (Kasten 12). Dabei werden Datenpunkte des 3D-Objekts in Datenpunkte in der 2D-Fläche überführt. Da der Messdatenextraktstrom eine Anzahl von Messzeitpunkten umfasst, ist durch die Projektion eine Bewegungsbahn (Spur) des Fahrzeugs im Sensorbereich abgebildet (Kasten j). Die Datenpunkte in der 2D-Fläche ergeben einen künstlichen Bilddatenextraktstrom (Kasten m). Dieser künstliche Bilddatenextraktstrom wird an die Vergleichseinheit (Kasten f) übergeben und mit dem gebildeten Bilddatenstrom verglichen und in Übereinstimmung gebracht. Dabei wird erforderlichenfalls eine weitere Rotation um einen weiteren Rotationswinkel durchgeführt. Wird durch die weitere Rotation eine bessere Übereinstimmung der Bilddatenextraktströme erreicht, wird der weitere Rotationswinkel zur Korrektur des geschätzten Rotationswinkels verwendet. Außerdem wird erforderlichenfalls ein weiterer räumlicher Versatz ermittelt. Wird durch den weiteren räumlichen Versatz eine bessere Übereinstimmung der Bilddatenextraktströme erreicht, wird der weitere räumliche Versatz zur Korrektur des geschätzten räumlichen Versatzes verwendet.
Aus dem geschätzten und dem weiteren Rotationswinkel ergibt sich ein tatsächlich erforderlicher Rotationswinkel. Ebenso ergibt sich aus dem geschätzten räumlichen Versatz und dem weiteren räumlichen Versatz ein tatsächlich erforderlicher räumlicher Versatz. Der tatsächlich erforderliche Rotationswinkel und der tatsächlich erforderliche räumliche Versatz beschreiben als Lageparameter eine Relativlage der Koordinatensysteme zueinander. Anhand der Lageparameter ist eine Transformationsregel ableitbar, mittels welcher Punkte eines Koordinatensystems in Punkte des anderen Koordinatensystems umgerechnet werden können. In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens können die Bewegungsbahnen abgeleitet werden, indem erfasste Messdaten extrapoliert und Pseudomessdaten gebildet werden. Die Pseudomessdaten erlauben die Beschreibung von Bewegungsbahnen außerhalb des Sensorbereichs.

Claims

Patentansprüche
1 . Verfahren zur Kalibrierung einer Kamera mit einem Kamerakoordinatensystem zu einem in seiner räumlichen Beziehung zur Kamera unbekannten Lagesensor mit einem Sensorkoordinatensystem zur Erlangung der Kenntnis einer Relativlage der Koordinatensysteme zueinander, bei dem
- mit einer Kamera kontinuierlich Bilddaten von einem Objektfeld erfasst werden, aus denen ein Bilddatenstrom gebildet wird,
- mit einem Lagesensor kontinuierlich Messdaten von einem Sensorbereich erfasst werden, aus denen ein Messdatenstrom gebildet wird,
- aus dem Messdatenstrom die Messdaten wenigstens eines sich durch den Sensorbereich bewegenden Fahrzeuges als Messdatenextraktstrom extrahiert werden,
- aus dem Bilddatenstrom die Bilddaten, die einem Fahrzeug oder einem markanten Bereich eines Fahrzeuges entsprechen, als Bilddatenextraktstrom der Abbildung eines Fahrzeugs extrahiert werden,
- aus dem Messdatenextraktstrom über ein bekanntes Schätzverfahren ein künstlicher Bilddatenextraktstrom generiert wird und
- der künstliche Bilddatenextraktstrom mit dem gebildeten Bilddatenextraktstrom über ein bekanntes Fehlerrechnungsverfahren in Übereinstimmung gebracht und eine Transformationsregel abgeleitet wird, nach der Messdaten Bilddaten zugeordnet werden können und durch die Transformationsregel Kenntnis einer Relativlage der Koordinatensysteme zueinander erlangt wird.
PCT/DE2012/100393 2011-12-22 2012-12-20 Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor WO2013091626A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112012005369.9T DE112012005369A5 (de) 2011-12-22 2012-12-20 Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011056948.0 2011-12-22
DE102011056948A DE102011056948A1 (de) 2011-12-22 2011-12-22 Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor

Publications (1)

Publication Number Publication Date
WO2013091626A1 true WO2013091626A1 (de) 2013-06-27

Family

ID=47594168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2012/100393 WO2013091626A1 (de) 2011-12-22 2012-12-20 Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor

Country Status (2)

Country Link
DE (2) DE102011056948A1 (de)
WO (1) WO2013091626A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
DE102017109039A1 (de) 2017-04-27 2018-10-31 Sick Ag Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
CN108597234A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于高分辨率雷达的智能交通检测仪
FR3096786B1 (fr) * 2019-05-27 2021-05-14 Idemia Identity & Security France Procédé et dispositif de configuration d’un radar routier

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1760491A2 (de) * 2005-09-02 2007-03-07 Delphi Technologies, Inc. Verfahren zur Kalkulation unbekannter Parameter für Fahrzeugobjekterkennungssysteme
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
DE102009013667A1 (de) 2009-03-24 2010-09-30 Jenoptik Robot Gmbh Verfahren zur Herstellung einer bekannnten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
DE102004033114A1 (de) * 2004-07-08 2006-01-26 Ibeo Automobile Sensor Gmbh Verfahren zur Kalibrierung eines Abstandsbildsensors
DE102010012811B4 (de) * 2010-03-23 2013-08-08 Jenoptik Robot Gmbh Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1760491A2 (de) * 2005-09-02 2007-03-07 Delphi Technologies, Inc. Verfahren zur Kalkulation unbekannter Parameter für Fahrzeugobjekterkennungssysteme
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
DE102009013667A1 (de) 2009-03-24 2010-09-30 Jenoptik Robot Gmbh Verfahren zur Herstellung einer bekannnten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung

Also Published As

Publication number Publication date
DE102011056948A1 (de) 2013-06-27
DE112012005369A5 (de) 2014-08-28

Similar Documents

Publication Publication Date Title
EP2234081B1 (de) Verfahren zur Herstellung einer bekannten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung
EP2993450B1 (de) Verfahren und anordnung zur erfassung von akustischen und optischen informationen sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE10219054B4 (de) Verfahren und Vorrichtung zur Bestimmung der räumlichen Koordinaten eines Gegenstandes
DE102004033114A1 (de) Verfahren zur Kalibrierung eines Abstandsbildsensors
DE102010012811B4 (de) Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten
WO2008083869A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
DE102007020791A1 (de) Fahrspurmarkierungs-Erkennungsvorrichtung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
EP2189349A2 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
EP2573512A2 (de) Verfahren und Anordnung zur Bestimmung der Lage eines Messpunktes im geometrischen Raum
EP1460454B1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE69829091T2 (de) Messungsgerät
WO2013124056A1 (de) Vorrichtung zur berührungslosen temperaturmessung und temperaturmessverfahren
WO2013091626A1 (de) Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor
EP3642560A1 (de) System, verfahren und marker zur positionsbestimmung eines beweglichen objektes im raum
DE102007021106B4 (de) Verfahren und Vorrichtung zum Kalibrieren eines Kamerasystems
DE102014219423B4 (de) Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe
WO2018133890A1 (de) Verfahren und vorrichtung zum erzeugen eines 3d-thermogramms
DE102017115587A1 (de) Verfahren zum Bestimmen einer räumlichen Unsicherheit in Bildern eines Umgebungsbereiches eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102011001475B4 (de) Verfahren und Vorrichtungen zur Positionsbestimmung
DE102014204360A1 (de) Verfahren sowie Vorrichtung zur Abschätzung des Abstandes eines in Bewegung befindlichen Fahrzeuges von einem Objekt
DE102016009756A1 (de) Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
DE102005005242A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
DE102010042821B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102012102600B3 (de) Verfahren zur Verifizierung der Ausrichtung eines Verkehrsüberwachungsgerätes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12816449

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120120053699

Country of ref document: DE

Ref document number: 112012005369

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112012005369

Country of ref document: DE

Effective date: 20140828

122 Ep: pct application non-entry in european phase

Ref document number: 12816449

Country of ref document: EP

Kind code of ref document: A1