WO2020169607A1 - Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug - Google Patents

Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug Download PDF

Info

Publication number
WO2020169607A1
WO2020169607A1 PCT/EP2020/054246 EP2020054246W WO2020169607A1 WO 2020169607 A1 WO2020169607 A1 WO 2020169607A1 EP 2020054246 W EP2020054246 W EP 2020054246W WO 2020169607 A1 WO2020169607 A1 WO 2020169607A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera unit
motor vehicle
camera
optical flow
edges
Prior art date
Application number
PCT/EP2020/054246
Other languages
English (en)
French (fr)
Inventor
Thomas Smits
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2020169607A1 publication Critical patent/WO2020169607A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to a method for calibrating a mobile camera unit of a camera system for a motor vehicle, in particular a commercial vehicle.
  • ADAS systems In the field of motor vehicles, single or multi-camera systems are finding an increasingly broad range of applications. In addition to pure comfort systems to improve the driver's vision, these offer alternative or additional driver assistance functions (ADAS systems), or are called
  • Camera monitor systems are used as mirror replacement systems.
  • Camera units of such systems can be operated individually or in combination.
  • the majority of the camera units are stationary on the respective one
  • the tolerances of the mounting positions are usually adjusted during production.
  • Particularly in camera systems in which viewing areas of different camera units are combined with one another for example by stitching in surround view systems, it is known to align the camera units with high precision, for example with large calibration patterns on the floor on which the motor vehicle is located. This process is carried out in production, for example.
  • the known camera systems therefore require fixed, explicitly known and calibrated positions of the camera units.
  • the object of the invention is therefore to propose a method for calibrating a mobile camera unit.
  • This task is performed using a method with the combination of features
  • a camera system for a motor vehicle in which the camera unit is designed to detect an optical flow, are the following steps
  • the camera unit can function without explicit calibration in production or in a workshop.
  • the camera unit determines its own position parameters on the motor vehicle and can use their local
  • Coordinates are transmitted to a central processing unit of the motor vehicle, for example a mirror replacement system.
  • the central processing unit can then transform the local coordinates of the camera unit into system coordinates and thus integrate the data from the camera unit with appropriate stitching.
  • the motor vehicle can be, for example, a utility vehicle such as a truck, a bus, a construction machine, an agricultural machine or a car.
  • the mobile camera unit can, for example, be a camera with a fisheye lens, the optical lens of which has an opening angle> 180 °.
  • the camera unit can “look” to the side to such an extent that it can “see” at least two edges of the rear wall surface of the trailer, for example when mounted on a rear wall of a truck trailer. It is also possible for the camera unit to be arranged in such a way that it can “see” all edges of the rear wall, in particular four edges.
  • Classic image processing methods can be used for static detection of the position parameters of the at least two edges. For example, a horizontal edge of a body / suitcase of the trailer or horizontal edges of a bumper of the motor vehicle can be used for this, which do not move relative to the camera unit and thus a static edge
  • the camera can through
  • Image capture capture the optical flow image and thus detect position parameters of the at least two edges that move dynamically.
  • the position parameters of the at least two edges thus detected statically on the one hand and dynamically on the other hand from the optical flow are then superimposed or merged. From the merger of these two types of
  • Position parameters can be used to determine the actual position parameters of the two relevant edges with a significantly higher level of security and precision
  • Camera unit are calculated on the surface of the motor vehicle.
  • the camera unit thus independently determines a local position on the surface of the motor vehicle to which it is attached.
  • the position is one
  • Camera system in which the field of vision or the camera functionality itself is to be integrated.
  • the camera system can then perform a precise integration of the camera unit into the entire camera system from the combination of the transmitted parameters and its own known or determined parameters.
  • a spatial position “below” relative to the camera unit is advantageously detected by detecting a surface on which the
  • the accelerometer is part of the
  • the acceleration sensor can be, for example, a 3 or 6-axis acceleration sensor via which the
  • Camera unit can determine where "down” is. This is done using the
  • Gravitational acceleration by means of which the acceleration sensor can determine the orientation of an image sensor of the camera unit around a Z-axis that is perpendicular to the ground.
  • the optical flow for the subsurface is preferably recorded first.
  • the camera unit After the camera unit knows where “down” is by detecting the spatial position, it can determine the optical flow for the subsurface, in particular the floor on which the motor vehicle is moving.
  • the camera unit can optionally detect whether the motor vehicle is being accelerated or decelerated in order to be able to determine the optical flow more precisely.
  • the camera unit can also receive data from the motor vehicle if, for example, a receiver is coupled to a BUS system of the motor vehicle.
  • the optical flow is advantageously recorded from at least one further spatial position “right”, “left” and / or “above” relative to the camera unit.
  • An image analysis device is advantageously provided which is designed to recognize the at least two edges, in particular more than two edges, of the motor vehicle on the basis of a jump in the detected optical flow. If the optical flow is detected in several spatial positions as described above, it can thus be recognized in which spatial position a corresponding edge can be found. Thus, for example, trailer edges of a body of a motor vehicle in a truck can be recognized by evaluating the optical flow, since a jump in the optical flow forms at the trailer edges. In the area behind the edges, which are covered by the trailer and can no longer be seen through the optics of the camera unit, the optical flow is in principle zero.
  • a trajectory of the motor vehicle in motion is determined from the optical flow of several spatial positions and the recorded data relating to the optical flows of the several spatial positions is determined with the aid of a
  • Vehicle can be determined. Since the actual trajectory of the motor vehicle is stored in the central processing unit, it is possible to use a
  • an above-described method for calibrating a mobile camera unit is carried out.
  • An advantageous camera monitor system with a mobile camera unit and a central processing unit is designed in particular to carry out a method as described above.
  • Fig.1 is a plan view from above of a motor vehicle with a
  • System coordinate system comprising a mobile camera unit having local coordinates
  • FIG. 2 shows an enlarged plan view from above of the motor vehicle from FIG. 1 with a mobile camera unit which has a fish-eye lens and thus has an opening angle of> 180 °;
  • FIG. 3 shows a view from behind of the motor vehicle from FIG. 1 with a mobile
  • FIG. 4 shows a perspective view of the motor vehicle from FIG.
  • FIGS. 1 to 3 shows a schematic flow diagram of a method for calibrating the mobile camera unit from FIGS. 1 to 3;
  • FIG. 6 shows a schematic representation of a computing unit in which the method according to FIG. 5 can be carried out.
  • FIG. 1 shows a plan view of a motor vehicle 10, which is shown here as a truck 12 with a tractor 14 and a trailer 16. On the trailer 16,
  • FIG. 1 the viewing area 26 of one of the mirror replacement cameras 24 and the viewing area 28 of the mobile camera unit 20 are shown in cross section.
  • the overall system 30 made up of the truck 12 and the associated camera system 22 defines a system coordinate system 32 with the system coordinates xs, ys, zs.
  • the mobile camera unit 20 can be fastened at different positions p, the positions p being defined by local ones
  • the camera unit 20 can be attached to one of the surfaces 18 of the motor vehicle 10 at various positions p, it is important that this position p, defined by the local coordinates x, y, z, is known and to which
  • Camera system 22 can be transmitted, and so to integrate the mobile camera unit 20 into the camera system 22 by transforming the local coordinates x, y, z of the mobile camera unit 20 into system coordinates xs, ys, zs and thus realizing an integration, for example with appropriate stitching can be. This is made possible by the mobile camera unit 20 being enabled to independently determine its local position p on the motor vehicle 10.
  • FIG. 2 shows a plan view of the motor vehicle 10 from FIG. 1 in an enlarged illustration in the area of the mobile camera unit 20, which is fastened to the rear surface 18.
  • the camera is formed with a fish-eye lens.
  • Fisheye lens 34 has an opening angle of> 180 °, so that when it is mounted on the rear surface 18 of the trailer 16 of the motor vehicle 10, it can “see” all the edges 38 of the trailer 16. Since FIG. 2 shows a top view from above and thus essentially a cross-sectional view, only the edge 38 above the fisheye lens 34 can be seen schematically here, but the fisheye lens 34 can of course also capture the edges on the left, right and below.
  • FIG 3 shows a view from behind of the trailer 16 of the truck 12, which is located on a ground 40.
  • all four edges 38 can be seen - viewed relative to the mobile camera unit 20, “below”, “above”, “right”, “left”. The distances au, ao, ar and al of these edges 38 to the mobile
  • Camera unit 20 are shown with dashed arrows.
  • the mobile camera unit 20 can set these distances au, ao, ar, al statically
  • the mobile camera unit 20 is able, as is clearly shown in the perspective view in FIG. 4, to capture an optical flow 42 when the truck 12 is in motion.
  • the mobile camera unit 20 can detect the optical flow 42 for all spatial positions 44 “below”, “above”, “right” and “left” relative to the camera unit 20.
  • the data on the optical flow 42, which the mobile camera unit 20 has captured, is sent to an image analysis device 46 shown in FIG. 3 and evaluated, based on of a jump in the respectively detected optical flow 42 for the four spatial positions 44, the edges 38 can be recognized. This makes it possible to detect dynamic position parameters pud, pod, prd, pld of the edges 38.
  • the camera unit 20 has one
  • Acceleration sensor 48 which is a 3 or 6-axis
  • Accelerometer 48 can be. Via this acceleration sensor 48, the mobile camera unit 20 can use the acceleration due to gravity to determine where the spatial position 44 “below” is. When capturing the optical flow 42, the camera unit 20 therefore knows that this is the optical flow 42 of the spatial position “below” and thus that of the subsurface 40.
  • acceleration data of the moving motor vehicle 10 it is possible to use acceleration data of the moving motor vehicle 10 as an aid and thus to detect whether the motor vehicle 10 is being accelerated or decelerated.
  • the detected optical flow 42 for the underground 40 can thus be determined even more precisely.
  • the optical flow 42 for the remaining spatial positions 44 “right”, “left”, “above” can thus also be precisely determined.
  • the static position parameters pus, pos, prs, pls and the dynamic position parameters pud, pod, prd, pld are now available, which can then be superimposed or merged.
  • the actual position parameters can be obtained from the fusion of these position parameters, some of which may still be incomplete or occasionally incorrect or ambiguous
  • the static detection for the lower edge 38 of the trailer 16 takes place with the aid of a horizontal edge 38 of a structure 50 of the trailer 16, but it is also possible to use the horizontal edges 38 also shown in FIG To connect the bumper 52, which are located below.
  • the distances ou, oo, or, ol are also shown in FIG. 3 drawn, which have been determined dynamically via the optical flow 42. Here you can see that ou is different from au.
  • the distance ou to the ground 40 immediately behind the trailer 16 is determined. This distance ou also reflects the height of the attached camera unit 20.
  • the distances ao, ar, al are each identical to the distances oo, or, ol. However, it is also possible that these distances also differ from one another and can therefore also be checked for plausibility or corrected by merging the data.
  • the local coordinates x, y, z of the camera unit 20 can thus be determined with the aid of intrinsic parameters of the camera unit 20, which are known. These are then sent for further processing to a central processing unit 54 of the entire camera system 22 shown in FIG. 6.
  • the motor vehicle 10 When the motor vehicle 10 is in motion, it follows a certain trajectory 56, which is shown in FIG. 4.
  • the data that are captured by the camera unit 20 correlate with one another, so that the movement or trajectory 56 of the motor vehicle 10 can also be determined therefrom.
  • the trajectory 56 determined from the camera data By comparing the trajectory 56 determined from the camera data with the actual trajectory 56 of the motor vehicle 10, all the data obtained can be checked for plausibility and filtered in order to obtain a more robust information base.
  • FIG. 6 shows a camera system 22, which can for example be an ADAS system or a simple multi-camera system, but in the present embodiment is a camera monitor system 58 (mirror replacement system) which has the mobile camera unit 20 and in which the method is carried out to calibrate the mobile camera unit 20 in order to be able to operate the camera system 22 as a whole.
  • the schematic illustration in FIG. 6 shows, in addition to the mobile camera unit 20, which can be flexibly attached to the motor vehicle 10, also a permanently installed camera unit 60, both camera units 20, 60 supplying camera data to the camera system 22.
  • the one from the mobile camera unit 20 which can be flexibly attached to the motor vehicle 10
  • a permanently installed camera unit 60 both camera units 20, 60 supplying camera data to the camera system 22.
  • the data supplied to the camera unit 20 are evaluated in a first computing unit 62 with regard to the static position parameters pus, pos, prs, pls.
  • the camera system 22 further comprises a second computing unit 64, which is operated by the
  • Image analysis device 46 is formed, and via which the dynamic position parameters pud, pod, prd, pld are calculated from the respective optical flows 42.
  • the data ascertained in the two arithmetic units 62, 64 are transmitted to a third arithmetic unit 66, which from the central arithmetic unit 54 receives further data on the trajectory 56 of the motor vehicle 10 and additionally
  • Acceleration data 68 is received. From this, the third computing unit 66 can calculate the local coordinates x, y, z of the mobile camera unit 20 and transmit them to the central computing unit 54. The central processing unit 54 processes these determined local coordinates x, y, z and can then display the images captured by the camera unit 20 on a monitor 70, together with images provided by the camera unit 60 in system coordinates xs, ys, zs.
  • the computing units 62, 64, 66 can also be contained in the mobile camera unit 20 in an alternative embodiment.
  • the individual steps can then take place on the mobile camera unit 20 and / or on the central processing unit 54, for example a motor vehicle ECU, depending on the system design.
  • the mobile camera unit 20 can determine the local coordinates x, y, z completely independently. With the aid of known optical properties of the camera unit 20 and its optics, the areas of interest can be optimized, for example by restricting a search area.
  • optical flow 42 for the various spatial positions 44 and the geometric calculations are carried out in a normalized manner and after the step of lens rectification. However, it can also be the case that these calculations are made with non-rectified data.
  • the method described is particularly interesting for a mobile one
  • Camera system 22 with changing trailers 16 or attached machines. There is an optimal integration of the camera unit 20 in multi-camera /
  • Multi-field of view systems made possible. This avoids the need for calibration in the workshop.
  • System coordinate system can be stored dynamically.
  • the method naturally also enables the calibration of statically mounted cameras, for example rear-view cameras, and can also be used with optics with an opening angle of> 180 ° in just one plane.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer mobilen Kameraeinheit (20) eines Kamerasystems (22), wobei statische Positionsparameter (pus, pos, prs, pls) mit dynamischen Positionsparametern (pud, pod, prd, pld) von wenigstens zwei Kanten (38) fusioniert und daraus lokale Koordinaten (x, y, z) der Kameraeinheit (20) berechnet werden.

Description

Beschreibung
Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
Die Erfindung betriff ein Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug, insbesondere eines Nutzfahrzeuges.
Im Bereich von Kraftfahrzeugen finden Einzel- bzw. Multikamerasysteme ein zunehmend breiteres Anwendungsspektrum. Neben reinen Komfortsystemen zur Verbesserung der Sicht des Fahrers bieten diese alternativ oder ergänzend Fahrassistenzfunktion (ADAS-Systeme), oder werden als
Kamera-Monitor-Systeme als Spiegelersatz-Systeme eingesetzt. Die
Kameraeinheiten solcher Systeme können einzeln oder im Verbund betrieben werden.
Die überwiegende Zahl der Kameraeinheiten ist ortsfest an dem jeweiligen
Kraftfahrzeug installiert. Dabei werden die Toleranzen der Anbaupositionen (extrinsische Parameter) meist bei der Fertigung abgeglichen. Insbesondere bei Kamerasystemen, bei denen Sichtbereiche verschiedener Kameraeinheiten miteinander kombiniert werden (beispielsweise per Stitching bei Surround View Systemen) ist es bekannt, die Kameraeinheiten hochgenau beispielsweise mit großen Kalibriermustern auf dem Boden, auf dem sich das Kraftfahrzeug befindet, auszurichten. Dieser Prozess wird beispielsweise in der Fertigung durchgeführt.
Eine Veränderung der Positionen der Kameraeinheiten, beispielsweise durch mechanische, thermische oder sonstige Beeinflussung, erfordert zumeist eine Rekalibrierung in der Werkstatt.
Die bekannten Kamerasysteme setzen daher feste, explizit bekannte und kalibrierte Positionen der Kameraeinheiten voraus. Wünschenswert wäre es jedoch, eine mobile Kameraeinheit auch temporär an einem Kraftfahrzeug anbringen und in einem Kamerasystem des Kraftfahrzeuges nutzen zu können.
Aufgabe der Erfindung ist es daher, ein Verfahren zum Kalibrieren einer mobilen Kameraeinheit vorzuschlagen.
Diese Aufgabe wird mit einem Verfahren mit der Merkmalskombination des
Anspruches 1 gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Bei einem Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines
Kamerasystems für ein Kraftfahrzeug, bei dem die Kameraeinheit zum Erfassen eines optischen Flusses ausgebildet ist, werden die folgenden Schritte
durchgeführt:
- Befestigen der mobilen Kameraeinheit an einer beliebigen Position an einer Fläche des Kraftfahrzeuges derart, dass wenigsten zwei senkrecht zueinander angeordnete Kanten der Fläche in einem Sichtbereich der Kameraeinheit liegen;
- Statisches Detektieren von statischen Positionsparametern der wenigstens zwei Kanten;
- Dynamisches Detektieren von dynamischen Positionsparameter der
wenigstens zwei Kanten mithilfe des erfassten optischen Flusses;
- Fusionieren der statischen Positionsparameter mit den dynamischen
Positionsparametern zu tatsächlichen Positionsparametern;
- Berechnung von lokalen Koordinaten der Kameraeinheit auf Basis der
ermittelten tatsächlichen Positionsparameter und intrinsischer Parameter der Kameraeinheit;
- Übermitteln der lokalen Koordinaten an eine zentrale Recheneinheit des Kamerasystems. Mit diesem Verfahren ist es möglich, eine mobile Kameraeinheit mit einem
Kamerasystem eines Kraftfahrzeuges zu kombinieren und die mobile
Kameraeinheit temporär an das Kraftfahrzeug anzubringen (beispielsweise per Magnet), wobei die Kameraeinheit ohne explizite Kalibrierung in der Fertigung oder in einer Werkstatt funktionieren kann. Dabei ermittelt die Kameraeinheit ihre eigenen Positionsparameter an dem Kraftfahrzeug und kann ihre lokalen
Koordinaten an eine zentrale Recheneinheit des Kraftfahrzeuges, beispielsweise ein Spiegelersatzsystem, übertragen. Die zentrale Recheneinheit kann dann die lokalen Koordinaten der Kameraeinheit in Systemkoordinaten transformieren und somit eine Integration der Daten aus der Kameraeinheit mit entsprechendem Stitching realisieren.
Bei dem Kraftfahrzeug kann es sich beispielsweise um ein Nutzfahrzeug wie einen LKW, einen Bus, eine Baumaschine, eine Landmaschine oder einen PKW handeln.
Die mobile Kameraeinheit kann beispielsweise eine Kamera mit Fischaugenlinse sein, deren optische Linse über einen Öffnungswinkel > 180° verfügt. Hierdurch kann die Kameraeinheit soweit zur Seite„schauen“, dass sie beispielsweise montiert auf eine Rückwand eines LKW-Anhängers wenigstens zwei Kanten der Rückwandfläche des Anhängers„sehen“ kann. Es ist auch möglich, dass die Kameraeinheit so angeordnet ist, dass sie sämtliche Kanten der Rückwand, insbesondere vier Kanten,„sehen“ kann.
Beim statischen Detektieren der Positionsparameter der wenigstens zwei Kanten können klassische Image Processing Methoden verwendet werden. Beispielsweise können hierfür eine waagrechte Kante eines Aufbaus/Koffers des Anhängers oder waagrechte Kanten eines Stoßfängers des Kraftfahrzeuges verwendet werden, die sich relativ zu der Kameraeinheit nicht bewegen und somit ein statisches
Detektieren von Positionsparametern ermöglichen.
Befindet sich das Kraftfahrzeug in Bewegung, kann die Kamera durch
Bilderfassung den optischen Fluss Bild erfassen und somit Positionsparameter der wenigstens zwei Kanten, die sich dynamisch bewegen, detektieren. Die somit einerseits statisch und andererseits aus dem optischen Fluss dynamisch detektierten Positionsparameter der wenigstens zwei Kanten werden dann überlagert bzw. fusioniert. Aus der Fusion dieser beiden Arten von
Positionsparametern lassen sich die tatsächlichen Positionsparameter der beiden betreffenden Kanten mit einer deutlich höheren Sicherheit und Präzision
bestimmen. Da intrinsische Parameter der Kameraeinheit bekannt sind, können anhand der Positionsparameter der beiden Kanten die Abstände der Kameraeinheit zu den beiden Kanten bestimmt und somit die lokalen Koordinaten der
Kameraeinheit an der Fläche des Kraftfahrzeuges berechnet werden.
Die Kameraeinheit ermittelt somit eigenständig eine lokale Position an der Fläche des Kraftfahrzeuges, an der sie angebracht ist. Die Position ist dabei eine
Kombination aus mehreren korrelierten Parametern, die die Kameraeinheit eigeständig ermitteln kann. Dieser Satz von Parametern wird dann einem
Gesamtsystem, insbesondere einer zentralen Recheneinheit eines
Kamerasystems, übermittelt, in welche der Sichtbereich beziehungsweise die Kamerafunktionalität selbst integriert werden soll. Das Kamerasystem kann dann aus der Kombination der übermittelten Parameter und eigener bekannter beziehungsweise ermittelter Parameter eine präzise Integration der Kameraeinheit in das gesamte Kamerasystem vornehmen.
Vorteilhaft wird vor dem dynamischen Detektieren eine Raumlage„unten“ relativ zur Kameraeinheit durch Erfassen eines Untergrundes detektiert, auf dem das
Kraftfahrzeug angeordnet ist, wobei dazu die Hilfe eines Beschleunigungssensors in Anspruch genommen wird. Der Beschleunigungssensor ist Teil des
Kamerasystems und kann beispielsweise an der mobilen Kameraeinheit angeordnet sein. Der Beschleunigungssensor kann beispielsweise ein 3- beziehungsweise 6-Achsen-Beschleunigungssensor sein, über den die
Kameraeinheit bestimmen kann, wo„unten“ ist. Dies erfolgt anhand der
Erdbeschleunigung, mittels derer der Beschleunigungssensor die Orientierung eines Bildsensors der Kameraeinheit um eine Z-Achse, die senkrecht auf dem Untergrund steht, ermitteln kann. Vorzugsweise wird zunächst der optische Fluss für den Untergrund erfasst.
Nachdem die Kameraeinheit durch Detektion der Raumlage weiß, wo„unten“ ist, kann sie den optischen Fluss für den Untergrund, insbesondere des Bodens, auf dem sich das Kraftfahrzeug bewegt, ermitteln.
Vorteilhaft wird der erfasste optische Fluss unter Zuhilfenahme von
Beschleunigungsdaten des sich bewegenden Kraftfahrzeuges präzisiert. Die Kameraeinheit kann optional detektieren, ob das Kraftfahrzeug beschleunigt oder abgebremst wird, um so den optischen Fluss präziser bestimmen zu können.
Optional kann die Kameraeinheit jedoch auch Daten des Kraftfahrzeuges empfangen, wenn beispielsweise ein Empfänger mit einem BUS-System des Kraftfahrzeuges gekoppelt ist.
Vorteilhaft wird der optische Fluss von wenigstens einer weiteren Raumlage „rechts“,„links“ und/oder„oben“ relativ zu der Kameraeinheit erfasst.
Vorteilhaft wird eine Bildanalyseeinrichtung bereitgestellt, die dazu ausgebildet ist, anhand eines Sprunges in dem erfassten optischen Fluss die wenigstens zwei Kanten, insbesondere mehr als zwei Kanten, des Kraftfahrzeuges zu erkennen. Wird der optische Fluss in mehreren Raum lagen wie oben beschrieben erfasst, kann somit erkannt werden, in welcher Raumlage eine entsprechende Kante zu finden ist. Somit können beispielsweise Anhängerkanten eines Aufbaues eines Kraftfahrzeuges bei einem LKW mittels Auswertung des optischen Flusses erkannt werden, da sich an den Anhängerkanten ein Sprung im optischen Fluss bildet. Im Bereich hinter den Kanten, die durch den Anhänger verdeckt werden und durch die Optik der Kameraeinheit nicht mehr eingesehen werden können, ist der optische Fluss dagegen prinzipiell Null.
Vorteilhaft wird aus dem optischen Fluss mehrerer Raumlagen eine Trajektorie des sich in Bewegung befindlichen Kraftfahrzeugs bestimmt und die erfassten Daten bezüglich der optischen Flüsse der mehreren Raumlagen mithilfe einer
tatsächlichen Trajektorie des sich in Bewegung befindlichen Kraftfahrzeuges plausibilisiert. Aus der Korrelation der erfassten Daten bezüglich der optischen Flüsse zueinander kann die Bewegung beziehungsweise Trajektorie des
Fahrzeugs bestimmt werden. Da in der zentralen Recheneinheit die tatsächliche Trajektorie des Kraftfahrzeuges hinterlegt ist, ist es möglich, somit eine
Plausibilisierung und Filterung aller gewonnenen Daten durchzuführen und damit eine robustere Informationsbasis zu erhalten, auf deren Grundlage die
interessierenden Kanten des Kraftfahrzeuges erkannt werden können.
Bei einem vorteilhaften Verfahren zum Betreiben eines insbesondere für ein Kraftfahrzeug ausgebildeten, eine mobile Kameraeinheit aufweisenden Kamera- Monitor-Systems beziehungsweise eines Multikamerasystems beziehungsweise eines ADAS-Systems wird ein oben beschriebenes Verfahren zum Kalibrieren einer mobilen Kameraeinheit durchgeführt.
Ein vorteilhaftes Kamera-Monitor-System mit einer mobilen Kameraeinheit und einer zentralen Recheneinheit ist insbesondere dazu ausgebildet, ein Verfahren wie oben beschrieben durchzuführen.
Eine vorteilhafte Ausgestaltung der Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Darin zeigt:
Fig.1 eine Draufsicht von oben auf ein Kraftfahrzeug mit einem
Systemkoordinatensystem, das eine mobile Kameraeinheit aufweist, welche lokale Koordinaten aufweist;
Fig. 2 eine vergrößerte Draufsicht von oben auf das Kraftfahrzeug aus Fig.1 mit mobiler Kameraeinheit, die eine Fischaugen-Linse aufweist und somit über einen Öffnungswinkel von > 180° verfügt;
Fig. 3 eine Ansicht von hinten auf das Kraftfahrzeug aus Fig. 1 mit mobiler
Kameraeinheit; Fig. 4 eine perspektivische Ansicht auf das Kraftfahrzeug aus Fig. 1 zum
Veranschaulichen eines optischen Flusses;
Fig. 5 ein schematisches Flussdiagramm eines Verfahrens zum Kalibrieren der mobilen Kameraeinheit aus Fig. 1 bis 3;
Fig. 6 eine schematische Darstellung einer Recheneinheit, in der das Verfahren gemäß Fig. 5 durchgeführt werden kann.
Fig.1 zeigt eine Draufsicht auf ein Kraftfahrzeug 10, das hier als ein LKW 12 mit Zugmaschine 14 und Anhänger 16 dargestellt ist. An dem Anhänger 16,
insbesondere an einer rückseitigen Fläche 18, ist eine mobile Kameraeinheit 20 befestigt, die Teil eines Kamerasystems 22 ist, zu dem auch an der Zugmaschine 14 befestigte Spiegelersatzkameras 24 gehören.
In Fig. 1 sind der Sichtbereich 26 einer der Spiegelersatzkameras 24 sowie der Sichtbereich 28 der mobilen Kameraeinheit 20 im Querschnitt dargestellt.
Das Gesamtsystem 30 aus LKW 12 und zugehörigem Kamerasystem 22 definiert ein Systemkoordinatensystem 32 mit den Systemkoordinaten xs, ys, zs. In diesem Systemkoordinatensystem 32 ist die mobile Kameraeinheit 20 an unterschiedlichen Positionen p befestigbar, wobei die Positionen p definiert sind durch lokale
Koordinaten x, y, z der Kameraeinheit 20.
Da die Kameraeinheit 20 an verschiedenen Positionen p an einer der Flächen 18 des Kraftfahrzeuges 10 befestig werden kann, ist es wichtig, dass diese Position p, definiert durch die lokalen Koordinaten x, y, z, bekannt ist und an das
Kamerasystem 22 übertragen werden kann, und so die mobile Kameraeinheit 20 in das Kamerasystem 22 zu integrieren, indem die lokalen Koordinaten x, y, z der mobilen Kameraeinheit 20 in Systemkoordinaten xs, ys, zs transformiert werden und somit eine Integration beispielsweise mit entsprechendem Stiching realisiert werden kann. Dies wird dadurch ermöglicht, dass die mobile Kameraeinheit 20 in die Lage versetzt wird, eigenständig ihre lokale Position p an dem Kraftfahrzeug 10 zu ermitteln.
Fig. 2 zeigt eine Draufsicht auf das Kraftfahrzeug 10 aus Fig.1 in einer vergrößerten Darstellung im Bereich der mobilen Kameraeinheit 20, die an der rückseitigen Fläche 18 befestigt ist. Wie anhand einem schematisch dargestellten Strahlengang 36 zu sehen ist, ist die Kamera mit einer Fischaugenlinse gebildet. Die
Fischaugenlinse 34 verfügt über einen Öffnungswinkel von > 180°, sodass sie, wenn sie auf der rückwärtigen Fläche 18 des Anhängers 16 des Kraftfahrzeuges 10 montiert ist, sämtliche Kanten 38 des Anhängers 16„sehen“ kann. Da Fig. 2 eine Draufsicht von oben und somit im Wesentlichen eine Querschnittdarstellung zeigt, ist schematisch hier nur die Kante 38 oberhalb der Fischaugenlinse 34 zu sehen, die Fischaugenlinse 34 kann jedoch selbstverständlich auch die Kanten links, rechts und unten erfassen.
Fig. 3 zeigt eine Ansicht von hinten auf den Anhänger 16 des LKW 12, der sich auf einem Untergrund 40 befindet. In dieser Ansicht von hinten sind alle vier Kanten 38 - relativ gesehen zur mobilen Kameraeinheit 20,„unten“,„oben“,„rechts“,„links“ - zu sehen. Die Abstände au, ao, ar und al dieser Kanten 38 zu der mobilen
Kameraeinheit 20 sind mit gestrichelten Pfeilen eingezeichnet.
Diese Abstände au, ao, ar, al kann die mobile Kameraeinheit 20 statisch
detektieren. Sie erhält so statische Positionsparameter pus, pos, prs, pls der Kanten 38, die sie über klassische Image Processing Methoden erfasst.
Gleichzeitig ist die mobile Kameraeinheit 20 in der Lage, wie in Fig. 4 in der perspektivischen Ansicht anschaulich dargestellt ist, einen optischen Fluss 42 zu erfassen, wenn sich der LKW 12 in Bewegung befindet. Die mobile Kameraeinheit 20 kann dabei den optischen Fluss 42 für sämtliche Raumlagen 44„unten“,„oben“, „rechts“ und„links“ relativ zu der Kameraeinheit 20 erfassen. Die Daten zum optischen Fluss 42, die die mobile Kameraeinheit 20 erfasst hat, werden an eine in Fig. 3 gezeigte Bildanalyseeinrichtung 46 gesendet und ausgewertet, wobei anhand eines Sprunges in dem jeweils erfassten optischen Fluss 42 für die vier Raumlagen 44 die Kanten 38 erkannt werden können. Dadurch ist es möglich, dynamische Positionsparameter pud, pod, prd, pld der Kanten 38 zu detektieren.
Wie in Fig. 3 zu sehen, verfügt die Kameraeinheit 20 über einen
Beschleunigungssensor 48, der ein 3-beziehungsweise 6-Achsen
Beschleunigungssensor 48 sein kann. Über diesen Beschleunigungssensor 48 kann die mobile Kameraeinheit 20 mit Hilfe der Erdbeschleunigung bestimmen, wo die Raumlage 44„unten“ sich befindet. Die Kameraeinheit 20 weiß daher beim Erfassen des optischen Flusses 42, dass es sich dabei um den optischen Fluss 42 der Raumlage„unten“ und somit den des Untergrundes 40 handelt. Hier ist es möglich, Beschleunigungsdaten des sich bewegenden Kraftfahrzeuges 10 zu H ilfe zu nehmen und somit zu erfassen, ob das Kraftfahrzeug 10 beschleunigt oder abgebremst wird. Somit kann der erfasste optische Fluss 42 für den Untergrund 40 noch präziser bestimmt werden. Damit kann auch der optische Fluss 42 für die restlichen Raumlagen 44„rechts“,„links“,„oben“ präzise bestimmt werden.
Es stehen demgemäß nun die statischen Positionsparameter pus, pos, prs, pls und die dynamischen Positionsparameter pud, pod, prd, pld zur Verfügung, die dann überlagert beziehungsweise fusioniert werden können. Aus der Fusion dieser Positionsparameter, die zum Teil noch lückenhaft oder vereinzelt fehlerhaft beziehungsweise mehrdeutig sein können, lassen sich die tatsächlichen
Positionsparameter put, pot, prt, plt mit einer deutlich höheren Sicherheit und Präzision bestimmen.
In dem in Fig. 3 gezeigten Ausführungsbeispiel erfolgt das statische Detektieren für die untere Kante 38 des Anhängers 16 mit Hilfe einer waagerechten Kante 38 eines Aufbaus 50 des Anhängers 16, es ist jedoch auch möglich, die ebenfalls in Fig. 3 gezeigten waagerechten Kanten 38 eines Stoßfängers 52, die darunter liegen, zu verbinden.
In Fig. 3 sind neben den statisch ermittelten Abständen au, ao, ar, al, die mit gestrichelten Pfeilen angedeutet sind, auch die Abstände ou, oo, or, ol eingezeichnet, die dynamisch über den optischen Fluss 42 ermittelt worden sind. Hier ist zu erkennen, dass ou sich unterscheidet von au. Mittels des optischen Flusses 42 und intrinsischen Parametern der Kameraeinheit 20 wird der Abstand ou zum Untergrund 40 unmittelbar hinter dem Anhänger 16 ermittelt. Dieser Abstand ou gibt zugleich die Höhe der angesteckten Kameraeinheit 20 wider. In der in Fig. 3 gezeigten Ausführungsform sind die Abstände ao, ar, al jeweils identisch zu den Abständen oo, or, ol. Es ist jedoch auch möglich, dass diese Abstände ebenso voneinander abweichen und somit über die Fusion der Daten ebenfalls plausibiliert beziehungsweise korrigiert werden können.
Mithilfe intrinsischer Parameter der Kameraeinheit 20, die bekannt sind, können somit die lokalen Koordinaten x, y, z der Kameraeinheit 20 bestimmt werden. Diese werden nachfolgend zur weiteren Verarbeitung an eine in Fig. 6 gezeigte zentrale Recheneinheit 54 des gesamten Kamerasystems 22 gesendet.
Wenn das Kraftfahrzeug 10 sich in Bewegung befindet, folgt es einer bestimmten Trajektorie 56, die in Fig. 4 gezeigt ist. Die Daten, die von der Kameraeinheit 20 erfasst werden, korrelieren zueinander, sodass hieraus ebenfalls die Bewegung beziehungsweise Trajektorie 56 des Kraftfahrzeuges 10 bestimmt werden kann. Aus dem Abgleich der aus den Kameradaten bestimmten Trajektorie 56 mit der tatsächlichen Trajektorie 56 des Kraftfahrzeuges 10 können alle gewonnenen Daten plausibilisiert und gefiltert werden, umso eine robustere Informationsbasis zu erhalten.
In Fig. 5 sind die in dem oben beschriebenen Verfahren ablaufenden
Verfahrensschritte schematisch dargestellt. Zunächst wird die mobile
Kameraeinheit 20 an der Fläche 18 des Kraftfahrzeuges 10 befestigt. Dann werden zunächst die statischen Positionsparameter pus, pos, prs, pls der Kanten 38 detektiert, wonach, sobald sich das Kraftfahrzeug 10 in Bewegung befindet, auch die dynamischen Positionsparameter pud, pod, prd, pld der Kanten 38 erfasst werden. Die beiden Arten von Positionsparametern werden zu tatsächlichen Positionsparametern put, pot, prt, plt fusioniert und daraus die lokalen Koordinaten x, y, z der Kameraeinheit 20 berechnet. Im letzten Schritt werden diese lokalen Koordinaten x, y, z zur weiteren Verarbeitung an die zentrale Recheneinheit 54 übermittelt.
Fig. 6 zeigt ein Kamerasystem 22, das beispielsweise ein ADAS-System oder ein einfaches Multikamerasystem sein kann, in der vorliegenden Ausführungsform aber ein Kamera-Monitor-System 58 (Spiegelersatzsystem) ist, welches die mobile Kameraeinheit 20 aufweist, und in welchem das Verfahren zur Kalibration der mobilen Kameraeinheit 20 durchgeführt wird, um insgesamt das Kamerasystem 22 betreiben zu können. Die schematische Darstellung in Fig. 6 zeigt neben der mobilen Kameraeinheit 20, die flexibel an dem Kraftfahrzeug 10 befestigt werden kann, auch eine fest installierte Kameraeinheit 60, wobei beide Kameraeinheiten 20, 60 Kameradaten an das Kamerasystem 22 liefern. Die von der mobilen
Kameraeinheit 20 gelieferten Daten werden in einer ersten Recheneinheit 62 bezüglich der statischen Positionsparameter pus, pos, prs, pls ausgewertet. Weiter umfasst das Kamerasystem 22 eine zweite Recheneinheit 64, die von der
Bildanalyseeinrichtung 46 gebildet ist, und über die aus den jeweiligen optischen Flüssen 42 die dynamischen Positionsparameter pud, pod, prd, pld errechnet werden. Die in beiden Recheneinheiten 62, 64 ermittelten Daten werden zur einer dritten Recheneinheit 66 übermittelt, welche von der zentralen Recheneinheit 54 weitere Daten zu der Trajektorie 56 des Kraftfahrzeuges 10 und zusätzlich
Beschleunigungsdaten 68 erhält. Daraus kann die dritte Recheneinheit 66 die lokalen Koordinaten x, y, z der mobilen Kameraeinheit 20 berechnen und zu der zentralen Recheneinheit 54 übermitteln. Die zentrale Recheneinheit 54 verarbeitet diese ermittelten lokalen Koordinaten x, y, z weiter und kann dann die von der Kameraeinheit 20 erfassten Bilder auf einem Monitor 70, gemeinsam mit Bildern, die die Kameraeinheit 60 liefert, in Systemkoordinaten xs, ys, zs darstellen.
Die Recheneinheiten 62, 64, 66 können in einer alternativen Ausführungsform auch in der mobilen Kameraeinheit 20 enthalten sein. Die einzelnen Schritte können dann je nach Systemauslegung auf der mobilen Kameraeinheit 20 und/oder auf der zentralen Recheneinheit 54, beispielsweise einer Kraftfahrzeug-ECU, stattfinden. Im Zweifel kann also die mobile Kameraeinheit 20 völlig eigenständig die lokalen Koordinaten x, y, z ermitteln. Unter der Zuhilfenahme von bekannten optischen Eigenschaften der Kameraeinheit 20 und deren Optik können die Bereiche von Interesse optimiert werden, beispielsweise indem ein Suchbereich eingeschränkt wird.
Der optische Fluss 42 für die verschiedenen Raum lagen 44 und die geometrischen Berechnungen erfolgen normalisiert und nach dem Schritt einer Linsenentzerrung. Ebenso kann es jedoch sein, dass diese Berechnungen mit nicht entzerrten Daten erfolgen.
Optional könnten auch bekannte Verfahren wie„Tracking“ gemeinsamer Features über verschiedene Kameraeinheiten 20, 60 hinweg zusätzlich eingesetzt werden, um mehr Redundanz und damit idealerweise mehr Robustheit zu schaffen.
Das beschriebene Verfahren ist insbesondere interessant für ein mobiles
Kamerasystem 22 mit wechselnden Anhängern 16 oder angehängten Maschinen. Es wird eine optimale Integration der Kameraeinheit 20 in Multikamera-/
Multisichtfeld-Systeme ermöglicht. Dabei wird die Notwendigkeit einer Kalibrierung in der Werkstatt vermieden.
Die meisten bekannten Verfahren basieren darauf, gemeinsame Features mit unterschiedlichen Kameraeinheiten 20, 60 zu verfolgen. Jedoch sind häufig die Kameraeinheiten 20, 60, beispielsweise eines Kameraarms und einer mobilen Rückfahrkamera, sehr weit voneinander entfernt. Hinzu kommt der sehr große Öffnungswinkel der Fischaugenoptik bei der mobilen Kameraeinheit 20. Beide Eigenschaften zusammen führen dazu, dass die klassischen„Feature-Tracking“ Methoden über Kameraeinheiten 20, 60 hinweg nur erschwert realisierbar sind. Der Ansatz, der oben beschrieben ist, besteht darin, die jeweils lokalen Informationen über bekanntes Wissen miteinander zu kombinieren und daher die
Koordinatensysteme ineinander überführen zu können.
Im vorliegenden Beispiel kann beispielsweise bekannt sein, dass die
Anhängerrückwand, an der die Kameraeinheit 20 angeheftet wird, an eine Seite des Anhängers 16 grenzt. Somit gibt es als Schnittpunkt der beiden Flächen 18 eine Seitenfläche 18 des Anhängers 16 und die rückwertige Seite des Anhängers 16, die sich an einer Kante 38 stoßen. Diese Kante 38 kann beispielsweise über
Spiegelersatzkameras verfolgt werden und somit in einem
Systemkoordinatensystem dynamisch gespeichert werden.
Das Verfahren ermöglicht selbstverständlich auch eine Kalibrierung von statisch montierten Kameras, beispielsweise Rückfahrkameras und kann auch mit Optiken mit einem Öffnungswinkel von > 180° in lediglich einer Ebene verwendet werden.

Claims

Patentansprüche
1. Verfahren zum Kalibrieren einer mobilen Kameraeinheit (20) eines
Kamerasystems (22) für ein Kraftfahrzeug (10), wobei die Kameraeinheit
(20) zum Erfassen eines optischen Flusses (42) ausgebildet ist, aufweisend die Schritte:
- Befestigen der mobilen Kameraeinheit (20) an einer beliebigen Position p an einer Fläche (18) des Kraftfahrzeugs (10) derart, dass wenigstens zwei senkrecht zueinander angeordnete Kanten (38) der Fläche (18) in einem Sichtbereich (28) der Kameraeinheit (20) liegen;
- Statisches Detektieren von statischen Positionsparametern (pus, pos, pls, prs) der wenigstens zwei Kanten (38);
- Dynamisches Detektieren von dynamischen Positionsparametern (pud, pod, pld, prd) der wenigstens zwei Kanten (38) mit Hilfe des erfassten optischen Flusses (42);
- Fusionieren der statischen Positionsparameter (pus, pos, pls, prs) mit den dynamischen Positionsparametern (pud, pod, pld, prd) zu tatsächlichen Positionsparametern (put, pot, plt, prt);
- Berechnen von lokalen Koordinaten (x, y, z) der Kameraeinheit (20) auf Basis der ermittelten tatsächlichen Positionsparameter (put, pot, plt, prt) und intrinsischer Parameter der Kameraeinheit (20);
- Übermitteln der lokalen Koordinaten (x, y, z) an eine zentrale
Recheneinheit (54) des Kamerasystems (22).
2. Verfahren nach Anspruch 1 ,
gekennzeichnet durch Detektieren einer Raumlage (44)„unten“ relativ zur
Kameraeinheit (20) durch Erfassen eines Untergrundes (40), auf dem das
Kraftfahrzeug (10) angeordnet ist, mit Hilfe eines Beschleunigungssensors (48).
3. Verfahren nach Anspruch 2,
gekennzeichnet durch Erfassen des optischen Flusses (42) für den Untergrund
(40).
4. Verfahren nach Anspruch 3,
gekennzeichnet durch Präzisieren des erfassten optischen Flusses (42) unter Zuhilfenahme von Beschleunigungsdaten (68) des sich bewegenden
Kraftfahrzeugs (10).
5. Verfahren nach einem der Ansprüche 1 bis 4,
gekennzeichnet durch Erfassen des optischen Flusses (42) von wenigstens einer weiteren Raumlage (44)„rechts“,„links“ und/oder„oben“ relativ zur Kameraeinheit (20).
6. Verfahren nach einem der Ansprüche 1 bis 5,
gekennzeichnet durch Bereitstellen einer Bildanalyseeinrichtung (46), die dazu ausgebildet ist, anhand eines Sprunges im erfassten optischen Fluss (42) die wenigstens zwei Kanten (38), insbesondere mehr als zwei Kanten (38), des Kraftfahrzeugs (10) zu erkennen.
7. Verfahren nach Anspruch 6,
gekennzeichnet durch Bestimmen einer Trajektorie (56) des sich in Bewegung befindlichen Kraftfahrzeugs (10) aus dem optischen Fluss (42) mehrerer
Raumlagen (44) und Plausibilisieren der erfassten Daten bzgl. der optischen Flüsse (42) der mehreren Raumlagen (44) mit Hilfe einer tatsächlichen Trajektorie (56) des sich in Bewegung befindlichen Kraftfahrzeugs (10).
8. Verfahren zum Betreiben eines insbesondere für ein Kraftfahrzeug (10) ausgebildeten, eine mobile Kameraeinheit (20) aufweisenden
Kamera-Monitor-Systems (58), eines Multikamerasystems oder eines
ADAS-Systems, das ein Verfahren zum Kalibrieren einer mobilen Kameraeinheit (20) nach einem der Ansprüche 1 bis 7 aufweist.
9. Kamera-Monitor-System (58) mit einer mobilen Kameraeinheit (20) und einer zentralen Recheneinheit (54), die dazu ausgebildet sind, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen.
PCT/EP2020/054246 2019-02-20 2020-02-18 Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug WO2020169607A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019202269.3 2019-02-20
DE102019202269.3A DE102019202269B4 (de) 2019-02-20 2019-02-20 Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug

Publications (1)

Publication Number Publication Date
WO2020169607A1 true WO2020169607A1 (de) 2020-08-27

Family

ID=69650586

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/054246 WO2020169607A1 (de) 2019-02-20 2020-02-18 Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug

Country Status (2)

Country Link
DE (1) DE102019202269B4 (de)
WO (1) WO2020169607A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706755A (zh) * 2021-01-27 2021-04-27 广州小鹏自动驾驶科技有限公司 一种车载相机的调整方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017444A1 (de) 2022-07-20 2024-01-25 Continental Automotive Technologies GmbH Selbstkalibrierendes kamerasystem, fahrzeug und verfahren
DE102022213225A1 (de) 2022-07-20 2024-01-25 Continental Automotive Technologies GmbH Kamerasystem, Fahrzeug und Verfahren

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284087A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Automatic orientation estimation of camera system relative to vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005050363A1 (de) * 2005-10-21 2007-04-26 Bayerische Motoren Werke Ag Kamerasystem für ein Kraftfahrzeug
DE102010048143A1 (de) * 2010-10-11 2011-07-28 Daimler AG, 70327 Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284087A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Automatic orientation estimation of camera system relative to vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BECKER FLORIAN ET AL: "Variational Recursive Joint Estimation of Dense Scene Structure and Camera Motion from Monocular High Speed Traffic Sequences", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, NORWELL, US, vol. 105, no. 3, 3 July 2013 (2013-07-03), pages 269 - 297, XP035362234, ISSN: 0920-5691, [retrieved on 20130703], DOI: 10.1007/S11263-013-0639-7 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706755A (zh) * 2021-01-27 2021-04-27 广州小鹏自动驾驶科技有限公司 一种车载相机的调整方法和装置

Also Published As

Publication number Publication date
DE102019202269A1 (de) 2020-08-20
DE102019202269B4 (de) 2020-11-19

Similar Documents

Publication Publication Date Title
DE102013110581B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung und Vorrichtung hierzu
DE10229334B4 (de) Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
WO2020169607A1 (de) Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug
WO2016120044A1 (de) Vermessen einer abmessung auf einer oberfläche
WO2018069405A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102012221563B4 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
DE102015107390B4 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
DE102014219326A1 (de) Sensorfusion mit Smartphone im Fahrzeug
DE102008031784A1 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
DE102008000833A1 (de) Messkopf für ein Fahrwerksvermessungssystem, Fahrwerksvermessungssystem sowie Verfahren zum Bestimmen der Lageparameter von Messköpfen eines Fahrwerksvermessungssystems
DE102017206295B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs
DE10246066A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
DE102020109279A1 (de) System und verfahren zur anhängerausrichtung
DE102019115611A1 (de) Objektverfolgung im toten winkel
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
EP3727936A1 (de) Verfahren zum erkennen von zumindest einem an einem kraftfahrzeug anliegenden objekt sowie steuervorrichtung und kraftfahrzeug
DE102008000837A1 (de) Fahrwerksvermessungssystem sowie Verfahren zum Bestimmen der Lageparameter von Messköpfen eines Fahrwerksvermessungssystems
DE102015006571A1 (de) Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
DE102015205087A1 (de) Verfahren zum Ermitteln der Dejustage eines Fahrersassistenzsensors
DE102019114404A1 (de) Bilderfassungssystem
DE102012000630A1 (de) System zur Erfassung eines Hindernisses für ein Fahrzeug
DE102020212279B3 (de) Vorrichtung zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille einer Kamera, Kalibrierverfahren hierfür sowie System zur Bestimmung relativer Position von Zentren von Eintrittspupillen mindestens zweier Kameras, die an einem gemeinsamen Tragrahmen montiert sind, zueinander sowie Bestimmungsverfahren hierfür
WO2023072696A1 (de) Verfahren zum bestimmen einer gravitationsrichtung für ein fahrzeugsteuersystem eines kraftfahrzeugs, fahrzeugsteuersystem und kraftfahrzeug
WO2022078835A1 (de) Messanordnung und messverfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20706673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20706673

Country of ref document: EP

Kind code of ref document: A1