WO2015090529A1 - Motor vehicle and method for verifying a calibration of a camera - Google Patents

Motor vehicle and method for verifying a calibration of a camera Download PDF

Info

Publication number
WO2015090529A1
WO2015090529A1 PCT/EP2014/003275 EP2014003275W WO2015090529A1 WO 2015090529 A1 WO2015090529 A1 WO 2015090529A1 EP 2014003275 W EP2014003275 W EP 2014003275W WO 2015090529 A1 WO2015090529 A1 WO 2015090529A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
motor vehicle
calibration
reference pattern
image
Prior art date
Application number
PCT/EP2014/003275
Other languages
German (de)
French (fr)
Inventor
Jens Pollmer
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Publication of WO2015090529A1 publication Critical patent/WO2015090529A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a motor vehicle, in particular a test vehicle, comprising a camera partially detecting the surroundings of the motor vehicle.
  • the invention relates to a method for checking a calibration of a directed to a part of the environment of a motor vehicle camera of the motor vehicle.
  • Modern driver assistance systems in particular those based on environmental data on the environment of a motor vehicle, often use the data of built in the motor vehicle, directed to the environment of the motor vehicle cameras.
  • a camera on and / or behind the windscreen of a motor vehicle, which is directed to the apron of the motor vehicle.
  • Such cameras take on camera images that reflect the environment of the motor vehicle and can be used to extract certain information through functions of the driver assistance system.
  • calibration errors can also occur in motor vehicles not used as test vehicles and used in normal traffic, the detection of which also presupposes the use of a calibration stand.
  • the invention is therefore based on the object to provide a suitable in particular for test vehicles way to check a performed calibration of a camera in a simple manner without the use of a calibration.
  • a motor vehicle of the type mentioned at the outset that the motor vehicle has a vehicle-fixed reference, which can be detected at least at times by the camera. pattern for checking calibration and / or calibrating the camera.
  • the motor vehicle further comprises a control device, in particular a control unit, and / or the motor vehicle is associated with an external control device which for checking the calibration of the camera based on a comparison of the currently recorded in a camera image visible reference pattern is formed with the visible in a immediately after a successful calibration of the camera reference image of the camera visible reference pattern.
  • a reference image is taken in which the reference given on the motor vehicle is taken. is visible.
  • the two images of the reference pattern can be compared with each other and, if necessary, a deviation determined that corresponds to a deviation from the original calibration and the corresponding can be assessed.
  • certain threshold values can be stored in the control device, exceeding which a calibration error is detected and corresponding further measures are initiated.
  • a built-in motor vehicle control unit can be used, but it is also conceivable to use an external, for this purpose the motor vehicle associated control unit.
  • the control device can also be a computing device, for example a computer installed in the motor vehicle or a laptop to be carried. The computing device can also be assigned to the data acquisition during operation as a test vehicle.
  • the control device is formed at a detected deviation from the original calibration for outputting an indication information and / or for recalibration of the camera as a function of the deviation.
  • the issuance of an indication information indicates to a user of the motor vehicle that the data recorded with the camera are no longer reliable due to the calibration error, so that the latter can take appropriate measures, for example if no reliable recalibration is carried out is possible to visit a calibration stand or the like.
  • a man-machine interface of the motor vehicle can be used to output the notification information.
  • the control unit can thus determine a calibration correction which can be applied to the camera so that it in turn supplies camera images or data. which correspond to the camera images or data recorded during the original calibration, for example in a calibration stand.
  • a recalibration is preferably linked to recalibration conditions, in particular used only for smaller deviations from the original calibration in order to avoid errors in the recalibration as possible. If a recalibration is not possible, a calibration stand can be consulted, for example, after a corresponding note information in order to allow a completely new calibration.
  • the reference pattern for a calibration, especially if a new camera is used in the motor vehicle. If a first camera has been calibrated via a calibration stand and a reference image has been taken, a camera image of the reference pattern can be recorded on a new, built-in camera, which is then compared with the old reference image in order to derive a calibration of the new camera such that a calibration as given by the old camera.
  • the first reference image taken with the camera first calibrated and calibrated via a calibration stand thus serves as a calibration default that can be used in the calibration of new cameras inserted in the motor vehicle.
  • a particularly expedient embodiment of the present invention provides that the reference pattern is arranged on an engine hood of the motor vehicle.
  • This embodiment is expedient in particular in connection with a camera arranged on and / or behind a windshield of the motor vehicle and / or the front of the motor vehicle detecting camera.
  • Directed to the front of the vehicle cameras may detect a part of the hood, which can be used to apply the then basically available reference pattern;
  • the engine hood it is also conceivable and preferred for the engine hood to be set up to record reference images and thus to be compared with camera images in order to be able to make targeted recordings of the reference pattern when the motor vehicle is stationary, which can be used as a basis for checking the calibration.
  • the camera has a detection area having at least one part of the reference pattern with the hood closed and / or is arranged for detecting the reference pattern when the engine hood is open. It is preferred to use a large portion of the hood for the reference pattern and to set the hood when a calibration and / or calibration check is to take place, after which the entire detection range of the camera can then be checked.
  • a checkerboard pattern is particularly useful, as it allows the detection of inaccuracies of the calibration and their classification at different points of the detection range of the camera, after distortions in the image of the checkerboard pattern can be easily detected and optionally also automatically evaluated, for more detailed information about to provide a calibration error.
  • the reference pattern is also conceivable in principle, for example other geometrical structures to be mounted on the hood, but also, for example, structures attached to mountings in the field of vision of the camera and the like.
  • the camera in particular when the bonnet is used as a carrier of the reference pattern, may be a camera arranged on and / or behind a windscreen of the motor vehicle and / or detecting the apron of the motor vehicle.
  • laterally aligned cameras reference pattern which can be arranged for example on the inside of openable doors and the like.
  • the invention also relates to a method for checking a calibration of a directed to a part of the environment of a motor vehicle camera of the motor vehicle, in particular of a motor vehicle according to the invention, wherein a stationary arranged on the motor vehicle reference pattern is recorded in a camera image of the camera and the figure of the reference pattern is compared in a reference picture of the camera recorded immediately after calibration of the motor vehicle.
  • the method according to the invention can be carried out by the control device already mentioned with regard to the motor vehicle, which has corresponding storage and computing means.
  • a refinement of the method provides that, in the case of a reference pattern arranged on the engine hood of the motor vehicle, the reference image and the camera image are recorded when the engine hood is raised, in particular when the motor vehicle is stationary.
  • the reference image and the camera image are recorded when the engine hood is raised, in particular when the motor vehicle is stationary.
  • a large part or even the entire detection range of the directed on the apron of the motor vehicle, for example, and / or behind the windshield of the motor vehicle camera is used after the arranged on the hood reference pattern ultimately adjusts the other field of view of the camera.
  • the motor vehicle is parked, ensured that defined conditions are given in terms of the relative position of the reference pattern and the camera.
  • a calibration error during the drive of the motor vehicle.
  • a plurality of camera images are recorded and time-averaged during a check carried out during the journey, before a comparison of the imaged reference structures takes place.
  • the reference pattern is arranged in the detection range of the camera when the motor vehicle is currently in driving mode.
  • a statistical analysis of the camera images over a certain period averages out vibrations occurring during travel operation, possibly at the location of the camera and at the location of the reference pattern, so that a more meaningful and reliable comparison is made possible.
  • an exclusion criterion for a calibration check to be performed is given, for example, if it is known from surrounding data of the motor vehicle that a stronger mechanical effect on the motor vehicle is imminent, which may have an effect on the relative positioning of the reference pattern and the camera , For example, a pothole and / or any other unevenness over which the motor vehicle will drive and thus can preclude a to be carried out during the journey of the motor vehicle verification of the calibration by means of the exclusion criterion.
  • An expedient refinement of the method according to the invention also provides that, given a deviation between the reference patterns which exceeds a threshold value, recalibration of the camera takes place as a function of the deviation and / or information is output.
  • recalibration of the camera takes place as a function of the deviation and / or information is output.
  • a reference image recorded once by a previously calibrated camera can be used for the later installation of other cameras for the calibration of the other cameras solely on the basis of the reference pattern.
  • a recalibration has taken place and if further calibration errors are to be monitored, it may be expedient to record a further camera image of the reference pattern after recalibration and / or recalibration after replacement of the camera, in particular when the motor vehicle is stationary, which is based on a plausibility check of the calibration performed is placed.
  • Fig. 1 shows an inventive motor vehicle
  • Fig. 2 is a schematic diagram for checking the calibration.
  • Fig. 1 shows a schematic diagram of a motor vehicle 1 according to the invention in a plan view.
  • the motor vehicle 1 has a windscreen 2, on which, detecting the apron 3 of the motor vehicle 1, a camera 4 is arranged.
  • a reference pattern 6, here in the form of a checkerboard pattern, applied which is used to check the calibration of the camera 4 and for recalibration of the camera 4 and optionally for the calibration of a camera replacing the camera 4, as in the following will be explained in more detail.
  • reference pattern 6 of the hood 5 does not have to be the only reference pattern of the motor vehicle 1, in particular if further, for example, to the sides or on the back of the motor vehicle 1 directed cameras are provided, the here for the sake of clarity not closer are shown. Then reference patterns can also be provided on a trunk lid 7 of the motor vehicle and, for example, on the interior of side doors of the motor vehicle and the like, preferably in turn checkerboard pattern.
  • the camera 4 is arranged so that it detects the reference pattern 6 in an expedient manner only when the hood 5 is set up, thus actually fills the entire field of view of the camera 4, which allows a particularly simple verification of the calibration.
  • the reference pattern lies at any time in the detection range of the camera 4, so that in particular a calibration check can take place while driving, although statistical averaging over time ranges is preferably performed in order to detect unequal vibrations of the camera 4 and of the reference pattern 6.
  • the camera 4 is assigned as a control device, a control unit 8 of the motor vehicle, which is designed for carrying out the method according to the invention, specifically for checking a calibration of the camera 4.
  • a control unit 8 of the motor vehicle which is designed for carrying out the method according to the invention, specifically for checking a calibration of the camera 4.
  • Fig. 2 Immediately after the camera 4 has been calibrated, for example in a calibration stand, the hood 5 is set up and a reference image 9 of the reference pattern 6 is recorded. If now a review of the calibration take place at a later time, in turn the engine hood 5 is set up and a current camera image 10 of the reference pattern 6 is recorded.
  • the reference image 9 stored in a memory of the control unit 8 or the reference pattern 6 shown therein is now compared with the reference pattern 6 shown in the camera image 10, so that a deviation 11 can be determined which describes a calibration error. In the example shown in Fig. 2, it acts as if a shift in the horizontal direction has taken place.
  • the checkerboard pattern can also
  • a step 12 the deviations 11 are checked against action criteria, wherein, for example, it is determined whether the deviation 11 exceeds a threshold in terms of amount, and the like. If an action criterion is fulfilled, actions are therefore necessary, these take place in a step 13.
  • hint information is output which indicates the calibration error.
  • the determined deviation 11 optionally with further information, is stored in an event memory of the control unit 8.
  • recalibration criteria are evaluated. If a recalibration criterion is met, ie the deviation 11 found to be relevant, but not too strong, a recalibration takes place after the individual partial deviations have been easily classified, judged and corrected on the basis of the checkerboard pattern, as explained. This can of course also be logged in the control unit 8, so that the course of calibration errors and the like can be traced. After the recalibration may expediently another camera image are taken, which should then again correspond to the reference image 9.
  • the camera 4 may be calibrated using the reference image 9 which would still be picked up by the camera 4, after which then a clear reference point exists, so that the data of the new camera and the Incidentally, data from the camera 4 are also comparable with one another when the calibration of the new camera with reference to the reference image 9 is successful.

Abstract

The invention relates to a motor vehicle (1), in particular test vehicle, comprising a camera (4) which partially detects the surroundings of the motor vehicle (3). The motor vehicle (1) comprises a test pattern (6), which is firmly attached to the vehicle and can be detected by the camera (4) at least temporarily, for verifying a calibration of the camera (4) and/or for calibrating the camera.

Description

Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer  Motor vehicle and method for checking a calibration of a
Kamera  camera
Die Erfindung betrifft ein Kraftfahrzeug, insbesondere ein Testfahrzeug, umfassend eine das Umfeld des Kraftfahrzeugs teilweise erfassende Kamera. Daneben betrifft die Erfindung ein Verfahren zur Überprüfung einer Kalibrierung einer auf einen Teil des Umfelds eines Kraftfahrzeugs gerichteten Kamera des Kraftfahrzeugs. The invention relates to a motor vehicle, in particular a test vehicle, comprising a camera partially detecting the surroundings of the motor vehicle. In addition, the invention relates to a method for checking a calibration of a directed to a part of the environment of a motor vehicle camera of the motor vehicle.
Moderne Fahrerassistenzsysteme, insbesondere solche, die auf Umfelddaten über das Umfeld eines Kraftfahrzeugs basieren, nutzen häufig die Daten von in dem Kraftfahrzeug verbauten, auf das Umfeld des Kraftfahrzeugs gerichteten Kameras. Insbesondere ist es bekannt, eine Kamera an und/oder hinter der Frontscheibe eines Kraftfahrzeugs anzuordnen, die auf das Vorfeld des Kraftfahrzeugs gerichtet ist. Solche Kameras nehmen Kamerabilder auf, die das Umfeld des Kraftfahrzeugs wiedergeben und zur Extraktion bestimmter Informationen durch Funktionen des Fahrerassistenzsystem genutzt werden können. Gegebenenfalls ist es auch denkbar, in dem Kraftfahrzeug ein Umfeldmodell vorzuhalten, auf das mehrere Funktionen von Fahrerassistenzsystemen zugreifen können und in das auch aus den Kamerabildern abgeleitete Informationen eingehen können.. Modern driver assistance systems, in particular those based on environmental data on the environment of a motor vehicle, often use the data of built in the motor vehicle, directed to the environment of the motor vehicle cameras. In particular, it is known to arrange a camera on and / or behind the windscreen of a motor vehicle, which is directed to the apron of the motor vehicle. Such cameras take on camera images that reflect the environment of the motor vehicle and can be used to extract certain information through functions of the driver assistance system. Optionally, it is also conceivable to provide an environment model in the motor vehicle, which can access several functions of driver assistance systems and can also enter into information derived from the camera images. ,
Um die Kamerabilder auswerten zu können, ist es wesentlich, dass dargestellte Merkmale des Umfelds des Kraftfahrzeugs räumlich korrekt zugeordnet werden können, weshalb derartige Kameras in Kraftfahrzeugen üblicherweise kalibriert werden. Zur Kalibrierung werden meist teils aufwendige Kalibrierstände verwendet, die sich primär zur erstmaligen Kalibrierung der Kamera eignen. Kalibrierstände sind in der Regel teuer und örtlich gebunden, so dass eine Kalibrierung oder Neukalibrierung nur möglich ist, wenn das Kraftfahrzeug zu einer derartigen Einrichtung gefahren bzw. transportiert wurde. Die Kalibrierstände können selbstverständlich auch eingesetzt werden, um Kalibrierungsfehler, allgemein gesagt also Fehler oder Störungen im optischen Pfad von Kameras, zu detektieren. Während die Ursache hierfür eine Dekalibrierung sein kann, ist auch eine Dejustage der Kamera, mithin eine Positionsveränderung, als Ursache eines Kalibrierungsfehlers denkbar. In order to evaluate the camera images, it is essential that displayed features of the environment of the motor vehicle can be spatially correctly assigned, which is why such cameras are usually calibrated in motor vehicles. For calibration mostly elaborate calibration stands are used, which are primarily suitable for initial calibration of the camera. Calibration stands are usually expensive and localized, so calibration or recalibration is only possible if the motor vehicle is driven or transported to such a device has been. Of course, the calibration stands can also be used to detect calibration errors, generally speaking errors or disturbances in the optical path of cameras. While the cause of this may be a decalibration, a misalignment of the camera, thus a change in position, as a cause of a calibration error is conceivable.
Bei der Entwicklung neuer Funktionen für Fahrerassistenzsysteme, der Überprüfung der Eignung bestimmter Kameras und/oder zum Testen neuartiger Auswertungsalgorithmen ist es häufig nötig, große Datenmengen, mithin eine große Anzahl von Kamerabildern, zu erfassen, die häufig auf lang andauernden Testfahrten mit Testfahrzeugen gewonnen werden. Die entstehenden großen Datenmengen werden dann für die Entwicklung und die Absicherung von optischen Systemen ausgewertet. Bei diesen lang andauernden Testfahrten kann es vorkommen, dass aufgrund äußerer Umstände die Kalibrierung der Kamera ungültig wird, beispielsweise durch mechanische Belastung der Kamera. Die dabei auftretenden Abweichungen führen zur Ungültigkeit der gewonnenen Testdaten. Diese verlorenen Testdaten müssen erneut eingefahren werden oder aber die Absicherungstiefe nimmt ab. Problematisch hierbei ist, dass eine Erkennung eines solchen Kalibrierungsfehlers eine Verwendung eines Kalibrierstandes voraussetzt. When developing new functions for driver assistance systems, checking the suitability of specific cameras and / or testing novel evaluation algorithms, it is often necessary to capture large amounts of data, ie a large number of camera images, which are frequently obtained during long test vehicle test drives. The resulting large amounts of data are then evaluated for the development and protection of optical systems. In these long-lasting test drives, it may happen that due to external circumstances, the calibration of the camera is invalidated, for example by mechanical stress on the camera. The resulting deviations lead to the invalidity of the obtained test data. These lost test data must be retracted again or the depth of protection decreases. The problem here is that detection of such a calibration error requires the use of a calibration.
Kalibrierungsfehler können zudem auch bei nicht als Testfahrzeug genutzten, im normalen Verkehr eingesetzten Kraftfahrzeugen auftreten, wobei deren Detektion genauso die Verwendung eines Kalibrierstandes voraussetzt. In addition, calibration errors can also occur in motor vehicles not used as test vehicles and used in normal traffic, the detection of which also presupposes the use of a calibration stand.
Der Erfindung liegt daher die Aufgabe zugrunde, eine insbesondere für Testfahrzeuge geeignete Möglichkeit anzugeben, eine durchgeführte Kalibrierung einer Kamera auf einfache Art und Weise ohne Nutzung eines Kalibrierstandes zu überprüfen. The invention is therefore based on the object to provide a suitable in particular for test vehicles way to check a performed calibration of a camera in a simple manner without the use of a calibration.
Zur Lösung dieser Aufgabe ist bei einem Kraftfahrzeug der eingangs genannten Art erfindungsgemäß vorgesehen, dass das Kraftfahrzeug ein zumindest zeitweise durch die Kamera erfassbares, fahrzeugfestes Referenz- muster zur Überprüfung einer Kalibrierung und/oder zur Kalibrierung der Kamera aufweist. In order to achieve this object, it is provided according to the invention in a motor vehicle of the type mentioned at the outset that the motor vehicle has a vehicle-fixed reference, which can be detected at least at times by the camera. pattern for checking calibration and / or calibrating the camera.
Es wird mithin vorgeschlagen, eine fahrzeugfeste Referenz zu verwenden, so dass nach einer erfolgreichen Kalibrierung der Kamera, beispielsweise in einem Kalibrierstand, allein auf Basis dieses Referenzmusters eine Verschlechterung bzw. ein Kalibrierungsfehler erkannt werden kann. Auf diese Weise kann auch bei lang andauernden Testfahrten von Kraftfahrzeugen - regelmäßig überprüft werden, ob ein Kalibrierungsfehler vorliegt, so dass ein kostspieliges Einfahren von unbrauchbaren Testdaten verhindert werden kann. Das erfindungsgemäß vorgeschlagene, am Kraftfahrzeug ortsfeste Referenzmuster lässt sich jedoch auch bei anderen Kraftfahrzeugen als Testfahrzeugen einsetzen, insbesondere dann, wenn dies mit dem restlichen Design des Kraftfahrzeugs vereinbar ist. It is therefore proposed to use a vehicle-fixed reference, so that after a successful calibration of the camera, for example in a calibration stand, a deterioration or a calibration error can be detected solely on the basis of this reference pattern. In this way, even with long-lasting test drives of motor vehicles - regularly checked whether a calibration error is present, so that a costly retraction of unusable test data can be prevented. However, the invention proposed, stationary on the motor vehicle reference pattern can also be used in other vehicles as test vehicles, especially if this is compatible with the rest of the design of the motor vehicle.
Insgesamt ermöglicht das Vorsehen eines durch die Kamera erfassbaren, fahrzeugfesten Referenzmusters mithin eine frühe Erkennung von Kalibrierungsfehlern und somit die Vermeidung von Kosten durch erneute Beschaffung von Testdaten. Femer ist eine schnellere Reaktion auf auftretende Kalibrierungsfehler gegeben. Denn durch das feste Anbringen von im Kamerabild erkennbaren Referenzmustern am Kraftfahrzeug kann jederzeit die Wahrnehmung der Kamera überprüft werden, da das hierfür benötigte Hilfsmittel mit dem Kraftfahrzeug mitgeführt wird. Overall, the provision of a detectable by the camera, vehicle-fixed reference pattern thus allows early detection of calibration errors and thus the avoidance of costs by re-obtaining test data. Furthermore, there is a faster response to occurring calibration errors. Because by the fixed attachment of recognizable in the camera image reference patterns on the motor vehicle, the perception of the camera can be checked at any time, since the aid required for this purpose is carried along with the motor vehicle.
Dabei sieht eine besonders vorteilhafte Ausgestaltung der vorliegenden Erfindung vor, dass das Kraftfahrzeug ferner eine Steuereinrichtung, insbesondere ein Steuergerät, umfasst und/oder dem Kraftfahrzeug eine externe Steuereinrichtung zugeordnet ist, welche zur Überprüfung der Kalibrierung der Kamera anhand eines Vergleichs des in einem aktuell aufgenommenen Kamerabild sichtbaren Referenzmusters mit dem in einem unmittelbar nach einer erfolgten Kalibrierung der Kamera aufgenommenen Referenzbild der Kamera sichtbaren Referenzmuster ausgebildet ist. Das bedeutet, dass unmittelbar nach der erfolgreichen Kalibrierung der Kamera ein Referenzbild aufgenommen wird, in dem das auf dem Kraftfahrzeug aufgebrachte Refe- renzmuster sichtbar ist. Wird nun später ein weiteres Kamerabild unter denselben Voraussetzungen aufgenommen, welches mithin ebenso das Referenzmuster zeigt, können die beiden Abbildungen des Referenzmusters miteinander verglichen werden und gegebenenfalls eine Abweichung festgestellt werden, die einer Abweichung von der ursprünglichen Kalibrierung entspricht und die entsprechende beurteilt werden kann. Beispielsweise können hierzu in der Steuereinrichtung bestimmte Schwellwerte abgelegt sein, bei deren Überschreitung ein Kalibrierungsfehler festgestellt wird und entsprechende weitere Maßnahmen eingeleitet werden. Dabei kann ein im Kraftfahrzeug verbautes Steuergerät verwendet werden, denkbar ist jedoch auch die Verwendung eines externen, zu diesem Zweck dem Kraftfahrzeug zugeordneten Steuergeräts. Bei der Steuereinrichtung kann es sich auch um eine Recheneinrichtung, beispielsweise einen im Kraftfahrzeug verbauten Rechner oder einen mitzuführenden Laptop, handeln. Die Recheneinrichtung kann auch der Datenerfassung beim Betrieb als Testfahrzeug zugeordnet sein. In this case, a particularly advantageous embodiment of the present invention provides that the motor vehicle further comprises a control device, in particular a control unit, and / or the motor vehicle is associated with an external control device which for checking the calibration of the camera based on a comparison of the currently recorded in a camera image visible reference pattern is formed with the visible in a immediately after a successful calibration of the camera reference image of the camera visible reference pattern. This means that immediately after the calibration of the camera has been successfully completed, a reference image is taken in which the reference given on the motor vehicle is taken. is visible. If a further camera image is subsequently taken under the same conditions, which therefore also shows the reference pattern, the two images of the reference pattern can be compared with each other and, if necessary, a deviation determined that corresponds to a deviation from the original calibration and the corresponding can be assessed. For example, for this purpose, certain threshold values can be stored in the control device, exceeding which a calibration error is detected and corresponding further measures are initiated. In this case, a built-in motor vehicle control unit can be used, but it is also conceivable to use an external, for this purpose the motor vehicle associated control unit. The control device can also be a computing device, for example a computer installed in the motor vehicle or a laptop to be carried. The computing device can also be assigned to the data acquisition during operation as a test vehicle.
So kann vorgesehen sein, dass die Steuereinrichtung bei einer festgestellten Abweichung von der ursprünglichen Kalibrierung zur Ausgabe einer Hinweisinformation und/oder zur Nachkalibrierung der Kamera in Abhängigkeit von der Abweichung ausgebildet ist. Die Ausgabe einer Hinweisinformation, beispielsweise akustisch und/oder optisch, weist einen Benutzer des Kraftfahrzeugs darauf hin, dass die mit der Kamera aufgenommenen Daten aufgrund des Kalibrierungsfehlers nicht mehr verlässlich sind, so dass dieser entsprechende Maßnahmen ergreifen kann, beispielsweise dann, wenn keine verlässliche Nachkalibrierung möglich ist, einen Kalibrierstand aufsuchen oder dergleichen. Zur Ausgabe der Hinweisinformation kann beispielsweise ein Mensch-Maschine-Interface des Kraftfahrzeugs eingesetzt werden. Thus it can be provided that the control device is formed at a detected deviation from the original calibration for outputting an indication information and / or for recalibration of the camera as a function of the deviation. The issuance of an indication information, for example acoustically and / or optically, indicates to a user of the motor vehicle that the data recorded with the camera are no longer reliable due to the calibration error, so that the latter can take appropriate measures, for example if no reliable recalibration is carried out is possible to visit a calibration stand or the like. For example, a man-machine interface of the motor vehicle can be used to output the notification information.
Besonders zweckmäßig ist es, wenn eine Nachkalibrierung der Kamera in Abhängigkeit von der Abweichung erfolgt. Durch eine genauere Analyse der aufgetretenen Abweichungen kann in dieser Ausgestaltung durch das Steuergerät mithin eine Kalibrierungskorrektur ermittelt werden, die auf die Kamera anwendbar ist, so dass diese wiederum Kamerabilder bzw. Daten liefert, die den bei der ursprünglichen Kalibrierung, beispielsweise in einem Kalibrierstand, aufgenommenen Kamerabildern bzw. Daten entsprechen. Dabei wird eine derartige Nachkalibrierung bevorzugt an Nachkalibrierungsbedingungen geknüpft, insbesondere nur bei kleineren Abweichungen von der ursprünglichen Kalibrierung eingesetzt, um Fehler bei der Nachkalibrierung möglichst zu vermeiden. Ist eine Nachkalibrierung nicht möglich, kann nach einer entsprechenden Hinweisinformation beispielsweise ein Kalibrierstand aufgesucht werden, um eine völlig neue Kalibrierung zu ermöglichen. It is particularly expedient if a recalibration of the camera takes place as a function of the deviation. By means of a more exact analysis of the deviations that have occurred, the control unit can thus determine a calibration correction which can be applied to the camera so that it in turn supplies camera images or data. which correspond to the camera images or data recorded during the original calibration, for example in a calibration stand. In this case, such a recalibration is preferably linked to recalibration conditions, in particular used only for smaller deviations from the original calibration in order to avoid errors in the recalibration as possible. If a recalibration is not possible, a calibration stand can be consulted, for example, after a corresponding note information in order to allow a completely new calibration.
Dabei sei an dieser Stelle darauf hingewiesen, dass es durchaus auch möglich ist, das Referenzmuster zu einer Kalibrierung einzusetzen, insbesondere dann, wenn eine neue Kamera in dem Kraftfahrzeug verwendet wird. Ist eine erste Kamera über einen Kalibrierstand kalibriert worden und wurde ein Referenzbild aufgenommen, kann bei einer neuen, eingebauten Kamera ein Kamerabild des Referenzmusters aufgenommen werden, das dann mit dem alten Referenzbild verglichen wird, um eine Kalibrierung der neuen Kamera derart abzuleiten, dass eine Kalibrierung wie bei der alten Kamera gegeben ist. Das mit der zuerst eingebauten, über einen Kalibrierungsstand kalibrierten Kamera aufgenommene erste Referenzbild dient mithin als eine Kalibrierungsvorgabe, die bei der Kalibrierung neu in das Kraftfahrzeug eingesetzter Kameras herangezogen werden kann. It should be noted at this point that it is quite possible to use the reference pattern for a calibration, especially if a new camera is used in the motor vehicle. If a first camera has been calibrated via a calibration stand and a reference image has been taken, a camera image of the reference pattern can be recorded on a new, built-in camera, which is then compared with the old reference image in order to derive a calibration of the new camera such that a calibration as given by the old camera. The first reference image taken with the camera first calibrated and calibrated via a calibration stand thus serves as a calibration default that can be used in the calibration of new cameras inserted in the motor vehicle.
Dabei sei darauf hingewiesen, dass nach einer erfolgten Nachkalibrierung und/oder Neukalibrierung einer ersetzten Kamera ein weiteres Kamerabild aufgenommen werden kann, um zu überprüfen, ob die Kalibrierung erfolgreich war, denn nach der (Nach-)Kalibrierung sollte ein aufgenommenes Kamerabild des Referenzmusters wieder dem Referenzbild entsprechen. Gerade im Fall der Nachkalibrierung ist es jedoch zweckmäßig, wenn diese protokolliert wird, damit eine weitere oder erneut auftretende Veränderung, mithin ein neuer Kalibrierungsfehler, auf diese Weise nachverfolgt werden kann und/oder eine zu häufige/starke Nachkalibrierung vermieden werden kann. Eine besonders zweckmäßige Ausgestaltung der vorliegenden Erfindung sieht vor, dass das Referenzmuster auf einer Motorhaube des Kraftfahrzeugs angeordnet ist. Diese Ausgestaltung ist insbesondere in Zusammenhang mit einer an und/oder hinter einer Frontscheibe des Kraftfahrzeugs angeordneten und/oder das Vorfeld des Kraftfahrzeugs erfassenden Kamera zweck- mäßig. Auf das Vorfeld des Kraftfahrzeugs gerichtete Kameras erfassen unter Umständen einen Teil der Motorhaube mit, die zur Aufbringung des dann grundsätzlich verfügbaren Referenzmusters genutzt werden kann; denkbar und bevorzugt ist es jedoch auch, dass zur Aufnahme von Referenzbildern und damit zu vergleichenden Kamerabildern die Motorhaube aufgestellt wird, um bei stehendem Kraftfahrzeug gezielt Aufnahmen des Referenzmusters anfertigen zu können, die einer Überprüfung der Kalibrierung zugrunde gelegt werden können. Mit anderen Worten kann vorgesehen sein, dass die Kamera einen wenigstens einen Teil des Referenzmusters bei geschlossener Motorhaube aufweisenden Erfassungsbereich aufweist und/oder zur Erfassung des Referenzmusters bei geöffneter Motorhaube angeordnet ist. Dabei wird es bevorzugt, einen großen Teil der Motorhaube für das Referenzmuster zu nutzen und die Motorhaube aufzustellen, wenn eine Überprüfung der Kalibrierung und/oder Kalibrierung stattfinden soll, nachdem dann der gesamte Erfassungsbereich der Kamera überprüft werden kann. It should be noted that after a successful recalibration and / or recalibration of a replaced camera, another camera image can be recorded to check whether the calibration was successful, because after the (re) calibration of a recorded camera image of the reference pattern again Reference picture correspond. Especially in the case of recalibration, however, it is expedient if this is logged, so that a further or recurring change, thus a new calibration error, can be tracked in this way and / or too frequent / strong recalibration can be avoided. A particularly expedient embodiment of the present invention provides that the reference pattern is arranged on an engine hood of the motor vehicle. This embodiment is expedient in particular in connection with a camera arranged on and / or behind a windshield of the motor vehicle and / or the front of the motor vehicle detecting camera. Directed to the front of the vehicle cameras may detect a part of the hood, which can be used to apply the then basically available reference pattern; However, it is also conceivable and preferred for the engine hood to be set up to record reference images and thus to be compared with camera images in order to be able to make targeted recordings of the reference pattern when the motor vehicle is stationary, which can be used as a basis for checking the calibration. In other words, it can be provided that the camera has a detection area having at least one part of the reference pattern with the hood closed and / or is arranged for detecting the reference pattern when the engine hood is open. It is preferred to use a large portion of the hood for the reference pattern and to set the hood when a calibration and / or calibration check is to take place, after which the entire detection range of the camera can then be checked.
Als Referenzmuster bietet sich besonders ein Schachbrettmuster an, da dieses die Feststellung von Ungenauigkeiten der Kalibrierung und deren Klassifizierung an verschiedenen Stellen des Erfassungsbereichs der Kamera ermöglicht, nachdem Verzerrungen in der Abbildung des Schachbrettmusters leicht festgestellt und gegebenenfalls auch automatisch ausgewertet werden können, um genauere Informationen über einen Kalibrierungsfehler liefern zu können. As a reference pattern, a checkerboard pattern is particularly useful, as it allows the detection of inaccuracies of the calibration and their classification at different points of the detection range of the camera, after distortions in the image of the checkerboard pattern can be easily detected and optionally also automatically evaluated, for more detailed information about to provide a calibration error.
Selbstverständlich sind auch andere Realisierungen des Referenzmusters grundsätzlich denkbar, beispielsweise andere auf der Motorhaube anzubringende geometrische Strukturen, aber auch beispielsweise an Halterungen im Sichtbereich der Kamera angebrachte Strukturen und dergleichen. Wie bereits erwähnt, kann die Kamera, insbesondere dann, wenn die Motorhaube als Träger des Referenzmusters genutzt wird, eine an und/oder hinter einer Frontscheibe des Kraftfahrzeugs angeordnete und/oder das Vorfeld des Kraftfahrzeugs erfassende Kamera sein. Selbstverständlich ist es jedoch auch denkbar, für beispielsweise seitlich ausgerichtete Kameras Referenzmuster zu nutzen, die beispielsweise an der Innenseite von zu öffnenden Türen angeordnet werden können und dergleichen. Of course, other implementations of the reference pattern are also conceivable in principle, for example other geometrical structures to be mounted on the hood, but also, for example, structures attached to mountings in the field of vision of the camera and the like. As already mentioned, the camera, in particular when the bonnet is used as a carrier of the reference pattern, may be a camera arranged on and / or behind a windscreen of the motor vehicle and / or detecting the apron of the motor vehicle. Of course, however, it is also conceivable to use for example laterally aligned cameras reference pattern, which can be arranged for example on the inside of openable doors and the like.
Neben dem Kraftfahrzeug betrifft die Erfindung auch ein Verfahren zur Überprüfung einer Kalibrierung einer auf einen Teil des Umfelds eines Kraftfahrzeugs gerichteten Kamera des Kraftfahrzeugs, insbesondere eines erfindungsgemäßen Kraftfahrzeugs, wobei ein ortsfest an dem Kraftfahrzeug angeordnetes Referenzmuster in einem Kamerabild der Kamera aufgenommen wird und mit der Abbildung des Referenzmusters in einem unmittelbar nach Kalibrierung des Kraftfahrzeugs aufgenommenen Referenzbild der Kamera verglichen wird. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Kraftfahrzeugs lassen sich analog auf das erfindungsgemäße Verfahren übertragen und umgekehrt; mit dem erfindungsgemäßen Verfahren lassen sich somit die bereits bezüglich des Kraftfahrzeugs genannten Vorteile ebenso erreichen. In addition to the motor vehicle, the invention also relates to a method for checking a calibration of a directed to a part of the environment of a motor vehicle camera of the motor vehicle, in particular of a motor vehicle according to the invention, wherein a stationary arranged on the motor vehicle reference pattern is recorded in a camera image of the camera and the figure of the reference pattern is compared in a reference picture of the camera recorded immediately after calibration of the motor vehicle. All statements relating to the motor vehicle according to the invention can be analogously transferred to the inventive method and vice versa; With the method according to the invention, the advantages already mentioned with regard to the motor vehicle can thus be achieved as well.
Entsprechend kann das erfindungsgemäße Verfahren durch die bezüglich des Kraftfahrzeugs bereits erwähnte Steuereinrichtung ausgeführt werden, welches entsprechende Speicher- und Rechenmittel aufweist. Accordingly, the method according to the invention can be carried out by the control device already mentioned with regard to the motor vehicle, which has corresponding storage and computing means.
Eine Weiterbildung des Verfahrens sieht vor, dass bei einem auf der Motorhaube des Kraftfahrzeugs angeordneten Referenzmuster das Referenzbild und das Kamerabild bei aufgestellter Motorhaube aufgenommen werden, insbesondere bei stillstehendem Kraftfahrzeug. Auf diese Weise wird ein großer Teil oder gar der gesamte Erfassungsbereich der auf das Vorfeld des Kraftfahrzeugs gerichteten, beispielsweise an und/oder hinter der Frontscheibe des Kraftfahrzeugs angeordneten Kamera ausgenutzt, nachdem das auf der Motorhaube angeordnete Referenzmuster letztlich das sonstige Sichtfeld der Kamera verstellt. Ferner ist bei abgestelltem Kraftfahrzeug si- chergestellt, dass definierte Bedingungen hinsichtlich der relativen Position des Referenzmusters und der Kamera gegeben sind. A refinement of the method provides that, in the case of a reference pattern arranged on the engine hood of the motor vehicle, the reference image and the camera image are recorded when the engine hood is raised, in particular when the motor vehicle is stationary. In this way, a large part or even the entire detection range of the directed on the apron of the motor vehicle, for example, and / or behind the windshield of the motor vehicle camera is used after the arranged on the hood reference pattern ultimately adjusts the other field of view of the camera. Furthermore, when the motor vehicle is parked, ensured that defined conditions are given in terms of the relative position of the reference pattern and the camera.
Es ist grundsätzlich auch denkbar, einen Kalibrierungsfehler während der Fahrt des Kraftfahrzeugs zu überprüfen. Dazu kann zweckmäßigerweise vorgesehen sein, dass bei einer während der Fahrt vorgenommenen Überprüfung mehrere Kamerabilder aufgenommen und zeitlich gemittelt werden, bevor ein Vergleich der abgebildeten Referenzstrukturen stattfindet. Dies setzt selbstverständlich voraus, dass das Referenzmuster im Erfassungsbereich der Kamera angeordnet ist, wenn das Kraftfahrzeug gerade im Fahrtbetrieb befindlich ist. Eine statistische Betrachtung der Kamerabilder über einen bestimmten Zeitraum mittelt beim Fahrtbetrieb auftretende, gegebenenfalls am Ort der Kamera und am Ort des Referenzmusters unterschiedliche Vibrationen bzw. Bewegungszustände heraus, so dass ein sinnvoller und verlässlicherer Vergleich ermöglicht wird. Dabei kann in einer Ausführungsform auch vorgesehen sein, dass ein Ausschlusskriterium für eine durchzuführende Kalibrierungsüberprüfung gegeben ist, wenn beispielsweise aus Umfelddaten des Kraftfahrzeugs bekannt ist, dass eine stärkere mechanische Einwirkung auf das Kraftfahrzeug bevorsteht, die auf die Relativpositionierung des Referenzmusters und der Kamera Einfluss haben kann, beispielsweise ein Schlagloch und/oder eine sonstige Unebenheit, über die das Kraftfahrzeug fahren wird und die mithin eine während der Fahrt des Kraftfahrzeugs durchzuführende Überprüfung der Kalibrierung mittels des Ausschlusskriteriums ausschließen kann. In principle, it is also conceivable to check a calibration error during the drive of the motor vehicle. For this purpose, it may expediently be provided that a plurality of camera images are recorded and time-averaged during a check carried out during the journey, before a comparison of the imaged reference structures takes place. This assumes, of course, that the reference pattern is arranged in the detection range of the camera when the motor vehicle is currently in driving mode. A statistical analysis of the camera images over a certain period averages out vibrations occurring during travel operation, possibly at the location of the camera and at the location of the reference pattern, so that a more meaningful and reliable comparison is made possible. In one embodiment, it may also be provided that an exclusion criterion for a calibration check to be performed is given, for example, if it is known from surrounding data of the motor vehicle that a stronger mechanical effect on the motor vehicle is imminent, which may have an effect on the relative positioning of the reference pattern and the camera , For example, a pothole and / or any other unevenness over which the motor vehicle will drive and thus can preclude a to be carried out during the journey of the motor vehicle verification of the calibration by means of the exclusion criterion.
Eine zweckmäßige Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass bei einer festgestellten, einen Schwellwert überschreitenden Abweichung zwischen den Referenzmustern eine Nachkalibrierung der Kamera in Abhängigkeit der Abweichung erfolgt und/oder eine Hinweisinformation ausgegeben wird. Hier gilt selbstverständlich das bereits bezüglich des erfindungsgemäßen Kraftfahrzeugs Ausgeführte fort; wobei es in einer Ausgestaltung des Verfahrens auch denkbar ist, dass bei Einbau einer neuen Kamera eine Kalibrierung der neuen Kamera anhand des unmittelbar nach der Kalibrierung der ersten eingebauten Kamera aufgenommenen Referenz- bildes erfolgt. Wie bereits dargelegt wurde, kann ein einmal durch eine zuvor kalibrierte Kamera aufgenommenes Referenzbild beim späteren Einbau anderer Kameras zur Kalibrierung der anderen Kameras allein anhand des Referenzmusters genutzt werden. An expedient refinement of the method according to the invention also provides that, given a deviation between the reference patterns which exceeds a threshold value, recalibration of the camera takes place as a function of the deviation and / or information is output. Of course, the same applies with regard to the motor vehicle according to the invention; wherein, in one embodiment of the method, it is also conceivable that, when a new camera is installed, a calibration of the new camera is based on the reference image recorded immediately after the calibration of the first built-in camera. picture done. As already explained, a reference image recorded once by a previously calibrated camera can be used for the later installation of other cameras for the calibration of the other cameras solely on the basis of the reference pattern.
Ist eine Nachkalibrierung erfolgt und sollen weitere Kalibrierungsfehler überwacht werden, kann es zweckmäßig sein, wenn nach einer Nachkalibrierung und/oder einer Neukalibrierung nach Ersetzung der Kamera, insbesondere bei stehendem Kraftfahrzeug, ein weiteres Kamerabild des Referenzmusters aufgenommen werden, welches einer Plausibilisierung der erfolgten Kalibrierung zugrunde gelegt wird. If a recalibration has taken place and if further calibration errors are to be monitored, it may be expedient to record a further camera image of the reference pattern after recalibration and / or recalibration after replacement of the camera, in particular when the motor vehicle is stationary, which is based on a plausibility check of the calibration performed is placed.
Zweckmäßig ist es im Übrigen grundsätzlich, wenn festgestellte Kalibrierungsfehler, Nachkalibrierungen und Neukalibrierungen mitprotokolliert werden, beispielsweise in einem Ereignisspeicher des Kraftfahrzeugs und/oder der Steuereinrichtung abgelegt werden, so dass beispielsweise bei mehreren über die Zeit erfolgenden Nachkalibrierungen noch nachvollzogen werden kann, wie weit die aktuelle Kalibrierung von der ursprünglichen Kalibrierung abweicht, wofür diesbezüglich selbstverständlich auch Schwellwerte und Grenzen festgelegt werden können, bis zu denen die Nachkalibrierung zweckmäßig ist, nachdem die unvermeidlichen kleinen Fehler bei vielen Änderungen auch zu einem nicht mehr vernachlässigbaren Gesamtfehler führen können. It is expedient, moreover, in principle if recorded calibration errors, recalibrations and recalibrations are logged, for example stored in an event memory of the motor vehicle and / or the control device, so that, for example, if there are several recalibrations over time, it is still possible to reconstruct how far the current one is Calibration from the original calibration deviates, for which, of course, thresholds and limits can be set, to which the recalibration is appropriate, since the inevitable small errors in many changes can also lead to a no longer negligible total error.
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen: Further advantages and details of the present invention will become apparent from the embodiments described below and with reference to the drawing. Showing:
Fig. 1 ein erfindungsgemäßes Kraftfahrzeug, und Fig. 1 shows an inventive motor vehicle, and
Fig. 2 eine Prinzipskizze zur Überprüfung der Kalibrierung. Fig. 2 is a schematic diagram for checking the calibration.
Fig. 1 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 1 in einer Draufsicht. Das Kraftfahrzeug 1 weist eine Frontscheibe 2 auf, an der, das Vorfeld 3 des Kraftfahrzeugs 1 erfassend, eine Kamera 4 angeordnet ist. Auf der Motorhaube 5 des Kraftfahrzeugs 1 ist ein Referenzmuster 6, hier in Form eines Schachbrettmusters, aufgebracht, das zur Überprüfung der Kalibrierung der Kamera 4 sowie zur Nachkalibrierung der Kamera 4 und gegebenenfalls zur Kalibrierung einer die Kamera 4 ersetzenden Kamera verwendet wird, wie im Folgenden noch näher dargelegt werden soll. Fig. 1 shows a schematic diagram of a motor vehicle 1 according to the invention in a plan view. The motor vehicle 1 has a windscreen 2, on which, detecting the apron 3 of the motor vehicle 1, a camera 4 is arranged. On the hood 5 of the motor vehicle 1, a reference pattern 6, here in the form of a checkerboard pattern, applied, which is used to check the calibration of the camera 4 and for recalibration of the camera 4 and optionally for the calibration of a camera replacing the camera 4, as in the following will be explained in more detail.
Dabei sei darauf hingewiesen, dass das Referenzmuster 6 der Motorhaube 5 nicht das einzige Referenzmuster des Kraftfahrzeugs 1 sein muss, insbesondere, wenn weitere, beispielsweise zu den Seiten oder auf das Rückfeld des Kraftfahrzeugs 1 gerichtete Kameras vorgesehen werden, die hier der Übersichtlichkeit halber nicht näher dargestellt sind. Dann können Referenzmuster auch auf einem Kofferraumdeckel 7 des Kraftfahrzeugs sowie beispielsweise auf dem Inneren von Seitentüren des Kraftfahrzeugs und dergleichen vorgesehen werden, bevorzugt wiederum Schachbrettmuster. It should be noted that the reference pattern 6 of the hood 5 does not have to be the only reference pattern of the motor vehicle 1, in particular if further, for example, to the sides or on the back of the motor vehicle 1 directed cameras are provided, the here for the sake of clarity not closer are shown. Then reference patterns can also be provided on a trunk lid 7 of the motor vehicle and, for example, on the interior of side doors of the motor vehicle and the like, preferably in turn checkerboard pattern.
Im vorliegenden Ausführungsbeispiel ist die Kamera 4 so angeordnet, dass sie das Referenzmuster 6 nur dann in zweckmäßiger Weise erfasst, wenn die Motorhaube 5 aufgestellt wird, mithin realerweise das gesamte Sichtfeld der Kamera 4 ausfüllt, was eine besonders einfache Überprüfung der Kalibrierung ermöglicht. Es sind auch Ausführungsbeispiele denkbar, in denen das Referenzmuster jederzeit im Erfassungsbereich der Kamera 4 liegt, so dass insbesondere auch während der Fahrt eine Überprüfung der Kalibrierung stattfinden kann, wobei jedoch bevorzugt eine statistische Mittelung über Zeitbereiche durchgeführt wird, um ungleiche Vibrationen der Kamera 4 und des Referenzmusters 6 herauszumitteln. In the present embodiment, the camera 4 is arranged so that it detects the reference pattern 6 in an expedient manner only when the hood 5 is set up, thus actually fills the entire field of view of the camera 4, which allows a particularly simple verification of the calibration. Embodiments are also conceivable in which the reference pattern lies at any time in the detection range of the camera 4, so that in particular a calibration check can take place while driving, although statistical averaging over time ranges is preferably performed in order to detect unequal vibrations of the camera 4 and of the reference pattern 6.
Der Kamera 4 ist als Steuereinrichtung ein Steuergerät 8 des Kraftfahrzeugs zugeordnet, welches zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist, konkret zur Überprüfung einer Kalibrierung der Kamera 4. Dies soll durch Fig. 2 näher erläutert werden. Unmittelbar, nachdem die Kamera 4, beispielsweise in einem Kalibrierstand, kalibriert wurde, wird die Motorhaube 5 aufgestellt und ein Referenzbild 9 des Referenzmusters 6 wird aufgenommen. Soll nun zu einem späteren Zeitpunkt eine Überprüfung der Kalibrierung stattfinden, wird wiederum die Motorhaube 5 aufgestellt und ein aktuelles Kamerabild 10 des Referenzmusters 6 wird aufgenommen. Das in einem Speicher des Steuergeräts 8 gespeicherte Referenzbild 9 bzw. das darin dargestellte Referenzmuster 6 wird nun mit dem in dem Kamerabild 10 dargestellten Referenzmuster 6 verglichen, so dass eine Abweichung 11 festgestellt werden kann, die einen Kalibrierungsfehler beschreibt. Im in Fig. 2 dargestellten Beispiel wirkt es so, als ob eine Verschiebung in der Horizontalrichtung stattgefunden hat. Durch das Schachbrettmuster können jedoch auch leicht Verzerrungen, auch nur lokal auftretende Verzerrungen, ermittelt werden. Mit anderen Worten können die Abweichungen beliebig genau ausgewertet werden. The camera 4 is assigned as a control device, a control unit 8 of the motor vehicle, which is designed for carrying out the method according to the invention, specifically for checking a calibration of the camera 4. This will be explained in more detail by Fig. 2. Immediately after the camera 4 has been calibrated, for example in a calibration stand, the hood 5 is set up and a reference image 9 of the reference pattern 6 is recorded. If now a review of the calibration take place at a later time, in turn the engine hood 5 is set up and a current camera image 10 of the reference pattern 6 is recorded. The reference image 9 stored in a memory of the control unit 8 or the reference pattern 6 shown therein is now compared with the reference pattern 6 shown in the camera image 10, so that a deviation 11 can be determined which describes a calibration error. In the example shown in Fig. 2, it acts as if a shift in the horizontal direction has taken place. However, the checkerboard pattern can also easily detect distortions, including only locally occurring distortions. In other words, the deviations can be evaluated as accurately as possible.
In einem Schritt 12 werden die Abweichungen 11 gegen Aktionskriterien überprüft, wobei beispielsweise festgestellt wird, ob die Abweichung 11 betragsmäßig einen Schwellwert überschreitet und dergleichen. Ist ein Aktionskriterium erfüllt, sind mithin Aktionen notwendig, erfolgen diese in einem Schritt 13. In a step 12, the deviations 11 are checked against action criteria, wherein, for example, it is determined whether the deviation 11 exceeds a threshold in terms of amount, and the like. If an action criterion is fulfilled, actions are therefore necessary, these take place in a step 13.
Im vorliegenden Ausführungsbeispiel sind konkret mehrere Aktionen vorgesehen. Zum einen wird eine Hinweisinformation ausgegeben, die auf den Kalibrierungsfehler hinweist. Zum anderen wird die festgestellte Abweichung 11 , gegebenenfalls mit weiteren Informationen, in einem Ereignisspeicher des Steuergeräts 8 abgelegt. Schließlich aber werden Nachkalibrierungskriterien ausgewertet. Ist ein Nachkalibrierungskriterium erfüllt, beispielsweise also die festgestellte Abweichung 11 relevant, aber nicht zu stark, findet eine Nachkalibrierung statt, nachdem sich die einzelnen Teilabweichungen, wie dargelegt wurde, aufgrund des Schachbrettmusters leicht klassifizieren, beurteilen und bei Erfüllung des Nachkalibrierungskriteriums auch korrigieren lassen. Dies kann selbstverständlich auch im Steuergerät 8 protokolliert werden, so dass sich auch der Verlauf von Kalibrierungsfehlern und dergleichen nachvollziehen lässt. Nach der Nachkalibrierung kann zweckmäßigerweise ein weiteres Kamerabild aufgenommen werden, welches dann wieder dem Referenzbild 9 entsprechen sollte. In the present embodiment, several actions are specifically provided. On the one hand, hint information is output which indicates the calibration error. On the other hand, the determined deviation 11, optionally with further information, is stored in an event memory of the control unit 8. Finally, however, recalibration criteria are evaluated. If a recalibration criterion is met, ie the deviation 11 found to be relevant, but not too strong, a recalibration takes place after the individual partial deviations have been easily classified, judged and corrected on the basis of the checkerboard pattern, as explained. This can of course also be logged in the control unit 8, so that the course of calibration errors and the like can be traced. After the recalibration may expediently another camera image are taken, which should then again correspond to the reference image 9.
Sollte die Kamera 4 durch eine andere Kamera ersetzt werden, kann diese im Übrigen unter Verwendung des Referenzbildes 9, welches noch von der Kamera 4 aufgenommen würde, auch kalibriert werden, nachdem dann ein klarer Bezugspunkt existiert, so dass die Daten der neuen Kamera und die Daten der Kamera 4 im Übrigen auch miteinander vergleichbar sind, wenn die Kalibrierung der neuen Kamera anhand des Referenzbildes 9 erfolgreich verläuft. Incidentally, if the camera 4 is to be replaced by another camera, it may be calibrated using the reference image 9 which would still be picked up by the camera 4, after which then a clear reference point exists, so that the data of the new camera and the Incidentally, data from the camera 4 are also comparable with one another when the calibration of the new camera with reference to the reference image 9 is successful.
Ist im Übrigen eine Nachkalibrierung oder eine Kalibrierung einer neuen Kamera nicht möglich, wird zweckmäßigerweise dies durch eine entsprechende Hinweisinformation auch ausgegeben. Hinweisinformationen können im Übrigen bevorzugt über ein Mensch-Maschine-Interface des Kraftfahrzeugs 1 ausgegeben werden, gegebenenfalls akustisch unterstützt. Incidentally, if a recalibration or calibration of a new camera is not possible, this is expediently also output by a corresponding notification information. Note information can otherwise be issued via a human-machine interface of the motor vehicle 1, possibly supported acoustically.

Claims

P A T E N T A N S P R Ü C H E PATENT APPLICATIONS
1. Kraftfahrzeug (1), insbesondere Testfahrzeug, umfassend eine das Umfeld des Kraftfahrzeugs (1) teilweise erfassende Kamera (4), dadurch gekennzeichnet, 1. motor vehicle (1), in particular test vehicle, comprising a surrounding of the motor vehicle (1) partially detecting camera (4), characterized
dass das Kraftfahrzeug (1) ein zumindest zeitweise durch die Kamera (4) erfassbares, fahrzeugfestes Referenzmuster (6) zur Überprüfung einer Kalibrierung und/oder zur Kalibrierung der Kamera (4) aufweist.  the motor vehicle (1) has a vehicle-fixed reference pattern (6), which can be detected by the camera (4) at least temporarily, for checking a calibration and / or calibrating the camera (4).
2. Kraftfahrzeug nach Anspruch 1 , 2. Motor vehicle according to claim 1,
dadurch gekennzeichnet,  characterized,
dass das Kraftfahrzeug (1) ferner eine Steuereinrichtung, insbesondere ein Steuergerät (8). umfasst und/oder dem Kraftfahrzeug eine externe Steuereinrichtung zugeordnet ist, welche zur Überprüfung der Kalibrierung der Kamera (4) anhand eines Vergleichs des in einem aktuell aufgenommenen Kamerabild (10) sichtbaren Referenzmusters (6) mit dem in einem unmittelbar nach einer erfolgten Kalibrierung der Kamera (4) aufgenommenen Referenzbild (9) der Kamera (4) sichtbaren Referenzmuster (6) ausgebildet ist.  in that the motor vehicle (1) also has a control device, in particular a control device (8). and / or the motor vehicle is associated with an external control device which for checking the calibration of the camera (4) based on a comparison of the currently recorded in a camera image (10) visible reference pattern (6) with the immediately after a successful calibration of the camera (4) recorded reference image (9) of the camera (4) visible reference pattern (6) is formed.
3. Kraftfahrzeug nach Anspruch 2, 3. Motor vehicle according to claim 2,
dadurch gekennzeichnet,  characterized,
dass die Steuereinrichtung bei einer festgestellten Abweichung (11) von der ursprünglichen Kalibrierung zur Ausgabe einer Hinweisinformation und/oder zur Nachkalibrierung der Kamera (4) in Abhängigkeit von der Abweichung (11) ausgebildet ist.  in the case of a detected deviation (11) from the original calibration, the control device is designed to output an indication information and / or to recalibrate the camera (4) as a function of the deviation (11).
4. Kraftfahrzeug nach einem der vorangehenden Ansprüche, 4. Motor vehicle according to one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass das Referenzmuster (6) auf einer Motorhaube (5) des Kraftfahrzeugs (1) angeordnet ist.  the reference pattern (6) is arranged on an engine hood (5) of the motor vehicle (1).
5. Kraftfahrzeug nach Anspruch 4, dadurch gekennzeichnet, 5. Motor vehicle according to claim 4, characterized,
dass die Kamera (4) einen wenigstens einen Teil des Referenzmusters (6) bei geschlossener Motorhaube (5) aufweisenden Erfassungsbereich aufweist und/oder zur Erfassung des Referenzmusters (6) bei geöffneter Motorhaube (5) angeordnet ist.  in that the camera (4) has a detection area having at least one part of the reference pattern (6) with the engine hood (5) closed and / or is arranged for detecting the reference pattern (6) when the engine hood (5) is open.
6. Kraftfahrzeug nach einem der vorangehenden Ansprüche, 6. Motor vehicle according to one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass das Referenzmuster (6) als ein Schachbrettmuster ausgebildet ist.  the reference pattern (6) is designed as a checkerboard pattern.
7. Kraftfahrzeug nach einem der vorangehenden Ansprüche, 7. Motor vehicle according to one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass die Kamera (4) eine an und/oder hinter einer Frontscheibe (2) des Kraftfahrzeugs (1) angeordnete und/oder das Vorfeld (3) des Kraftfahrzeugs (1) erfassende Kamera (4) ist.  in that the camera (4) is a camera (4) arranged on and / or behind a windshield (2) of the motor vehicle (1) and / or the apron (3) of the motor vehicle (1).
8. Verfahren zur Überprüfung einer Kalibrierung einer auf einen Teil des Umfelds eines Kraftfahrzeugs (1) gerichteten Kamera (4) des Kraftfahrzeugs (1), insbesondere eines Kraftfahrzeugs (1) nach einem der vorangehenden Ansprüche, wobei ein ortsfest an dem Kraftfahrzeug (1) angeordnetes Referenzmuster (6) in einem Kamerabild ( 0) der Kamera (4) aufgenommen wird und mit der Abbildung des Referenzmusters (6) in einem unmittelbar nach Kalibrierung der Kamera (4) aufgenommenen Referenzbild (9) der Kamera (4) verglichen wird. 8. A method for checking a calibration of a on a part of the environment of a motor vehicle (1) directed camera (4) of the motor vehicle (1), in particular of a motor vehicle (1) according to one of the preceding claims, wherein a stationary on the motor vehicle (1) arranged reference pattern (6) in a camera image (0) of the camera (4) is recorded and with the image of the reference pattern (6) in a immediately after calibration of the camera (4) recorded reference image (9) of the camera (4) is compared.
9. Verfahren nach Anspruch 8, 9. The method according to claim 8,
dadurch gekennzeichnet,  characterized,
dass bei einem auf der Motorhaube (5) des Kraftfahrzeugs (1) angeordneten Referenzmuster (6) das Referenzbild (9) und das Kamerabild (10) bei aufgestellter Motorhaube (5) aufgenommen werden.  in the case of a reference pattern (6) arranged on the engine hood (5) of the motor vehicle (1), the reference image (9) and the camera image (10) are recorded when the engine hood (5) is mounted.
10. Verfahren nach Anspruch 8, 10. The method according to claim 8,
dadurch gekennzeichnet, dass bei einer während der Fahrt vorgenommenen Überprüfung mehrere Kamerabilder (10) aufgenommen und zeitlich gemittelt werden, bevor ein Vergleich der abgebildeten Referenzstrukturen (6) stattfindet. 1. Verfahren nach einem der Ansprüche 8 bis 10, characterized, in that a plurality of camera images (10) are recorded and time-averaged during a check made during the journey, before a comparison of the imaged reference structures (6) takes place. 1. The method according to any one of claims 8 to 10,
dadurch gekennzeichnet,  characterized,
dass bei einer festgestellten, einen Schwellwert überschreitenden Abweichung (11) zwischen den Referenzmustern (6) eine Nachkalibrierung der Kamera (4) in Abhängigkeit der Abweichung (11) erfolgt und/oder eine Hinweisinformation ausgegeben wird.  in the case of a detected deviation (11) between the reference patterns (6) which exceeds a threshold value, the camera (4) is recalibrated as a function of the deviation (11) and / or information is output.
PCT/EP2014/003275 2013-12-19 2014-12-06 Motor vehicle and method for verifying a calibration of a camera WO2015090529A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013021616.8A DE102013021616A1 (en) 2013-12-19 2013-12-19 Motor vehicle and method for checking a calibration of a camera
DE102013021616.8 2013-12-19

Publications (1)

Publication Number Publication Date
WO2015090529A1 true WO2015090529A1 (en) 2015-06-25

Family

ID=52130199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/003275 WO2015090529A1 (en) 2013-12-19 2014-12-06 Motor vehicle and method for verifying a calibration of a camera

Country Status (2)

Country Link
DE (1) DE102013021616A1 (en)
WO (1) WO2015090529A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735716B2 (en) 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
WO2021003361A1 (en) * 2019-07-03 2021-01-07 Uatc, Llc Lidar fault detection system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003021B4 (en) 2016-03-12 2017-11-23 Audi Ag Motor vehicle control device and method for determining a position of an installed in a motor vehicle optical sensor
CN110879130A (en) * 2018-09-06 2020-03-13 舜宇光学（浙江）研究院有限公司 Imaging quality testing method of visual optical system and testing pattern unit thereof
DE102018220597B4 (en) * 2018-11-29 2021-02-18 Zf Friedrichshafen Ag Method and system for self-calibration of an optical sensor of an image acquisition system of a vehicle
CA3076342A1 (en) * 2019-04-24 2020-10-24 The Boeing Company Aligning sensors on vehicles using sensor output
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
DE102021126367A1 (en) 2021-10-12 2023-04-13 Avl Software And Functions Gmbh Method and device for determining the position of a portable reference sensor system in relation to a vehicle
DE102022104939A1 (en) 2022-03-02 2023-09-07 Audi Aktiengesellschaft Driverless transport vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050770A1 (en) * 2000-12-21 2002-06-27 Robert Bosch Gmbh Method and device for compensating for the maladjustment of an image producing device
WO2004094196A1 (en) * 2003-04-24 2004-11-04 Robert Bosch Gmbh Device and method for calibrating an image sensor
DE102004056669A1 (en) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Device for the calibration of an image sensor system in a motor vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037797B4 (en) * 2005-08-03 2011-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System and method for automatic calibration of a projection and use of the system
JP5124147B2 (en) * 2007-02-01 2013-01-23 三洋電機株式会社 Camera calibration apparatus and method, and vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050770A1 (en) * 2000-12-21 2002-06-27 Robert Bosch Gmbh Method and device for compensating for the maladjustment of an image producing device
WO2004094196A1 (en) * 2003-04-24 2004-11-04 Robert Bosch Gmbh Device and method for calibrating an image sensor
DE102004056669A1 (en) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Device for the calibration of an image sensor system in a motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BROGGI A ET AL: "Self-calibration of a stereo vision system for automotive applications", PROCEEDINGS OF THE 2001 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION. ICRA 2001. SEOUL, KOREA, MAY 21 - 26, 2001; [PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION], NEW YORK, NY : IEEE, US, vol. 4, 21 May 2001 (2001-05-21), pages 3698 - 3703, XP010550713, ISBN: 978-0-7803-6576-6, DOI: 10.1109/ROBOT.2001.933193 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735716B2 (en) 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
WO2021003361A1 (en) * 2019-07-03 2021-01-07 Uatc, Llc Lidar fault detection system
US11543535B2 (en) 2019-07-03 2023-01-03 Uatc, Llc Lidar fault detection system

Also Published As

Publication number Publication date
DE102013021616A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
WO2015090529A1 (en) Motor vehicle and method for verifying a calibration of a camera
DE102012017497B3 (en) Traffic system for autonomous driving and method for determining a vehicle damage
EP2758762B1 (en) Device for detecting the impact of an object on a vehicle
EP3001137B1 (en) Method for monitoring a calibration of multiple environment sensors of a motor vehicle and motor vehicle
DE102012223481B4 (en) Apparatus and method for tracking the position of a peripheral vehicle
DE102008001648A1 (en) Driver assistance method for moving a motor vehicle and driver assistance device
DE102014208638A1 (en) Driver assistance system and method for automated logging of log data
DE102017122964A1 (en) VEHICLE MIRROR SYSTEM
EP3833575B1 (en) Surveillance camera system
DE102010062589A1 (en) Camera-based method for distance determination in a stationary vehicle
DE102015008887A1 (en) Method and device for calibrating a head-up display in a vehicle
EP3727936A1 (en) Method for detecting at least one object present on a motor vehicle, control device, and motor vehicle
DE102012018521A1 (en) Method for damage detection in motor vehicle by damage detection device, particularly for hire vehicle, involves evaluating occurrence of damage event in or on vehicle body depending on sensor data and generating declaration
DE102010023199A1 (en) Method for operating image capturing device for realizing outer mirror functions of motor vehicle, involves monitoring momentary state of cameras in dependence of result of comparison and/or merging of environmental characteristics
DE102015010535A1 (en) Camera-based environmental detection for commercial vehicles
DE102017103391A1 (en) Method for improving the user-friendliness of a vehicle
DE102011116730A1 (en) Method for calibrating control device utilized for controlling drive system of road vehicle, involves performing final calibration of control device based on road tests that are performed based on target and actual reactions
DE102014218995A1 (en) Method and device for bird-view display of a vehicle combination and retrofittable camera
DE102016003574A1 (en) Method for monitoring an immediate vehicle environment
DE102019212124B4 (en) Motor vehicle and method for operating a motor vehicle
EP3301646B1 (en) Camera system and vehicle comprising such a camera system
DE102010031599A1 (en) Method for monitoring a pedestrian detection device for a vehicle
EP3103683B1 (en) Method for operating a camera-based vehicle system
DE102019202428A1 (en) Method of diagnosis of vibration dampers
DE102013218299A1 (en) A method of detecting damage to a vehicle from a test image, corresponding system and computer program product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14815235

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 14815235

Country of ref document: EP

Kind code of ref document: A1