WO2024078870A1 - Verfahren zum überprüfen einer kalibration einer distanzmessung, die mithilfe einer in einem fahrzeug eingebauten kamera durchgeführt wird - Google Patents

Verfahren zum überprüfen einer kalibration einer distanzmessung, die mithilfe einer in einem fahrzeug eingebauten kamera durchgeführt wird Download PDF

Info

Publication number
WO2024078870A1
WO2024078870A1 PCT/EP2023/076650 EP2023076650W WO2024078870A1 WO 2024078870 A1 WO2024078870 A1 WO 2024078870A1 EP 2023076650 W EP2023076650 W EP 2023076650W WO 2024078870 A1 WO2024078870 A1 WO 2024078870A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
vehicle
traffic sign
camera
calibration
Prior art date
Application number
PCT/EP2023/076650
Other languages
English (en)
French (fr)
Inventor
Chen Ding
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2024078870A1 publication Critical patent/WO2024078870A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for checking a calibration of a distance measurement carried out by means of a camera installed in a vehicle, a computer program product, a control device for a vehicle and a vehicle.
  • Vehicle systems and driver assistance systems are based on images of the vehicle's surroundings taken by cameras installed in the vehicle, for example to measure the distance to a vehicle ahead and to initiate and/or carry out braking if the distance is too small.
  • the camera In order to be able to accurately determine a distance from images taken by the camera installed in the vehicle, for example, the camera must be calibrated. According to official regulations, a measurement inaccuracy in the calibration of the distance measurement is permitted. This varies depending on the actual distance or the actual distance, from which the measured distance or the measured distance may deviate by a predetermined percentage.
  • the camera is calibrated before being installed in the vehicle, but dynamic effects such as vehicle loading, tire pressure and long-term effects such as aging of the vehicle body can have a negative influence on the calibration of the camera, making it necessary to recalibrate the camera installed in the vehicle.
  • An incorrectly or poorly calibrated camera means that camera-based vehicle and driver assistance systems can no longer work reliably because, for example, the distance to a vehicle in front is measured incorrectly. Therefore, regular calibration checks are a point that should not be neglected when using camera-based vehicle and driver assistance systems.
  • WO 2019 066770 A1 discloses a method for calibrating a camera using traffic signs.
  • a processor of a vehicle certain dimensions of several objects, in particular traffic signs, are stored.
  • An image from a camera installed in the vehicle is received and an object is recognized in the image.
  • the distance to the object as well as a width and a height of the object are determined.
  • the width and height of the object determined in this way are compared with the stored width and height of the object and measurement errors are derived from this.
  • one or more calibration parameters are determined, which are then used to calibrate subsequently recorded images.
  • an object of the present invention is to provide a method, a computer program product, a control device for a vehicle and a vehicle for checking a calibration of a distance measurement carried out using a camera installed in a vehicle.
  • a method for checking a calibration of a distance measurement carried out using a camera installed in a vehicle.
  • the method comprises the steps of: a) recognizing a first traffic sign indicating a distance to a second traffic sign in a first image taken with the camera, b) recognizing the second traffic sign in a second image taken with the camera, c) measuring a distance between the camera and the second traffic sign by evaluating the second image, and d) checking the calibration depending on the measured and indicated distance.
  • the method has the advantage that a poor calibration or a calibration that deteriorates over time of a distance measurement that is carried out using a camera installed in a vehicle can be detected at an early stage. This means that a new calibration of the distance measurement can be carried out as required and The correct determination and measurement of distances in the images recorded by the camera can be ensured. This leads to improved use of camera-based vehicle systems and driver assistance systems in the vehicle.
  • Calibration is necessary to measure distances by evaluating the image captured by the camera and converting these into distances in the real environment. Only if the calibration is correct do the distances measured in the image captured by the camera match the actual distances. Calibration therefore corrects, for example, extrinsic and intrinsic camera parameters as well as other imaging errors.
  • an odometric measurement of a distance travelled by the vehicle is started when the vehicle passes the first traffic sign and step d) is carried out as a function of the measured distance, the travelled distance and the indicated distance.
  • the wheel sensors are, for example, wheel rotation sensors, from whose sensor data the distance covered by the vehicle is determined.
  • the distance covered by the vehicle is taken into account when checking the calibration, or the calibration is carried out depending on the distance covered. For example, the check can be carried out by ensuring that the sum of the measured distance and the distance covered corresponds to the specified distance.
  • the distance covered determined using the odometric measurement has a very low measurement inaccuracy, which is why this type of distance measurement is suitable for comparison. If a deviation occurs when comparing the distances, If the distance measurement is not accurate, it can be assumed that the distance measurements in the camera images show a measurement inaccuracy due to the low measurement inaccuracy of the odometric distance measurement.
  • step c) the distance between the camera and a vehicle stopping adjacent to the second traffic sign is measured by evaluating the second image.
  • the distance measurement can, for example, be set up to continuously measure a distance to a vehicle that is in front of the ego vehicle while driving. Accordingly, a distance to a vehicle that is stopped next to the second traffic sign is already provided. The distance to the second traffic sign is therefore determined indirectly here (namely by means of the vehicle stopped at the second traffic sign).
  • a method for checking a calibration of a distance measurement that is carried out using a camera installed in a vehicle.
  • the method comprises the steps: a) recognizing at least two traffic signs in an image recorded with the camera, the first traffic sign indicating a distance to the second traffic sign, b) measuring a distance between the first traffic sign and the second traffic sign by evaluating the image, and c) checking the calibration depending on the indicated and the measured distance.
  • the method offers the advantage that the distance between at least two traffic signs is determined in a recorded image. This method can therefore be carried out both while driving and when stationary.
  • the calibration is carried out depending on the distance indicated on the first traffic sign and the Evaluation of the recorded image determined distance between the first and second traffic signs.
  • step b) the distance between the camera and a vehicle stopping adjacent to the second traffic sign is measured by evaluating the image.
  • the first traffic sign comprises an additional sign which indicates the distance to the second traffic sign as a numerical value.
  • the first traffic sign in conjunction with the additional sign indicates a second traffic sign ahead.
  • the distance between the first and second traffic signs is indicated as a number on the additional sign.
  • first and second traffic signs can be identical traffic signs or different traffic signs; in particular, the second traffic sign can also be a traffic light.
  • the first traffic sign and the second traffic sign are traffic signs that display a numerical indication that indicates a distance from the respective traffic sign to a reference point ahead, wherein the distance between the first and the second traffic sign is determined by the amount of the difference in the numerical indications.
  • Traffic signs that each indicate a distance to a reference point ahead are, for example, traffic signs that indicate an exit on a motorway. There can also be more than two traffic signs of this type, for example four.
  • the first and second traffic signs are adjacent traffic signs if several traffic signs are installed. Accordingly, they can, for example, show the distances 300 m and 200 m. The distances shown can also be larger or smaller.
  • the multiple traffic signs can also show the distances 400 m, 300 m, 200 m, 100 m, whereby a distance between two adjacent traffic signs of the multiple traffic signs is identical.
  • the first and second traffic signs can, for example, be the first and second traffic signs of the multiple traffic signs, or the third and fourth traffic signs of the multiple traffic signs.
  • the first traffic sign and the second traffic sign have a predetermined distance from each other and the predetermined distance is made available to the vehicle wirelessly or is stored on a data storage device of the vehicle.
  • a first and a second traffic sign have a predetermined distance from each other.
  • a first and second traffic sign are, for example, guide posts that are set up at a predetermined distance from each other or traffic signs that indicate a railway crossing ahead. If such a first traffic sign is recognized, the predetermined distance to the second traffic sign is made available wirelessly or the predetermined distance is stored and can then be retrieved.
  • information is output to a driver of the vehicle depending on the verification of the calibration of the distance measurement.
  • Information about the calibration check and/or about a calibration status is issued to a driver of the vehicle.
  • the driver can be informed, for example, that the calibration is due to be carried out over a period of time becomes worse and/or a new calibration must be carried out, for example by a specialist workshop.
  • a driver can be informed that camera-based vehicle systems and driver assistance systems can only be used to a limited extent and/or are switched off.
  • a calibration of the distance measurement is carried out depending on the verification of the calibration of the distance measurement.
  • a distance measurement using the camera installed in the vehicle can have a maximum specified measurement inaccuracy of 10% for an actual distance of 100 m, but this measurement inaccuracy can also be smaller or larger. However, if the inspection reveals that the measurement inaccuracy is greater than a specified maximum measurement inaccuracy, the distance measurement is not correctly calibrated.
  • Recalibration of the camera can be performed, for example, via a wireless network, by comparing size dimensions of traffic signs with stored size dimensions or the like.
  • driver assistance systems of the vehicle are switched off depending on the calibration check.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above.
  • a computer program product such as a computer program means, can be provided or delivered, for example, as a storage medium, such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file from a server in a network. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.
  • a control device for a vehicle comprises: a processor unit, and a memory unit on which means for carrying out the method described above are stored.
  • a processor unit in the vehicle is set up to recognize first and second traffic signs, for example using image recognition software based on artificial intelligence. This is also set up, for example, to draw conclusions about the second traffic sign from the combination of the first recognized traffic sign and the additional sign indicating the distance.
  • the respective unit can be implemented in hardware and/or software.
  • the respective unit can be designed as a computer or as a microprocessor, for example.
  • the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object.
  • each of the units mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or an engine control device (ECU: Engine Control Unit).
  • ECU Engine Control Unit
  • a vehicle is provided with one or more cameras for taking images, and a control device according to the fourth aspect.
  • One or more cameras are mounted on the vehicle so that they have the largest possible field of view. For example, in the middle of the vehicle and/or as a satellite camera on the side of the vehicle.
  • Fig. 1 shows a schematic plan view of a vehicle with a camera and a control unit
  • Fig. 2 shows a schematic representation of first recognized traffic signs and associated second traffic signs
  • Fig. 3 shows a schematic representation of an application situation of a first aspect of a method for checking a calibration of a distance measurement, which is carried out using a camera installed in a vehicle, in road traffic;
  • Fig. 4 shows a flow diagram of a first aspect of a method for checking a calibration of a distance measurement performed using a camera installed in a vehicle
  • Fig. 5 shows a schematic representation of an application situation of a method for checking a calibration of a distance measurement carried out using a camera installed in a vehicle, according to a second aspect
  • Fig. 6 shows a flow diagram of a second aspect of a method for checking a calibration of a distance measurement performed using a camera installed in a vehicle.
  • Fig. 1 shows a schematic plan view of a vehicle 100 with a camera 120, a wheel sensor 130 and a control unit 110 according to an embodiment.
  • the vehicle 100 is a motor vehicle, in particular a passenger car.
  • the camera 120 is mounted centrally on the vehicle 100 so that it covers as large a field of view as possible in the direction of travel.
  • a wheel sensor 130 is mounted on at least one wheel (not shown in Fig. 1).
  • One wheel sensor can be mounted on each wheel, whereby the number of wheel sensors can be one or equal to the number of wheels of the vehicle 100, for example.
  • the wheel sensor 130 can in particular be a wheel pulse sensor, i.e. a wheel speed sensor.
  • the vehicle 100 can also have further sensors such as ultrasonic sensors, which are designed as part of a driver assistance system or the like of the vehicle 100.
  • the control unit 110 of the vehicle 100 comprises a processor unit and a memory unit.
  • the control unit 110 is configured - preferably with the aid of software that is stored on the memory unit and executed with the aid of the processor unit - to carry out a method described below for checking a calibration of a distance measurement that is carried out using a camera 120 installed in a vehicle 100.
  • the control unit 110 is configured to output several variables, but in particular the result of the calibration check, for example to the driver assistance system and/or to a driver of the vehicle.
  • the driver assistance system requires precise detection of an environment 200 in which the vehicle 100 is located, including, for example, distances to objects and from objects to each other in the environment 200.
  • a driver assistance system that is designed to support a driver of the vehicle 100, for example by assisting with braking or even semi-autonomous or fully autonomous operation of the vehicle, must be able to accurately determine distances of the vehicle to objects and distances between two or more objects in the environment 200 of the vehicle 100.
  • a first traffic sign 210, 230, 260 is recognized in a first image taken with the camera and then a second traffic sign 210', 250, 280 is recognized in a second image taken with the camera, as shown in Fig. 2.
  • the second recognized traffic sign 210', 250, 280 depends on the first recognized traffic sign 210, 230, 260, it can be different from the first, identical to the first and, moreover, it can also be a traffic light system 280.
  • first recognized traffic sign 210, 230, 260 and the second recognized traffic sign 210', 250, 280
  • first traffic signs 210, 230, 260 left column
  • second traffic signs 210', 250, 280 right column
  • Fig. 2 a shows the first recognized traffic sign 210 "No entry” with an additional sign 220 "after 100 m", which is an additional sign indicating distance. According to the combination of the traffic sign 210 with the additional sign 220, a second traffic sign 210' "No entry” is located at a distance of 100 m.
  • Fig. 2 b shows the first recognized traffic sign 230 "Give way” with an additional sign 240 "Stop in 100 m".
  • a second traffic sign 250 "Stop. Give way” is located at a distance of 100 m.
  • Fig. 2 c shows the first recognized traffic sign 260 "traffic light system” with an additional sign 270 "after 200 m".
  • a traffic light system 280 is located at a distance of 200 m.
  • the second recognized traffic sign is a traffic light system 280.
  • a processor unit of the control unit 110 of the vehicle 100 is set up to deduce the second traffic sign 210', 250, 280 depending on the combination of the first recognized traffic sign 210, 230, 260 with the distance-indicating additional sign 220, 240, 270. This ensures that the second recognized traffic sign 210', 250, 280 is the traffic sign associated with the first recognized traffic sign 210, 230, 260 and thus also that the distance to the associated second traffic sign is measured.
  • first recognized traffic signs 210, 230, 260 and additional signs indicating distance 220, 240, 270 are shown here only as examples and the method is not limited to the shown combinations of first traffic signs 210, 230, 260 with additional signs indicating distance 220, 240, 270 and second traffic signs 210', 250, 280.
  • Fig. 3 shows a schematic representation of a situation in road traffic in which the method for checking a calibration of a distance measurement carried out by means of a camera 120 installed in a vehicle 100 is carried out
  • Fig. 4 shows a schematic flow diagram of the method with the steps S1 to S9.
  • a pair of first and second traffic signs was chosen as an example and representative, which is shown in Fig. 2 b).
  • the vehicle 100 which is equipped as shown in Fig. 1, is driving on a road on the edge of which the first traffic sign 230 and the second traffic sign 250 are located.
  • the road can be, for example, a country road, motorway, or a street within a city.
  • the vehicle 100 is located at position POS1 and the control unit 110 receives in this position a first image of the surroundings 200 of the vehicle 100, which was recorded by the camera 120 installed in the vehicle 100 (step S1).
  • the processor unit of the control unit 110 processes the first received image and recognizes a first traffic sign 230, which indicates a distance to a second traffic sign 250.
  • the processor unit recognizes the distance to the second traffic sign, which is indicated on the additional sign 240, and sets this as the first distance A (step S3).
  • the processor unit processes the combination of the first recognized traffic sign 230 and the additional sign 240 in order to recognize the second traffic sign 250 depending on this combination.
  • the vehicle 100 is now at position POS2 and thus passes the first recognized traffic sign 230 with additional sign 240.
  • the passing of the first traffic sign is detected, for example, by the camera 120 installed in the vehicle 100 and an odometric measurement of the distance traveled is started (step S4).
  • the odometric measurement is carried out by the wheel sensor 130 of the vehicle 100.
  • a value of the odometric distance measurement is set as the second distance B (step S5).
  • a second image recorded by the camera 120 is received by the processor unit of the control unit 110 (step S6).
  • the position POS3 in Fig. 3 is chosen as an example and can be anywhere between the first traffic sign 230 and the second traffic sign 250.
  • an associated second traffic sign 250 is recognized in the second image recorded with the camera (step S7).
  • a third distance C of the camera 120 of the vehicle 100 to the second traffic sign 250 is measured by evaluating the second image (step S8).
  • the calibration is then checked as a function of the three determined distances A, B, C (step S9).
  • the sum of the second distance B and the third distance C must be equal to the first distance A. Since the camera 120 installed in the vehicle 100 may have a measurement inaccuracy, the check of the calibration as a function of the three distances A, B, C must be within this measurement inaccuracy.
  • a check of the calibration depending on the three distances and subsequently determination of a deviation in the calibration can be carried out, for example, using the expression
  • the distance on the additional sign 240 is 100 m, so the first distance A is 100 m.
  • a third distance C from the camera 120 to the second recognized traffic sign 250 of C equal to 80 m is measured by evaluating the second image. This results in a deviation of
  • 10.
  • a distance in an image taken by the camera may have a measurement inaccuracy of 8.5%. In this example, however, a measurement inaccuracy of 10% is determined. Accordingly, the distance measurement using the camera 120 installed in the vehicle 100 is no longer calibrated and therefore a new calibration must be carried out.
  • the vehicle 100 is configured to perform a recalibration, for example via a wireless network.
  • information can also be issued to the driver of the vehicle 100. This can, for example, alert the driver of the vehicle 100 to the faulty calibration and request that he no longer rely on camera-based driver assistance systems until the vehicle's own camera 120 has been recalibrated.
  • Fig. 5 shows the situation in road traffic in which the method for checking a calibration of a distance measurement, which is carried out using a camera 120 installed in a vehicle 100, is carried out
  • Fig. 6 shows a flow chart of the method with the steps S10 to S14.
  • a vehicle 100 equipped as shown in Fig. 1, is driving on a road, for example on a motorway.
  • the vehicle 100 is now at position POS10 and the control unit 110 receives an image from the camera 120 installed in the vehicle (step S10).
  • the processor unit of the control unit 110 recognizes several traffic signs 290, 290' in this image, each of which indicates a distance to a reference point (step S11).
  • the processor unit recognizes a first distance D between the traffic signs 290, 290' depending on the numerical information on the first and second traffic signs (step S12).
  • a second distance E between the first and second traffic signs 290, 290' is measured by the processor unit by evaluating the image (step S13).
  • the calibration is then checked as a function of the first distance D and the second distance E (step S14).
  • the first traffic sign 290 shows a number of 100 m
  • the second traffic sign 290' shows a number of 50 m.
  • the processor unit is set up to determine from this that the specified distance D, i.e. the distance between the first and second traffic signs, is 50 m.
  • a second distance E of 51 m is measured between the first and second traffic signs 290, 290'.
  • the at least two traffic signs 290, 290' were recognized by the vehicle 100 and the indicated distances D were determined.
  • the vehicle 100 is located at the position POS20, while a vehicle 201 is located at the position POS30 and is adjacent to the second traffic sign 290'.
  • the processor unit determines a distance F to the vehicle 201 by evaluating the image.
  • the calibration is then checked as a function of the distance F and the specified distance D.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug (100) eingebauten Kamera (120) durchgeführt wird, mit den Schritten: a) Erkennen eines ersten Verkehrszeichens (210, 230, 260, 290), das eine Distanz zu einem zweiten Verkehrszeichen (210', 250, 280, 290') angibt, in einem mit der Kamera (120) aufgenommenen ersten Bild, b) Erkennen des zweiten Verkehrszeichens (210', 250, 280, 290') in einem mit der Kamera (120) aufgenommenen zweiten Bild, c) Messen einer Distanz zwischen der Kamera (120) und dem zweiten Verkehrszeichen (210', 250, 280, 290') durch Auswertung des zweiten Bildes, und d) Überprüfen der Kalibration in Abhängigkeit der gemessenen und angegebenen Distanz.

Description

VERFAHREN ZUM ÜBERPRÜFEN EINER KALIBRATION EINER DISTANZMESSUNG, DIE MITHILFE EINER IN EINEM FAHRZEUG EINGEBAUTEN KAMERA DURCHGEFÜHRT
WIRD
Die vorliegende Erfindung betrifft ein Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird, ein Computerprogrammprodukt, ein Steuergerät für ein Fahrzeug und ein Fahrzeug.
Fahrzeugsysteme und Fahrerassistenzsysteme beruhen auf Aufnahmen der Fahrzeugumgebung von im Fahrzeug eingebauten Kameras, um beispielsweise den Abstand zu einem vorausfahrenden Fahrzeug zu messen und im Falle eines zu geringen Abstands einen Bremsvorgang einzuleiten und/oder durchzuführen. Um beispielsweise einen Abstand aus Aufnahmen der im Fahrzeug eingebauten Kamera genau bestimmen zu können, muss diese kalibriert sein. Dabei ist, gemäß offizieller Vorschriften, ein Messungenauigkeit in der Kalibration der Distanzmessung erlaubt. Diese variiert in Abhängigkeit der tatsächlichen Distanz beziehungsweise des tatsächlichen Abstands, von der die gemessene Distanz beziehungsweise der gemessene Abstand um einen vorbestimmten prozentualen Anteil abweichen darf. Die Kamera wird vor dem Einbau in das Fahrzeug kalibriert, jedoch können dynamische Effekte, wie beispielsweise eine Beladung des Fahrzeugs, der Reifendruck, und langfristige Effekte, wie beispielsweise das Altern der Fahrzeugkarosserie, einen negativen Einfluss auf die Kalibrierung der Kamera haben, was eine erneute Kalibrierung der im Fahrzeug eingebauten Kamera notwendig macht. Eine falsch oder schlecht kalibrierte Kamera führt dazu, dass kamerabasierte Fahrzeug- und Fahrerassistenzsysteme nicht mehr verlässlich arbeiten können, da beispielsweise ein Abstand zu einem vorausfahrenden Fahrzeug falsch gemessen wird. Daher ist eine regelmäßige Überprüfung der Kalibration ein nicht zu vernachlässigender Punkt bei einem Einsatz von kamerabasierten Fahrzeug- und Fahrerassistenzsystemen.
Beispielsweise ist aus der WO 2019 066770 A1 eine Methode zur Kalibrierung einer Kamera mit Hilfe von Verkehrsschildern bekannt. Dafür sind auf einem Prozessor eines Fahrzeugs bestimmte Abmessung von mehreren Objekten, insbesondere von Verkehrsschildern, gespeichert. Ein Bild von einer in dem Fahrzeug eingebauten Kamera wird empfangen und ein Objekt in dem Bild erkannt. Auf Grundlage des Bildes wird der Abstand zu dem Objekt, sowie eine Breite und eine Höhe des Objekts bestimmt. Die so bestimmte Breite und Höhe des Objekts werden mit der abgespeicherten Breite und Höhe des Objekts verglichen und daraus Messfehler abgeleitet. Auf Grundlage dieser Messfehler werden ein oder mehrere Kalibrierungsparameter ermittelt, die dann zur Kalibrierung für anschließend aufgenommene Bilder verwendet werden.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein Verfahren, ein Computerprogrammprodukt, ein Steuergerät für ein Fahrzeug und ein Fahrzeug zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird, bereitzustellen.
Gemäß einem ersten Aspekt wird ein Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird, bereitgestellt. Das Verfahren umfasst die Schritte: a) Erkennen eines ersten Verkehrszeichens, das eine Distanz zu einem zweiten Verkehrszeichen angibt, in einem mit der Kamera aufgenommenen ersten Bild, b) Erkennen des zweiten Verkehrszeichens in einem mit der Kamera aufgenommenen zweiten Bild, c) Messen einer Distanz zwischen der Kamera und dem zweiten Verkehrszeichen durch Auswertung des zweiten Bildes, und d) Überprüfen der Kalibration in Abhängigkeit der gemessenen und angegebenen Distanz.
Das Verfahren hat den Vorteil, dass eine schlechte Kalibration beziehungsweise eine über einen Zeitraum schlechter werdende Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird, frühzeitig erkannt werden kann. Damit kann eine erneute Kalibration der Distanzmessung nach Bedarf durchgeführt werden und das korrekte Bestimmen und Messen von Distanzen in den aufgenommenen Bildern der Kamera kann sichergestellt werden. Dies führt dazu, dass kamerabasierte Fahrzeugsysteme und Fahrerassistenzsysteme des Fahrzeugs verbessert verwendet werden.
Die Kalibration ist dazu notwendig, um durch Auswertung des durch die Kamera aufgenommenen Bildes Distanzen zu messen und diese in Abstände und Distanzen in dem realen Umfeld umzurechnen. Nur wenn eine korrekte Kalibration vorliegt, stimmen die in dem mit der Kamera aufgenommenen Bild gemessenen Abstände mit den tatsächlichen Abständen überein. Die Kalibration korrigiert damit beispielsweise extrinsische und intrinsische Kameraparameter sowie weitere Abbildungsfehler.
Gemäß einer Ausführungsform wird mit einer odometrischen Messung einer durch das Fahrzeug zurückgelegten Distanz begonnen, wenn das Fahrzeug das erste Verkehrszeichen passiert, und Schritt d) wird in Abhängigkeit der gemessenen Distanz, der zurückgelegten Distanz und der angegeben Distanz durchgeführt.
Wird das Verfahren während des Fahrens durchgeführt, wird eine odometrische Messung gestartet und die von dem Fahrzeug zurückgelegte Strecke beispielsweise mithilfe von Radsensoren gemessen. Die Radsensoren sind dabei beispielsweise Radumdrehungssensoren, aus deren Sensordaten eine von dem Fahrzeug zurückgelegte Strecke bestimmt wird.
Die von dem Fahrzeug zurückgelegte Strecke wird bei der Überprüfung der Kalibration berücksichtigt, beziehungsweise diese auch in Abhängigkeit der zurückgelegten Strecke durchgeführt. Beispielsweise kann die Überprüfung dadurch durchgeführt werden, dass eine Summe der gemessenen Distanz und der zurückgelegten Distanz der angegeben Distanz entsprechen muss. Die mithilfe der odometrischen Messung bestimmte zurückgelegte Streckt weist eine sehr geringe Messungenauigkeit auf, weshalb sich diese Art der Distanzmessung für einen Vergleich anbietet. Tritt bei dem Vergleich der Distanzen eine Abwei- chung auf, kann auf Grund der geringen Messungenauigkeit der odometrischen Distanzmessung die Annahme getroffen werden, dass die Distanzmessungen in den Bildern der Kamera eine Messungenauigkeit aufweisen.
Gemäß einer Ausführungsform wird in Schritt c) die Distanz zwischen der Kamera und einem Fahrzeug, das benachbart zu dem zweiten Verkehrszeichen hält, durch Auswertung des zweiten Bildes gemessen wird.
Die Distanzmessung kann beispielsweise dazu eingerichtet sein, dauerhaft während des Fahrens einen Abstand zu einem Fahrzeug zu messen, dass sich vor dem Ego-Fahrzeug befindet. Demgemäß wird eine Distanz zu einem Fahrzeug, das benachbart zu dem zweiten Verkehrszeichen hält, schon von Haus aus zur Verfügung gestellt. Die Distanz zu dem zweiten Verkehrszeichen wird hier also mittelbar (nämlich mittels des an dem zweiten Verkehrszeichen haltenden Fahrzeugs) bestimmt.
Gemäß einem zweiten Aspekt wird ein Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird, bereitgestellt. Das Verfahren umfasst die Schritte: a) Erkennen von zumindest zwei Verkehrszeichen in einem mit der Kamera aufgenommenen Bild, wobei das erste Verkehrszeichen eine Distanz zu dem zweiten Verkehrszeichen angibt, b) Messen einer Distanz zwischen dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen durch Auswertung des Bildes, und c) Überprüfen der Kalibration in Abhängigkeit der angegebenen und der gemessenen Distanz.
Das Verfahren bietet den Vorteil, dass die Distanz zwischen den zumindest zwei Verkehrszeichen in einem aufgenommenen Bild bestimmt wird. Diese Verfahren kann daher sowohl während des Fahrens als auch im Stillstand durchgeführt werden. Dabei wird die Kalibration in Abhängigkeit der auf dem ersten Verkehrszeichen angegebenen Distanz und der durch Auswertung des aufgenommenen Bildes bestimmten Distanz zwischen dem ersten und zweiten Verkehrszeichen bestimmt.
Gemäß einer Ausführungsform wird in Schritt b) die Distanz zwischen der Kamera und einem Fahrzeug, das benachbart zu dem zweiten Verkehrszeichen hält, durch Auswertung des Bildes gemessen.
Gemäß einer Ausführungsform umfasst das erste Verkehrszeichen ein Zusatzzeichen, das die Distanz zu dem zweiten Verkehrszeichen als Zahlenangabe angibt.
Das erste Verkehrszeichen in Verbindung mit dem Zusatzzeichen zeigen ein vorausliegendes zweites Verkehrszeichen an. Die Distanz zwischen dem ersten und zweiten Verkehrszeichen ist dabei als Zahlenangabe auf dem Zusatzzeichen angegeben.
Dabei können verschiedene Kombinationen von ersten und zweiten Verkehrszeichen auftreten. Beispielsweise können das erste und das zweite Verkehrszeichen identische Verkehrszeichen oder unterschiedliche Verkehrszeichen sein, insbesondere kann das zweite Verkehrszeichen auch eine Lichtsignalanlage sein.
Gemäß einer Ausführungsform sind das erste Verkehrszeichen und das zweite Verkehrszeichen Verkehrszeichen, die eine Zahlenangabe anzeigen, die eine Distanz von dem jeweiligen Verkehrszeichen zu einem vorausliegenden Referenzpunkt angeben, wobei die Distanz zwischen dem ersten und dem zweiten Verkehrszeichen durch den Betrag der Differenz der Zahlenangaben bestimmt wird.
Verkehrszeichen, die jeweils eine Distanz zu einem vorausliegenden Referenzpunkt angeben, sind beispielsweise Verkehrszeichen, die eine Ausfahrt an einer Autobahn beschildern. Es können auch mehr als zwei Verkehrszeichen dieser Art aufgestellt sein, beispielswiese vier. Jedoch sind das erste und das zweite Verkehrszeichen benachbarte Verkehrszeichen, wenn mehrere Verkehrszeichen aufgestellt sind. Demgemäß können diese beispielsweise die Distanzen 300 m und 200 m anzeigen. Die angezeigten Distanzen können dabei auch größer oder kleiner sein. Beispielsweise können die mehreren Verkehrszeichen auch die Distanzen 400 m, 300 m, 200 m, 100 m anzeigen, wobei eine Distanz zwischen zwei benachbarten Verkehrszeichen der mehreren Verkehrszeichen identischen ist. Das erste und das zweite Verkehrszeichen kann beispielsweise das erste und zweite Verkehrszeichen der mehreren Verkehrszeichen sein, oder auch das dritte und vierte Verkehrszeichen der mehreren Verkehrszeichen.
Gemäß einer Ausführungsform weisen das erste Verkehrszeichen und das zweite Verkehrszeichen eine vorbestimmte Distanz zueinander auf und die vorbestimmte Distanz wird dem Fahrzeug drahtlos zur Verfügung gestellt oder ist auf einem Datenspeicher des Fahrzeugs abgespeichert.
Auch wenn ein erstes Verkehrszeichen eine Distanz zu einem zweiten Verkehrszeichen nicht durch eine Zahlenangabe anzeigt, so weisen ein erste und ein zweites Verkehrszeichen eine vorbestimmte Distanz zueinander auf. Ein solches erstes und zweites Verkehrszeichen sind beispielsweise Leitpfosten, die in einer vorbestimmten Distanz zueinander aufgestellt sind oder Verkehrszeichen, die auf einen vorausliegenden Bahnübergang hinweisen. Wird solch ein erstes Verkehrszeichen erkannt, wird die vorbestimmte Distanz zu dem zweiten Verkehrszeichen drahtlos zur Verfügung gestellt oder die vorbestimmte Distanz ist abgespeichert und kann dann abgerufen werden.
Gemäß einer Ausführungsform wird in Abhängigkeit der Überprüfung der Kalibration der Distanzmessung eine Information an einen Fahrer des Fahrzeugs ausgegeben.
Eine Information die Überprüfung der Kalibration und/oder über einen Zustand der Kalibration wird an einen Fahrer des Fahrzeugs ausgegeben. Dieser kann in der Information beispielsweise darüber informiert werden, dass die Kalibration in einem zeitlichen Verlauf schlechter wird und/oder eine erneute Kalibration beispielsweise durch eine Fachwerkstatt durchgeführt werden muss.
Weiterhin kann ein Fahrer beispielsweise bei einer schlechten Kalibration darüber informiert werden, dass kamerabasierte Fahrzeugsysteme und Fahrerassistenzsysteme nur noch eingeschränkt verwendet werden können und/oder abgeschaltet werden.
Gemäß einer Ausführungsform wird in Abhängigkeit der Überprüfung der Kalibration der Distanzmessung eine Kalibrierung der Distanzmessung durchgeführt.
Eine Distanzmessung mithilfe der im Fahrzeug eingebauten Kamera kann beispielsweise maximal eine vorgegebene Messungenauigkeit von 10 % bei einer tatsächlichen Strecke von 100 m aufweisen, jedoch kann diese Messungenauigkeit auch kleiner oder größer sein. Wird bei der Überprüfung jedoch festgestellt, dass die Messungenauigkeit größer als eine vorgegebene maximale Messungenauigkeit ist, so ist die Distanzmessung nicht korrekt kalibriert.
Eine erneute Kalibrierung der Kamera kann beispielsweise über ein drahtloses Netzwerk durchgeführt werden, durch den Vergleich von Größenabmessungen von Verkehrsschildern mit abgespeicherten Größenabmessungen oder dergleichen.
Gemäß einer Ausführungsform werden in Abhängigkeit der Überprüfung der Kalibration Fahrerassistenzsysteme des Fahrzeugs abgeschaltet.
Ergibt die Überprüfung der Kalibration, dass diese fehlerhaft ist, können kamerabasierte Fahrerassistenzsysteme nicht korrekt arbeiten und zu Unfällen führen, falls ein Fahrer des Fahrzeugs sich trotzdem auf diese verlässt. Daher können diese in Abhängigkeit der Überprüfung abgeschaltet werden. Gemäß einem dritten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen.
Ein Computerprogrammprodukt nach einem dritten Aspekt, wie z.B. ein Computerprogramm- Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD- ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem vierten Aspekt wird ein Steuergerät für ein Fahrzeug bereitgestellt. Das Steuergerät für ein Fahrzeug umfasst: eine Prozessor-Einheit, und eine Speicher-Einheit, auf welcher Mittel zur Ausführung des vorstehend beschriebenen Verfahrens abgespeichert sind.
Eine Prozessor-Einheit in dem Fahrzeug ist dazu eingerichtet erste und zweite Verkehrszeichen zu erkennen, beispielsweise durch eine Bilderkennungssoftware basierend auf einer künstlichen Intelligenz. Diese ist beispielsweise auch dazu eingerichtet aus der Kombination des ersten erkannten Verkehrszeichens und dem Distanz angebendem Zusatzzeichen Rückschlüsse auf das zweite Verkehrszeichen zu ziehen.
Die jeweilige Einheit kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuervorrichtung und/oder einer Motorsteuervorrichtung (ECU: Engine Control Unit), ausgebildet sein. Gemäß einem fünften Aspekt wird ein Fahrzeug mit einer oder mehreren Kameras zum Aufnehmen von Bildern, und einem Steuergerät nach dem vierten Aspekt bereitgestellt.
Eine oder mehrere Kameras sind an dem Fahrzeug so angebracht, dass diese ein möglichst großes Blickfeld aufweisen. Beispielsweise mittig am Fahrzeug und/oder als Satellitenkamera seitlich am Fahrzeug.
Die für den ersten Aspekt beschriebenen Ausführungsformen und Merkmale gelten für die weiteren Aspekte (zweiter bis fünfter Aspekt) entsprechend und umgekehrt.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung.
Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
Fig. 1 zeigt eine schematische Aufsicht auf ein Fahrzeug mit einer Kamera und einem Steuergerät;
Fig. 2 zeigt eine schematische Darstellung von ersten erkannten Verkehrszeichen und zugehörigen zweiten Verkehrszeichen; Fig. 3 zeigt eine schematische Darstellung einer Anwendungssituation eines ersten Aspekts eines Verfahrens zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe in einem Fahrzeug eingebauten Kamera durchgeführt wird, im Straßenverkehr;
Fig. 4 zeigt ein Flussablaufdiagram eines ersten Aspekts eines Verfahrens zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird;
Fig. 5 zeigt eine schematische Darstellung einer Anwendungssituation eines Verfahrens zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird, gemäß einem zweiten Aspekt; und
Fig. 6 zeigt ein Flussablaufdiagramm eines zweiten Aspekts eines Verfahrens zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug eingebauten Kamera durchgeführt wird.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
Fig. 1 zeigt eine schematische Aufsicht auf ein Fahrzeug 100 mit einer Kamera 120, einem Radsensor 130 und einem Steuergerät 110 gemäß einer Ausführungsform. Das Fahrzeug 100 ist in dem in Fig. 1 gezeigten Beispiel ein Kraftfahrzeug, insbesondere ein Personenkraftwagen. Die Kamera 120 ist mittig an dem Fahrzeug 100 angebracht, so dass sie ein möglichst großes Blickfeld in Fahrtrichtung abdeckt. Weiterhin ist an zumindest einem Rad (in Fig. 1 nicht gezeigt) ein Radsensor 130 angebracht. Es kann jeweils ein Radsensor an einem Rad angebracht sein, wobei die Zahl der Radsensoren beispielsweise eins oder gleich der Anzahl der Räder des Fahrzeugs 100 sein kann. Der Radsensor 130 kann dabei insbesondere ein Radimpulssensor, also ein Raddrehzahlsensor, sein. Das Fahrzeug 100 kann zudem noch weitere Sensoren wie beispielsweise Ultraschallsensoren aufweisen, die als Teil eines Fahrerassistenzsystem oder dergleichen des Fahrzeugs 100 ausgebildet sind.
Das Steuergerät 110 des Fahrzeugs 100 umfasst eine Prozessor-Einheit und eine Speicher- Einheit. Das Steuergerät 110 ist - vorzugsweise mithilfe einer Software, die auf der Speicher-Einheit abgelegt ist und mithilfe der Prozessor-Einheit ausgeführt wird - dazu eingerichtet, ein im Folgenden beschriebenes Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug 100 eingebauten Kamera 120 durchgeführt wird, auszuführen. Das Steuergerät 110 ist dazu eingerichtet mehrere Größen, aber insbesondere das Ergebnis der Überprüfung der Kalibration, auszugeben, beispielsweise an das Fahrerassistenzsystem und/oder an einen Fahrer des Fahrzeugs.
Das Fahrerassistenzsystem erfordert eine präzise Erfassung einer Umgebung 200 in der sich das Fahrzeug 100 befindet, dazu gehören beispielsweise Abstände und Distanzen zu Objekten und von Objekten zueinander in der Umgebung 200. Ein Fahrerassistenzsystem, das dazu ausgelegt ist, einen Fahrer des Fahrzeugs 100 beispielsweise durch unterstützende Bremsbetätigung oder sogar semi-autonomen beziehungsweise vollautonomen Betrieb des Fahrzeugs zu unterstützen, muss in der Lage sein, Distanzen des Fahrzeugs zu Objekten und Abstände zwischen zwei oder mehr Objekten in der Umgebung 200 des Fahrzeugs 100 genau zu ermitteln.
Bei der Durchführung des Verfahrens gemäß einem ersten Aspekt, wie es in dem Flussdiagramm in Fig. 4 gezeigt ist, wird ein erstes Verkehrszeichen 210, 230, 260 in einem mit der Kamera aufgenommenen ersten Bild erkannt und anschließend ein zweites Verkehrszeichen 210', 250, 280 in einem mit der Kamera aufgenommenen zweiten Bild erkannt, wie in Fig. 2 dargestellt. Das zweite erkannte Verkehrszeichen 210', 250, 280 ist von dem ersten erkannten Verkehrszeichen 210, 230, 260 abhängig, es kann verschieden zu dem ersten sein, identisch zu dem ersten und darüber hinaus kann es auch eine Lichtzeichenanlage 280 sein. Um den Zusammenhang zwischen dem ersten erkannten Verkehrszeichen 210, 230, 260 und dem zweiten erkannten Verkehrszeichen 210', 250, 280 besser verstehen zu können, sind in Fig. 2 mehrere erste Verkehrszeichen 210, 230, 260 (linke Spalte) und die dazugehörigen zweiten Verkehrszeichen 210', 250, 280 (rechte Spalte) dargestellt.
Fig. 2 a) zeigt als erstes erkanntes Verkehrszeichen 210 "Verbot der Einfahrt" mit einem Zusatzzeichen 220 "nach 100 m", welches ein Distanz angebendes Zusatzzeichen ist. Gemäß der Kombination des Verkehrszeichens 210 mit dem Zusatzzeichen 220 steht in einer Distanz von 100 m ein zweites Verkehrszeichen 210' "Verbot der Einfahrt".
Fig. 2 b) zeigt als erstes erkanntes Verkehrszeichen 230 "Vorfahrt gewähren" mit einem Zusatzzeichen 240 "Stop in 100 m". Gemäß der Kombination des Verkehrszeichen 230 mit dem Zusatzzeichen 240 steht in einer Distanz von 100 m ein zweites Verkehrszeichen 250 "Halt. Vorfahrt gewähren".
Fig. 2 c) zeigt als erstes erkanntes Verkehrszeichen 260 "Lichtzeichenanlage" mit einem Zusatzzeichen 270 "nach 200 m". Gemäß der Kombination des Verkehrszeichens 260 mit dem Zusatzzeichen 270 steht in einer Distanz von 200 m eine Lichtzeichenanlage 280. Demgemäß ist das zweite erkannte Verkehrszeichen eine Lichtzeichenanlage 280.
Eine Prozessor-Einheit des Steuergeräts 110 des Fahrzeugs 100 ist dazu eingerichtet, in Abhängigkeit der Kombination des ersten erkannten Verkehrszeichens 210, 230, 260 mit dem distanzindizierendem Zusatzzeichen 220, 240, 270 auf das zweite Verkehrszeichen 210', 250, 280 zu schließen. Damit wird sichergestellt, dass das zweite erkannte Verkehrszeichen 210', 250, 280 das zu dem ersten erkannten Verkehrszeichen 210, 230, 260 zugehörige Verkehrszeichen ist und damit auch, dass die Distanz zu dem zugehörigen zweiten Verkehrszeichen gemessen wird. Die in Fig. 2 dargestellten Kombinationen aus ersten erkannten Verkehrszeichen 210, 230, 260 und Distanz angebenden Zusatzzeichen 220, 240, 270 sind hier nur beispielhaft dargestellt und das Verfahren beschränkt sich nicht auf die dargestellten Kombinationen aus ersten Verkehrszeichen 210, 230, 260 mit Distanz angebenden Zusatzzeichen 220, 240, 270 und zweiten Verkehrszeichen 210', 250, 280.
In Bezug auf Fig. 3 und Fig. 4 wird nun das Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug 100 eingebauten Kamera 120 durchgeführt wird, genauer erläutert.
Fig. 3 zeigt eine schematische Darstellung einer Situation im Straßenverkehr, in der das Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug 100 eingebauten Kamera 120 durchgeführt wird, durchgeführt wird, während Fig. 4 ein schematisches Flussdiagramm des Verfahrens mit den Schritten S1 bis S9 zeigt.
In Fig. 3 wurde beispielhaft und stellvertretend ein Paar aus erstem und zweitem Verkehrszeichen gewählt, das in Fig. 2 b) dargestellt ist.
In Fig. 3 fährt das Fahrzeug 100, das wie in Fig. 1 dargestellt ausgestattet ist, auf einer Straße, an deren Rand sich das erste Verkehrszeichen 230 und das zweite Verkehrszeichen 250 befinden. Die Straße kann dabei beispielsweise eine Landstraße, Autobahn, oder eine Straße innerhalb einer Stadt sein.
Das Fahrzeug 100 befindet sich an der Position POS1 und das Steuergerät 110 empfängt in dieser Position ein erstes Bild der Umgebung 200 des Fahrzeugs 100, das von der im Fahrzeug 100 eingebauten Kamera 120 aufgenommen wurde (Schritt S1). Die Prozessor-Einheit des Steuergeräts 110 verarbeitet das erste empfangene Bild und erkennt ein erstes Verkehrszeichen 230, das eine Distanz zu einem zweiten Verkehrszeichen 250 angibt. Dabei erkennt die Prozessor-Einheit die Distanz zu dem zweiten Verkehrszeichen, die auf dem Zusatzzeichen 240 angegeben ist, und legt diese als erste Distanz A fest (Schritt S3). Zudem verarbeitet die Prozessor-Einheit die Kombination aus erstem erkanntem Verkehrszeichen 230 und Zusatzzeichen 240, um in Abhängigkeit dieser Kombination das zweite Verkehrszeichen 250 zu erkennen.
Das Fahrzeug 100 befindet sich nun an der Position POS2 und passiert damit das erste erkannte Verkehrszeichen 230 mit Zusatzzeichen 240. Das Passieren des ersten Verkehrszeichens wird beispielsweise durch die im Fahrzeug 100 eingebaute Kamera 120 wahrgenommen und eine odometrische Messung der zurückgelegten Strecke wird gestartet (Schritt S4). Die odometrische Messung wird durch den Radsensor 130 des Fahrzeugs 100 durchgeführt. Des Weiteren wird ein Wert der odometrischen Distanzmessung als zweite Distanz B festgelegt (Schritt S5).
Befindet sich das Fahrzeug 100 beispielsweise an der Position POS3 wird ein von der Kamera 120 aufgenommenes zweites Bild von der Prozessor- Einheit des Steuergeräts 110 empfangen (Schritt S6). Dabei ist die Position POS3 in Fig. 3 beispielhaft gewählt und kann beliebig zwischen dem ersten Verkehrszeichen 230 und dem zweiten Verkehrszeichen 250 liegen. In Abhängigkeit von dem ersten erkannten Verkehrszeichen 230 wird ein zugehöriges zweites Verkehrszeichen 250 in dem mit der Kamera aufgenommenen zweiten Bild erkannt (Schritt S7).
Mithilfe der Prozessor-Einheit des Steuergeräts 110 wird eine dritte Distanz C der Kamera 120 des Fahrzeugs 100 zu dem zweiten Verkehrszeichen 250 durch Auswertung des zweiten Bildes gemessen (Schritt S8).
Anschließend wird die Kalibration in Abhängigkeit der drei bestimmten Distanzen A, B, C überprüft (Schritt S9). Wie aus der Darstellung in Fig. 3 hervorgeht, muss die Summe der zweiten Distanz B und der dritten Distanz C gleich der ersten Distanz A sein. Da die im Fahrzeug 100 eingebaute Kamera 120 eine Messungenauigkeit aufweisen darf, muss die Überprüfung der Kalibration in Abhängigkeit der drei Distanzen A, B, C innerhalb dieser Messungenauigkeit liegen. Eine Überprüfung der Kalibration in Abhängigkeit der drei Distanzen und im Anschluss eine Abweichung der Kalibration festzustellen kann beispielsweise über den Ausdruck | A - (B + C) | erfolgen, wobei A, B, C hier stellvertretend für die drei bestimmten Distanzen A, B, C steht. Beispielsweise beträgt die Distanz auf dem Zusatzzeichen 240 100 m, daher ist die erste Distanz A gleich 100 m. Bei einer odometrisch gemessenen zweiten Distanz B von 30 m wird eine dritte Distanz C von der Kamera 120 zu dem zweiten erkannten Verkehrszeichen 250 von C gleich 80 m durch Auswertung des zweiten Bildes gemessen. Demnach ergibt sich eine Abweichung von | 100 - (30 + 80) | = 10. Beispielsweise darf eine Distanz in einem durch die Kamera aufgenommenen Bild eine Messungenauigkeit von 8,5 % aufweisen. In diesem Beispiel wird allerdings eine Messungenauigkeit von 10 % festgestellt. Demgemäß ist die Distanzmessung mithilfe der in dem Fahrzeug 100 eingebauten Kamera 120 nicht mehr kalibriert und daher muss eine erneute Kalibration durchgeführt werden.
Wird festgestellt, dass eine erneute Kalibration der Kamera 120 durchgeführt werden muss, so ist das Fahrzeug 100 dazu eingerichtet eine erneute Kalibration durchzuführen, beispielsweise über ein drahtloses Netzwerk. Alternativ oder ergänzend kann auch eine Information an den Fahrer des Fahrzeugs 100 ausgegeben werden. Diese kann den Fahrer des Fahrzeugs 100 beispielsweise auf die fehlerhafte Kalibration hinweisen und ihn auffordern sich nicht mehr auf kamerabasierte Fahrerassistenzsysteme zu verlassen, bis eine erneute Kalibration der fahrzeugeigenen Kamera 120 durchgeführt worden ist.
In Bezug auf Fig. 5 und Fig. 6 wird nun ein zweiter Aspekt des Verfahrens zum Überprüfen einer Kalibration einer in einem Fahrzeug 100 eingebauten Kamera 120 genauer erläutert.
Fig. 5 zeigt dabei die Situation im Straßenverkehr in der das Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug 100 eingebauten Kamera 120 durchgeführt wird, durchgeführt wird, während Fig. 6 ein Flussdiagramm des Verfahrens mit den Schritten S10 bis S14 darstellt. Ein Fahrzeug 100, ausgestattet wie in Fig. 1 dargestellt, fährt auf einer Straße, beispielsweise auf einer Autobahn. Das Fahrzeug 100 befindet sich nun an Position POS10 und das Steuergerät 110 empfängt ein Bild der im Fahrzeug eingebauten Kamera 120 (Schritt S10). Die Prozessor-Einheit des Steuergeräts 110 erkennt auf diesem Bild mehrere Verkehrszeichen 290, 290', die jeweils eine Distanz zu einem Referenzpunkt angeben (Schritt S11). Die Prozessor-Einheit erkennt in Abhängigkeit der Zahlenangaben auf dem ersten und zweiten Verkehrszeichen eine erste Distanz D zwischen den Verkehrszeichen 290, 290' (Schritt S12). Eine zweite Distanz E zwischen dem ersten und dem zweiten Verkehrszeichen 290, 290' wird von der Prozessor-Einheit durch Auswertung des Bildes gemessen (Schritt S13).
Anschließend wird die Kalibration in Abhängigkeit der ersten Distanz D und der zweiten Distanz E überprüft (Schritt S14). Beispielsweise zeigt das erste Verkehrszeichen 290 eine Zahlenangabe von 100 m, während das zweite Verkehrszeichen 290' eine Zahlenangabe von 50 m zeigt. Die Prozessor-Einheit ist dazu eingerichtet daraus zu bestimmen, dass die angegebene Distanz D, also die Distanz zwischen dem ersten und dem zweiten Verkehrszeichen, 50 m beträgt. Durch Auswertung des Bildes der im Fahrzeug 100 eingebauten Kamera 120 wird eine zweite Distanz E von 51 m zwischen dem ersten und zweiten Verkehrszeichen 290, 290' gemessen.
Das Überprüfen der Kalibration in Abhängigkeit der angegebenen und gemessenen Distanz, also beispielsweise der Vergleich (| D - E |) der beiden Distanzen D, E liefert eine Abweichung von 1 m. Dies entspricht einer prozentualen Abweichung von 2 %. Bei einer erlaubten Messungenauigkeit von beispielsweise 5 % auf eine Distanz von 50 m, liegt dieser Wert innerhalb der vorgegebenen Messungenauigkeit. Daher wird keine erneute Kalibration der im Fahrzeug eingebauten Kamera 120 durchgeführt.
In einer weiteren Ausführungsform wurden die zumindest zwei Verkehrszeichen 290, 290' von dem Fahrzeug 100 erkannt und die angegebene Distanzen D bestimmt. Das Fahrzeug 100 befindet sich an der Position POS20, während ein Fahrzeug 201 sich an der Position POS30 befindet, und dabei benachbart zu dem zweiten Verkehrszeichen 290' ist. Die Prozessor-Einheit bestimmt nun durch Auswertung des Bildes eine Distanz F zu dem Fahrzeug 201. Anschließend wird die Kalibration in Abhängigkeit der Distanz F und der angegebenen Distanz D überprüft.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
BEZUGSZEICHENLISTE
100 Fahrzeug
110 Steuergerät
120 Kamera
130 Radsensor
200 Umgebung
201 vorausfahrendes Fahrzeug
210, 230, 260 erstes Verkehrszeichen
210', 250 zweites Verkehrszeichen
220, 240, 270 distanzindizierendes Zusatzzeichen
280 Lichtzeichenanlage
290, 290' Verkehrszeichen
A, D erste Distanz
B, E zweite Distanz
C, F dritte Distanz
POS1, POS2, POS3 Position
POS10, POS20, POS30 Position
S1 bis S9 Verfahrensschritte
S10 bis S14 Verfahrensschritte

Claims

PATENTANSPRÜCHE
1. Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug (100) eingebauten Kamera (120) durchgeführt wird, mit den Schritten: a) Erkennen eines ersten Verkehrszeichens (210, 230, 260, 290), das eine Distanz zu einem zweiten Verkehrszeichen (210', 250, 280, 290') angibt, in einem mit der Kamera (120) aufgenommenen ersten Bild, b) Erkennen des zweiten Verkehrszeichens (210', 250, 280, 290') in einem mit der Kamera (120) aufgenommenen zweiten Bild, c) Messen einer Distanz zwischen der Kamera (120) und dem zweiten Verkehrszeichen (210', 250, 280, 290') durch Auswertung des zweiten Bildes, und d) Überprüfen der Kalibration in Abhängigkeit der gemessenen und angegebenen Distanz.
2. Verfahren nach Anspruch 1 , wobei eine odometrische Messung einer durch das Fahrzeug (100) zurückgelegten Distanz begonnen wird, wenn das Fahrzeug (100) das erste Verkehrszeichen (210, 230, 260, 290) passiert, und Schritt d) in Abhängigkeit der gemessenen Distanz, der zurückgelegten Distanz und der angegeben Distanz durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei in Schritt c) die Distanz zwischen der Kamera und einem Fahrzeug (201), das benachbart zu dem zweiten Verkehrszeichen (210', 250, 280, 290') hält, durch Auswertung des zweiten Bildes gemessen wird.
4. Verfahren zum Überprüfen einer Kalibration einer Distanzmessung, die mithilfe einer in einem Fahrzeug (100) eingebauten Kamera (120) durchgeführt wird, mit den Schritten: a) Erkennen von zumindest zwei Verkehrszeichen in einem mit der Kamera aufgenommenen Bild, wobei das erste Verkehrszeichen (210, 230, 260, 290) eine Distanz (D) zu dem zweiten Verkehrszeichen (210', 250, 280, 290') angibt, b) Messen einer Distanz (E) zwischen dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen durch Auswertung des Bildes, und c) Überprüfen der Kalibration in Abhängigkeit der angegebenen und der gemessenen Distanz.
5. Verfahren nach Anspruch 4, wobei in Schritt b) die Distanz zwischen der Kamera und einem Fahrzeug (201), das benachbart zu dem zweiten Verkehrszeichen (210', 250, 280, 290') hält, durch Auswertung des Bildes gemessen wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste Verkehrszeichen (210, 230, 260) ein Zusatzzeichen (220, 230, 240) umfasst, das die Distanz zu dem zweiten Verkehrszeichen (210', 250, 280) als Zahlenangabe angibt.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste Verkehrszeichen (290) und das zweite Verkehrszeichen (290') Verkehrszeichen sind, die eine Zahlenangabe anzeigen, die eine Distanz von dem jeweiligen Verkehrszeichen zu einem vorausliegenden Referenzpunkt angeben, wobei die Distanz zwischen dem ersten und dem zweiten Verkehrszeichen durch den Betrag der Differenz der Zahlenangaben bestimmt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste Verkehrszeichen und das zweite Verkehrszeichen eine vorbestimmte Distanz zueinander aufweisen und die vorbestimmte Distanz dem Fahrzeug (100) drahtlos zur Verfügung gestellt wird oder auf einem Datenspeicher des Fahrzeugs (100) abgespeichert ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Abhängigkeit der Überprüfung der Kalibration der Distanzmessung eine Information an einen Fahrer des Fahrzeugs (100) ausgegeben wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Abhängigkeit der Überprüfung der Kalibration der Distanzmessung eine Kalibrierung der Distanzmessung durchgeführt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Abhängigkeit der Überprüfung der Kalibration Fahrerassistenzsysteme des Fahrzeugs (100) abgeschaltet werden.
12. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 - 11 auszuführen.
13. Steuergerät (110) für ein Fahrzeug (100), umfassend: eine Prozessor-Einheit; und eine Speicher-Einheit, auf welcher Mittel zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 11 abgespeichert sind.
14. Fahrzeug (100), aufweisend: eine oder mehrere Kameras (120) zum Aufnehmen von Bildern; und ein Steuergerät nach Anspruch 13.
PCT/EP2023/076650 2022-10-11 2023-09-27 Verfahren zum überprüfen einer kalibration einer distanzmessung, die mithilfe einer in einem fahrzeug eingebauten kamera durchgeführt wird WO2024078870A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022126246.4A DE102022126246A1 (de) 2022-10-11 2022-10-11 Verfahren zum überprüfen einer kalibration einer distanzmessung, die mithilfe einer in einem fahrzeug eingebauten kamera durchgeführt wird
DE102022126246.4 2022-10-11

Publications (1)

Publication Number Publication Date
WO2024078870A1 true WO2024078870A1 (de) 2024-04-18

Family

ID=88237377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/076650 WO2024078870A1 (de) 2022-10-11 2023-09-27 Verfahren zum überprüfen einer kalibration einer distanzmessung, die mithilfe einer in einem fahrzeug eingebauten kamera durchgeführt wird

Country Status (2)

Country Link
DE (1) DE102022126246A1 (de)
WO (1) WO2024078870A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011109387A1 (de) * 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
WO2019066770A1 (en) 2017-09-26 2019-04-04 Hitachi Automotive Systems, Ltd. CAMERA CALIBRATION USING TRAFFIC PANEL RECOGNITION
CN110567475A (zh) * 2019-09-19 2019-12-13 北京地平线机器人技术研发有限公司 导航方法、装置、计算机可读存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007012955A1 (de) 2007-03-14 2007-12-06 Daimlerchrysler Ag Verfahren zur Abstandsmessung zwischen Fahrzeugen
DE102011088134B4 (de) 2011-12-09 2014-08-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung eines Abstandes zwischen einem Fahrzeug und einem Objekt
EP3497405B1 (de) 2016-08-09 2022-06-15 Nauto, Inc. System und verfahren zur präzisionsortung und kartierung
US11117591B2 (en) 2019-05-08 2021-09-14 Pony Ai Inc. System and method for recalibration of an uncalibrated sensor
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
DE102020215420A1 (de) 2020-12-07 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren mindestens einer Kamera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011109387A1 (de) * 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
WO2019066770A1 (en) 2017-09-26 2019-04-04 Hitachi Automotive Systems, Ltd. CAMERA CALIBRATION USING TRAFFIC PANEL RECOGNITION
CN110567475A (zh) * 2019-09-19 2019-12-13 北京地平线机器人技术研发有限公司 导航方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
DE102022126246A1 (de) 2024-04-11

Similar Documents

Publication Publication Date Title
EP2111557B1 (de) Verfahren und vorrichtung zur bestimmung der geschwindigkeit eines fahrzeugs
EP1782407B1 (de) Verfahren und vorrichtung zur fahrerinformation
WO2020216559A1 (de) Verfahren zur erkennung einer funktionsfähigkeit eines umgebungssensors, steuergerät und fahrzeug
DE112018001569T5 (de) Informationsverarbeitungsgerät und Informationsverarbeitungssystem
DE102007036251A1 (de) Verfahren und Vorrichtung zum Unterstützen von Ausparkvorgängen von Kraftfahrzeugen
EP1826530A1 (de) Verfahren und Vorrichtung zur Umfangsermittlung eines Rades
WO2017005689A1 (de) VERFAHREN ZUM BESTIMMEN ZUMINDEST EINER REIFENSPEZIFISCHEN KENNGRÖßE, FAHRERASSISTENZSYSTEM SOWIE KRAFTFAHRZEUG
EP1710749A1 (de) Korrektur der Messfehler des Gierwinkels bei Sensoren zur Fahrspurerkennung
DE102014219382A1 (de) Sensorkalibrierung in einer Parkanlage
DE102019205083A1 (de) Verfahren zum Prädizieren eines manuellen Einparkvorgangs und Unterstützen eines Fahrers
EP2402827A1 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102010000867A1 (de) Verfahren zur Ermittlung eines aktualisierten Radumfangs
EP3738851A1 (de) Erkennen einer bankettfahrt eines kraftfahrzeugs
DE102016223902A1 (de) Verfahren und System zur Bestimmung von Radumfängen und Spurweiten eines Fahrzeugs
DE102012018409A1 (de) Verfahren zur Ermittlung eines Radumfangs eines an einem Fahrzeug angeordneten Fahrzeugrades, Parkassistenzsystem, Kraftfahrzeug, Computerprogramm, und computerlesbares Medium
DE102022116883A1 (de) Verfahren zur ermittlung eines reibmoments
DE102017218487A1 (de) Verfahren zum Betrieb eines Inertialsensorsystems, Inertialsystem und Fahrzeug mit Inertialsystem
DE102012000213B4 (de) Verfahren und Vorrichtung zur Bestimmung des Umfangs eines Kraftfahrzeugrades
DE102010006178B4 (de) Verfahren zur Überwachung eines Reifendrucks und Reifendruckkontrolleinrichtung
DE102017207441A1 (de) Verfahren zum Überprüfen einer digitalen Umgebungskarte für ein Fahrerassistenzsystem eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2024078870A1 (de) Verfahren zum überprüfen einer kalibration einer distanzmessung, die mithilfe einer in einem fahrzeug eingebauten kamera durchgeführt wird
EP4034393B1 (de) Verfahren zum iterativen ermitteln des radius' eines kraftfahrzeugrads
WO2020108863A1 (de) Verfahren, vorrichtung, computerprogramm und computerprogrammprodukt zur überprüfung eines zumindest teilautonomen fahrbetriebs eines fahrzeuges
DE102016223290A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug
WO2015074736A1 (de) Überprüfung der verbauungsposition von achsmodulatoren anhand von störungen in geschwindigkeitssignalen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23782819

Country of ref document: EP

Kind code of ref document: A1