WO2022117432A1

WO2022117432A1 - Verfahren zum kalibrieren einer rückschauenden kamera und fahrzeug

Info

Publication number: WO2022117432A1
Application number: PCT/EP2021/082995
Authority: WO
Inventors: Tobias KLINGER
Original assignee: Zf Cv Systems Global Gmbh
Priority date: 2020-12-01
Filing date: 2021-11-25
Publication date: 2022-06-09
Also published as: CN116529768A; DE102020131778A1; US20230419542A1; EP4256523A1

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer rückschauenden Kamera (2) an einem Fahrzeug (1) mit einem Bauteil (14), das in eine Kalibrierstellung verstellt werden kann und an dem ein Marker (17) derartig angeordnet ist, dass der Marker (17) nach einer Verstellung des Bauteils (14) in die Kalibrierstellung in einem Erfassungsbereich (E) der rückschauenden Kamera (2) liegt, mit mindestens den folgenden Schritten: - Einlesen von Bild-Signalen (S1) der rückschauenden Kamera (2), wobei der Erfassungsbereich (E) der rückschauenden Kamera (2) auf einen Rückraum (R) hinter dem Fahrzeug (2) derartig ausgerichtet ist, dass die eingelesenen Bild-Signale (S1) eine Abbildung des Rückraums (R) hinter dem Fahrzeug (1) charakterisieren, während sich das mindestens eine Bauteil (14) in der Kalibrierstellung befindet; - Einlesen einer Marker-Position, wobei jede eingelesene Marker-Position einem Marker auf dem Bauteil (14) zugeordnet ist, während sich das jeweilige Bauteil (14) in der Kalibrierstellung befindet; - Ermitteln einer Bild-Position in Abhängigkeit der Bild-Signale (S1), wobei jede ermittelte Bild-Position einem Marker auf dem jeweiligen Bauteil (14) zugeordnet ist, während sich das jeweilige Bauteil (14) in der Kalibrierstellung befindet; - Kalibrieren der rückschauenden Kamera (2) in Abhängigkeit der eingelesenen Marker-Position eines Markers und der ermittelten Bild-Position desselben Markers.

Description

Verfahren zum Kalibrieren einer rückschauenden Kamera und Fahrzeug

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer rückschauenden Kamera sowie ein Fahrzeug, insbesondere Nutzfahrzeug, mit einer rückschauenden Kamera zur Durchführung des Verfahrens.

Fahrzeuge, insbesondere Nutzfahrzeuge, mit einem Fahrerassistenzsystem können je nach Anwendung unterschiedliche Sensoren, beispielsweise Kameras bzw. Kamerasysteme, aufweisen, mit denen die Umgebung um das Fahrzeug in einem festgelegten Erfassungsbereich aufgenommen werden kann. Die im Kamerasystem erzeugten Bilddaten, die die aufgenommene Umgebung charakterisieren, können dann zur Auswertung der aktuellen Fahrsituation herangezogen werden. Damit dies zuverlässig erfolgen kann, ist das Kamerasystem bzw. der Erfassungsbereich dieser entsprechend auszurichten, um die gewünschte Umgebung aufnehmen zu können.

Bisherige Kamerasysteme, die im Bereich der Fahrerassistenzsysteme Anwendung finden, sind entweder werkseitig fest im jeweiligen Fahrzeug verbaut, so dass eine fehlerhafte Ausrichtung der Kamera nahezu ausgeschlossen werden kann, oder die Kamerasysteme, speziell Nachrüstlösungen, werden nur für die Anzeige eines Bildes, nicht aber für ein automatisiertes Fahrmanöver verwendet, so dass eine fehlerhafte Ausrichtung nicht gravierend wäre.

Insbesondere rückschauende Kameras, z.B. an Zugfahrzeu- gen/Motorwagen, Anhängern oder Sattelaufliegern, die im Rahmen einer Rückfahrassistenz eingesetzt werden, sind präzise zu kalibrieren, um die Funktionalität des gesamten Fahrerassistenzsystems zu gewährleisten. Rückschauende Kameras sind dabei Kameras, die auf einen Rückraum hinter dem Fahrzeug ausgerichtet sind, wobei dies beispielsweise für eine Rück- fahrassistenz benötigt wird. Die größtmögliche Genauigkeit bei der Detektion von Objekten im Rückraum kann nur erreicht werden, wenn die rückschauenden Kameras ordnungsgemäß kalibriert sind und sich in ihrer Ausrichtung auch über die Zeit nicht ändern. Wenn die Kalibrierung fehlerhaft ist, etwa durch ungewollte Verdrehung der Kamera, kann es zu Fehldetektionen kommen, welche im Zusammenhang mit dem automatisierten Fahren zu unerwünschten Fehlauslösungen von Sicherheitsmechanismen führen können.

Eine Auto-Kalibrierung von Sensoren ist z.B. für Radarsysteme gängige Praxis. Für Kamerasysteme ist dieser Schritt etwas komplizierter, da keine Distanzen (etwa zur Bodenebene) direkt gemessen werden können und daher auf komplexere Algorithmen zurückzugreifen ist, um etwa ein Referenz- Objekt (wie die Bodenebene oder das eigene Fahrzeug) zu erkennen. Speziell bei Nachrüst-Systemen und bei vom Fahrzeug herausragenden Komponenten ist die Gefahr einer ungewollten Verschiebung oder Verdrehung der Kamera gegeben, da die Kamera nicht inhärent mit dem Fahrzeug verbunden ist.

In EP 2 237 224 B1 wird ein Verfahren zur Kalibrierung einer Kamera mittels Markern beschrieben. Die Marker sind dabei außerhalb des Fahrzeuges angebracht und das System ist manuell einzustellen. Auch in EP 2 416 558 A1 und EP 3 125 196 B1 sind Marker beschrieben, um eine Kamera am Fahrzeug einzustellen, wobei sich die Marker außerhalb des Fahrzeuges befinden. Derartige Kalibrierungen sind aufwändig und nur ortsabhängig durchführbar, wobei für die Kalibrierung auch ein bestimmtes Fahrmanöver durchzuführen ist.

Bei Fahrzeugen der Klasse M, N sind aufgrund einer sich ändernden Gesetzeslage Fahrerassistenzsysteme mit einer rückschauenden Kamera erforderlich. Dies kann sich zukünftig auch auf die Klasse O ausweiten. Daher ist für derartige Fahrzeuge eine sichere und zuverlässige Kalibrierung der jeweiligen rückschauenden Kameras zu gewährleisten. Derartige Fahrzeuge können ferner ausklappbare Anbauteile zur Verbesserung der Aerodynamik aufweisen, wobei derartige aerodynamische Anbauteile bzw. Luftleitbauteile beispielsweise in US 2016/304137A1 , US 7 008 005 A1 , EP 3 013 671 A1 und US 2016/318559A1 beschrieben sind.

Aufgabe der Erfindung ist, ein Verfahren zum Kalibrieren einer rückschauenden Kamera anzugeben, mit dem eine einfache und zuverlässige Ausrichtung einer rückschauenden Kamera in beliebigen Fahrsituationen gewährleistet werden kann. Aufgabe der Erfindung ist weiterhin, ein Fahrzeug anzugeben.

Diese Aufgabe wird durch ein Verfahren und ein Fahrzeug gemäß den unabhängigen Ansprüchen gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.

Erfindungsgemäß ist demnach ein Verfahren zum Kalibrieren einer rückschauenden Kamera an einem Fahrzeug vorgesehen, d.h. einer Kamera, die auf einen Rückraum hinter dem Fahrzeug ausgerichtet ist. Die rückschauende Kamera befindet sich dabei in einer bestimmten Kamera-Pose relativ zum Fahrzeug, wobei die Kamera-Pose durch eine Orientierung der Kamera in vorzugsweise drei rotatorischen Freiheitsgraden und eine Position der Kamera in vorzugsweise drei translatorischen Freiheitsgraden angegeben wird, beispielsweise in einem fahrzeugfesten Koordinatensystem oder in einem beliebigen Weltkoordinatensystem.

Das Fahrzeug weist mindestens ein Bauteil (verstellbares Bauteil) auf, das verstellt, insbesondere ausgeklappt bzw. ausgefahren werden kann, beispielsweise ein Luftleitbauteil, insbesondere obere und/oder seitliche Luftleitklappen. Das mindestens eine Bauteil kann in mindestens eine Kalibrierstellung verstellt werden und an dem mindestens einen Bauteil ist mindestens ein Marker derartig angeordnet, dass der Marker nach einer Verstellung des mindestens einen Bauteils in die mindestens eine Kalibrierstellung in einem Erfassungsbereich der rückschauenden Kamera liegt. Als Marker wird dabei beispielsweise eine flächige, d.h. runde oder eckige oder kreuzförmige Struktur verstanden, die einfarbig oder mehrfarbig sein kann und die von der Kamera als definierte Struktur auf dem jeweiligen Bauteil auch eindeutig erkannt werden kann.

Als Bauteil, das verstellt werden kann, wird dabei ein mit dem Fahrzeug verbundenes Bauteil verstanden, das gegenüber dem Fahrzeug verstellt werden kann, z.B. ausgeklappt, verschwenkt, verfahren, etc.. Im Speziellen wird als Luftleitbauteil ein Bauteil am Fahrzeug verstanden, mit dem eine bestimmte Luftleit-Funktion erreicht werden kann, wobei der Luftstrom bei ausgefahrenen bzw. ausgeklappten Luftleitbauteilen um das Fahrzeug, insbesondere das Heck, herumgelenkt wird, wodurch eine gleichmäßigere und effizientere Fahrt ermöglicht wird und Kraftstoffeinsparungen bei hohen Fahrzeuggeschwindigkeiten, z.B. >60 km/h, erzielt werden können.

Nachdem ein Kalibrier-Modus aktiviert wurde bzw. optional geprüft wurde, ob ein Kalibrier-Modus aktiviert ist, und ggf. ermittelt wurde, ob sich das mindestens eine Bauteil, beispielsweise Luftleitbauteil, in der Kalibrierstellung befindet, werden in dem erfindungsgemäßen Verfahren mindestens die folgenden Schritte durchgeführt:

- Einlesen von Bild-Signalen der rückschauenden Kamera, wobei der Erfassungsbereich der rückschauenden Kamera auf einen Rückraum hinter dem Fahrzeug derartig ausgerichtet ist, dass die eingelesenen Bild-Signale eine Abbildung des Rückraums hinter dem Fahrzeug charakterisieren, während sich das mindestens eine Bauteil in der Kalibrierstellung befindet;

- Einlesen von mindestens einer Marker-Position, wobei jede eingelesene Marker-Position einem Marker auf dem jeweiligen Bauteil zugeordnet ist, während sich das jeweilige Bauteil in der Kalibrierstellung befindet; - Ermitteln von mindestens einer Bild-Position anhand bzw. in Abhängigkeit der Bild-Signale bzw. anhand der Abbildung des Rückraums hinter dem Fahrzeug, wobei jede ermittelte Bild-Position einem Marker auf dem jeweiligen Bauteil zugeordnet ist, während sich das jeweilige Bauteil in der Kalibrierstellung befindet;

- Kalibrieren der rückschauenden Kamera in Abhängigkeit der eingelesenen Marker-Position eines Markers und der ermittelten Bild-Position desselben Markers.

Durch dieses Verfahren wird vorteilhafterweise erreicht, dass die unmittelbar mit dem Fahrzeug verbundenen, verstellbaren Bauteile gezielt in die Kalibrierstellung gebracht werden können, um auf diese Weise ortsunabhängig, vollautomatisiert und mit geringem Aufwand eine Kalibrierung der Kamera durchführen zu können. Ein weiterer Vorteil ergibt sich daraus, dass die am Fahrzeug vorhandenen Luftleitbauteile, die sich zumindest in gewissen Fahrsituationen, beispielsweise bei höheren Fahrzeuggeschwindigkeiten, ohnehin im Erfassungsbereich der rückschauenden Kamera befinden, als verstellbare Bauteile für die Kalibrierung der rückschauenden Kamera verwendet werden können. Vorteilhafterweise sind die Luftleitbauteile bei niedrigen Fahrzeuggeschwindigkeiten, bei denen die rückschauende Kamera gebraucht wird, in der Regel immer eingeklappt - also nicht im Wege - und bei hohen Fahrzeuggeschwindigkeiten, bei denen die rückschauenden Kamera in der Regel nicht gebraucht wird, ausgeklappt. In diesen Fahrsituationen, in denen die Luftleitbauteile ohnehin ausgeklappt bzw. ausgefahren sind, um die jeweilige Luftleit-Funktion zu erfüllen, können die darauf aufgebrachten Marker für eine automatisierte Kalibrierung in einfacher Weise herangezogen werden. Daher können die Luftleitbauteile vorteilhafterweise eine Doppelfunktion erfüllen.

Unter einer Kalibrierung der rückschauenden Kamera wird dabei verstanden, dass eine Vorschrift, beispielsweise eine geometrische Vorschrift, oder geometrische Merkmale des bestehenden Systems gefunden werden, mit denen sich eine aus den Bild-Signalen ermittelte Bild-Position eines Markers in die reale Situation bzw. Szene möglichst exakt übertragen lässt. Dadurch kann ein in der Umgebung von der Kamera erfasstes Objekt in eindeutiger Weise relativ zum Fahrzeug verortet werden, beispielsweise zur Verwendung in einer Assistenzfunktion.

Da die Marker-Position eines Markers auf dem jeweiligen Bauteil für die jeweilige Kalibrierstellung ohne Weiteres eingelernt bzw. festgestellt werden kann, kann aus geometrischen Betrachtungen über die erfasste Bild-Position eines Markers aus der aufgenommenen Abbildung in einfacher Weise die Kalibrierung automatisiert durchgeführt werden. Dadurch sind keine speziellen Fahrmanöver nötig, um die rückschauende Kamera zu kalibrieren und es sind auch keine manuellen Eingriffe für die Kalibrierung nötig. Dadurch kann das Kalibrierverfahren ortsunabhängig, vollautomatisiert und mit geringem Aufwand durchgeführt werden.

Vorzugsweise ist dabei vorgesehen, dass aus der für einen Marker eingelesenen Marker-Position und der ermittelten Bild-Position desselben Markers eine Transformationsmatrix als „geometrische Vorschrift“ und/oder die Kamera-Pose der rückschauenden Kamera (z.B. relativ zum Fahrzeug) derartig ermittelt wird, dass die Bild-Position eines Markers über die Transformationsmatrix und/oder in Abhängigkeit der Kamera-Pose auf die eingelesene Marker-Position transformiert bzw. durch geometrische Überlegungen übertragen wird. Daher kann in einfacher Weise durch entsprechende mathematische Methoden bzw. durch geometrische Betrachtungen eine Kalibrierung erfolgen.

Vorzugsweise kann dazu vorgesehen sein, dass die ermittelte Bild- Position eines Markers in Bild-Koordinaten angegeben wird und die Bild- Koordinaten eines Markers in Abhängigkeit der ermittelten Transformations- matrix und/oder der ermittelten Kamera-Pose in transformierte Bildkoordinaten in einem kartesischen Koordinatensystem, vorzugsweise ein fahrzeugfestes kartesisches Koordinatensystem oder ein fahrzeugunabhängiges Weltkoordinatensystem, transformiert werden, wobei die Marker-Position desselben Markers vorzugsweise ebenfalls in dem kartesischen Koordinatensystem angegeben wird. Auf diese Weise kann eine einfache Transformation angesetzt werden, wobei diese auch in der nachfolgend verwendeten Assistenz- Funktion zur Anwendung kommen kann.

Vorzugsweise ist weiterhin vorgesehen, dass eine Abweichung zwischen der ermittelten Kamera-Pose der rückschauenden Kamera und einer vorgegebenen Kamera-Soll-Pose ermittelt wird und die rückschauende Kamera bei einem Überschreiten eines festgelegten Grenzwertes für die Abweichung derartig justiert wird, dass sich die Abweichung verringert, wobei die Abweichung vorzugsweise kompensiert wird.

Über die eingelesene Marker-Position eines Markers und der ermittelten Bild-Position desselben Markers kann also nicht nur die aktuelle Kamera- Pose (ggf. über die Transformationsmatrix) ermittelt bzw. abgeschätzt werden, sondern auch eine zu hohe Abweichung festgestellt werden. Um auch in dem Fall eine zuverlässige Verwendung der kalibrierten Kamera für eine entsprechende Assistenz-Funktion zu gewährleisten, kann nachfolgend eine entsprechende Korrektur der Kamera-Pose bzw. eine Justierung erfolgen, wobei dies vorzugsweise vor dem Kalibrieren der rückschauenden Kamera erfolgt, um nachfolgend auf die Bild-Signal einer justierten und kalibrierten Kamera zurückgreifen zu können.

Vorzugsweise ist dazu vorgesehen, dass die rückschauende Kamera bei einem Überschreiten des Grenzwertes verstellt wird, um die ermittelte Kamera-Pose an die Kamera-Soll-Pose anzunähern, wobei dazu in Abhängigkeit der ermittelten Abweichung zwischen der ermittelten Kamera-Pose der rückschauenden Kamera und einer vorgegebenen Kamera-Soll-Pose ein Justier-Signal erzeugt und ausgegeben wird, wobei ein mit der rückschauenden Kamera zusammenwirkender Kam era- Aktuator mit dem Justier-Signal derartig angesteuert wird, dass sich die Kamera-Pose der rückschauenden Kamera verstellt. Damit kann ein vollautomatisiertes Justieren ermöglicht werden. Grundsätzlich kann die Justierung aber auch manuell oder teilautomatisiert erfolgen.

Weiterhin ist für eine Voll- oder auch eine Teilautomatisierung insbesondere vorgesehen, dass das mindestens eine Bauteil, beispielsweise Luftleitbauteil, mit dem mindestens einen Marker automatisiert verstellt werden kann, beispielsweise über einen Bauteil-Aktuator.

Vorzugsweise ist dabei weiterhin vorgesehen, dass mindestens zwei Bauteile, beispielsweise Luftleitbauteile, vorgesehen sind, beispielsweise links und rechts bzw. seitlich und oben, wobei die mindestens zwei Bauteile gemeinsam oder einzeln, d.h. auch unabhängig voneinander, in die Kalibrierstellung gebracht werden zum Kalibrieren der rückschauenden Kamera. Dadurch kann vermieden werden, dass einzelne Bauteile bei einer Aktivierung des Kalibrier-Modus in den Erfassungsbereich der rückschauenden Kamera gelangen, obwohl diese gerade für eine beliebige Assistenz- Funktion genutzt wird. Ist gleichzeitig dazu eine Kalibrierung nötig, so kann dies über ein oder mehrere Bauteile erfolgen, die die Sicht der rückschauenden Kamera in einem für die jeweilige Anwendung relevanten Bereich gerade nicht verdecken.

Vorzugsweise ist weiterhin vorgesehen, dass das mindestens eine Bauteil, beispielsweise Luftleitbauteil, zwischen einer ersten Endstellung und einer zweiten Endstellung stufenlos oder stufenweise verstellt werden kann, wobei sich das mindestens eine Bauteil in der Kalibrierstellung in einer Zwi- schenstellung zwischen der ersten Endstellung und der zweiten Endstellung befindet, oder in der ersten Endstellung, oder in der zweiten Endstellung.

Auf diese Weise kann die Flexibilität erhöht werden, da das jeweilige Bauteil, ggf. unabhängig von weiteren Bauteilen, in eine Zwischenstellung gebracht werden kann. Im Falle eines Luftleitbauteils kann dieses in der Zwischenstellung seine Luftleit-Funktion immer noch erfüllen, gleichzeitig aber auch noch zur Kalibrier-Funktion beitragen und die jeweilige Fahrerassistenz nicht beeinträchtigen.

Vorzugsweise ist weiterhin vorgesehen, dass das mindestens eine Bauteil, beispielsweise Luftleitbauteil, in unterschiedliche Kalibrierstellungen gebracht werden kann, wobei in diesem Fall jedem Marker auf diesem mindestens einen Bauteil mehrere Marker-Positionen zugeordnet sind, wobei jede Marker-Position des jeweiligen Markers einer der unterschiedlichen Kalibrierstellungen zugeordnet ist, so dass das Kalibrieren der rückschauenden Kamera in Abhängigkeit der eingelesenen Marker-Position eines Markers für die jeweils eingestellte Kalibrierstellung und der ermittelten Bild-Position desselben Markers erfolgen kann.

Dadurch kann die Flexibilität weiter erhöht werden, da auch unterschiedliche Kalibrierstellungen für ein Bauteil möglich sind, wobei die Kalibrierung auch durch eine Einstellung unterschiedlicher Kalibrierstellungen plausibilisiert werden kann, beispielsweise bei ungünstigen Lichtverhältnissen oder bei Verschmutzungen. Ergänzend dazu kann auch für die anderen beschriebenen Ausbildungen vorgesehen sein, dass die festgestellte Abweichung vor einer Kalibrierung anhand unterschiedlicher Marker an unterschiedlichen Bauteilen plausibilisiert wird.

Vorzugsweise kann weiterhin vorgesehen sein, dass vor dem Einlesen von Bild-Signalen der rückschauenden Kamera das mindestens eine Bauteil automatisch in die Kalibrierstellung gebracht wird, sobald der Kalibrier-Modus aktiviert wird, beispielsweise über den Bauteil-Aktuator, oder gewartet wird, bis das mindestens eine Bauteil anderweitig in die Kalibrierstellung gebracht wird, wobei das Bauteil im Falle eines Luftleitbauteils beispielsweise in Abhängigkeit einer Fahrzeuggeschwindigkeit des Fahrzeuges automatisiert in die Kalibrierstellung verstellt wird, beispielsweise bei Fahrzeuggeschwindigkeiten von größer als 60 km/h, um eine Luftleit-Funktion zu erreichen. Auf diese Weise kann nach einer Aktivierung des Kalibrier-Modus in einer Variante gewartet werden, bis beispielsweise die Luftleit-Funktion im Fahrzeug anderweitig aktiviert wird und die Luftleitbauteile daraufhin automatisch in die Kalibrierstellung gebracht werden, wobei diese dann beispielsweise der ausgeklappten bzw. ausgefahrenen Endstellung entspricht. Andererseits kann auch eine aktive Verstellung des jeweiligen Bauteils vorgesehen sein, wobei dann im Falle eines Luftleitbauteils ggf. auch die Einstellung aufgrund der Luftleit-Funktion überschrieben wird, beispielweise wenn eine Kalibrierung zwingend nötig ist.

Erfindungsgemäß ist weiterhin ein Fahrzeug, insbesondere Nutzfahrzeug, mit einer Kalibrieranordnung und einer rückschauenden Kamera vorgesehen, wobei sich die rückschauende Kamera in einer Kamera-Pose relativ zum Fahrzeug befindet, wobei die Kalibrieranordnung aufweist:

- eine Verarbeitungseinheit, die ausgebildet ist, das erfindungsgemäße Verfahren zum Kalibrieren der rückschauenden Kamera auszuführen, und

- mindestens ein verstellbares Bauteil, beispielsweise Luftleitbauteil, wobei das mindestens eine Bauteil in eine Kalibrierstellung verstellt werden kann und an dem mindestens einen Bauteil mindestens ein Marker derartig angeordnet ist, dass der Marker bei einer Verstellung des mindestens einen Bauteils in die Kalibrierstellung in einem Erfassungsbereich der rückschauenden Kamera liegt, wobei der Erfassungsbereich der rückschauenden Kamera auf einen Rückraum hinter dem Fahrzeug ausgerichtet ist. Damit kann das Verfahren bei einem Fahrzeug beispielsweise der Klasse M, N oder O zur An- Wendung kommen, bei dem eine rückschauende Kamera normalerweise angeordnet ist bzw. deren Anordnung zukünftig sehr wahrscheinlich ist und die daher auch zu kalibrieren ist.

Vorzugsweise ist dabei vorgesehen, dass das Fahrzeug einteilig ist, insbesondere aus einem Motorwagen besteht, oder mehrteilig ist, insbesondere aus einer Zugmaschine und einem Sattelauflieger besteht oder vergleichbar dazu aus einem Motorwagen mit mindestens einem (Deichsel- )Anhänger.

Vorzugsweise ist weiterhin vorgesehen, dass die rückschauende Kamera an einem Sattelauflieger-Heck des Sattelaufliegers und/oder an einem Zugmaschinen-Heck der Zugmaschine oder an einem Motowagen-Heck des Motorwagens angeordnet ist. Auf diese Weise kann eine Überwachung des Rückraums aus unterschiedlichen Positionen erreicht werden, die für eine Kalibrierung mithilfe der Bauteile, beispielsweise Luftleitbauteile, auch zugänglich sind.

Vorzugsweise ist weiterhin vorgesehen, dass das Fahrzeug ein Fahrerassistenzsystem aufweist, beispielsweise eine Rückfahrassistenz, wobei das Fahrerassistenzsystem ausgebildet ist, die Bild-Signale der kalibrierten rückschauenden Kamera, d.h. unter Zuhilfenahme z.B. der jeweiligen ermittelten Transformationsmatrix und/oder der ermittelten Kamera-Pose, einzulesen und zu verarbeiten.

Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert. Es zeigen:

Fig. 1 ein Fahrzeug mit einer rückschauenden Kamera und einer erfindungsgemäßen Kalibrieranordnung; Fig. 2a, 2b Bilder der Kamera in unterschiedlichen Stellungen der erfindungsgemäßen Kalibrieranordnung; und

Fig. 3 ein Flussdiagramm eines erfindungsgemäßen Verfahrens.

Das im folgenden beschriebene System kann grundsätzlich mit einem einteiligen Fahrzeug 1 , beispielsweise einem Motorwagen 1 e, oder mit einem zwei oder mehrteiligen Fahrzeug 1 , z.B. einem Motorwagen 1 e mit mindestens einem Anhänger oder einem Sattelzug mit zumindest einem Sattelauflieger 1 b, zur Anwendung kommen. Beispielhaft wird die Erfindung im Folgenden anhand des schematisch in Fig. 1 dargestellten zweiteiligen Sattelzuges (Zugmaschine 1 a, Sattelauflieger 1 b) beschrieben, wobei sich im Bereich eines Sattelauflieger-Hecks 1 c des Sattelaufliegers 1 b eine rückschauende Kamera 2 befindet. Bei einem Motorwagen 1 e ist die rückschauende Kamera 2a entsprechend beispielsweise an einem Motorwagen-Heck 1 f angeordnet.

Die rückschauende Kamera 2 weist einen Erfassungsbereich E auf, der zumindest auf einen Rückraum R hinter dem Fahrzeug 1 bzw. hinter dem Sattelauflieger 1 b ausgerichtet ist. Ergänzend oder alternativ kann eine rückschauende Kamera 2 bei dem Sattelzug gemäß Fig. 1 auch im Bereich eines Zugmaschinen-Hecks 1 d der Zugmaschine 1 a vorgesehen sein. Diese rückschauende Kamera 2 weist dann ebenfalls die Eigenschaft auf, dass ihr Erfassungsbereich E zumindest auf den Rückraum R hinter dem Fahrzeug 1 ausgerichtet ist. An dem jeweiligen Heck 1 c, 1 d können sich auch mehr als eine rückschauende Kamera 2 befinden. Bei einem einteiligen Fahrzeug 1 befindet sich der Rückraum R entsprechend heckseitig hinter dem Motorwagen 1 e mit einer entsprechenden Ausrichtung der daran angeordneten rückschauenden Kamera 2. Der rückschauenden Kamera 2 ist eine Kamera-Pose P2 zugeordnet, wobei sich die Kamera-Pose P2 aus einer Orientierung (gegeben durch drei rotatorische Freiheitsgrade) und einer Position (gegeben durch drei translatorische Freiheitsgrade) der Kamera 2 in einem festgelegten Koordinatensystem ergibt. Die Kamera-Pose P2 kann dabei beispielsweise in einem beliebigen fahrzeugfesten Koordinatensystem K1 mit kartesischen Koordinaten xK, yK, zK angegeben werden. Als Koordinatensystem kann aber grundsätzlich auch ein beliebiges anderes fahrzeug(un)abhängiges Koordinatensystem gewählt werden.

Die rückschauende Kamera 2 ist in beliebiger Weise mit einem Fahrerassistenzsystem 3 verbunden bzw. Teil dessen, wobei das Fahrerassistenzsystem 3 beispielsweise ausgebildet ist, ein automatisiertes Fahrmanöver, insbesondere ein rückwärtiges Fahrmanöver, in Abhängigkeit von Bild- Signalen S1 auszuführen, die von der jeweiligen rückschauenden Kamera 2 ausgegeben werden. Das Fahrerassistenzsystem 3 kann aber auch ausgebildet sein, anhand der Bild-Signale S1 Overlay-Signale S2 zu erzeugen, die beispielsweise einen Fahrschlauch beinhalten, um dem Fahrer durch eine Anzeige der Overlay-Signale S2 in Ergänzung oder Erweiterung zu den Bild- Signalen S1 auf einem Monitor 5 zu assistieren. Die Bild-Signale S1 übertragen dabei eine Abbildung A des Rückraums R hinter dem Fahrzeug bzw. lässt sich der Rückraum R aus den Bild-Signalen S1 für eine Weiterverarbeitung extrahieren. Beispielhaft sind Abbildungen A von der rückschauenden Kamera 2 am Sattelauflieger-Heck 1 c in den Figuren 2a, 2b dargestellt. Grundsätzlich ergibt sich eine vergleichbarer Abbildung A aber auch bei einer Anordnung der rückschauenden Kamera 2 an dem Motorwagen-Heck 1 f des Motorwagens 1 e.

In Abhängigkeit der Bild-Signale S1 der jeweiligen rückschauenden Kamera 2 kann das Fahrerassistenzsystem 3, das beispielsweise eine Rückfahrassistenz 3a aufweist, den Fahrer in bekannter Weise bei einer Rück- wärtsfahrt unterstützen oder die Rückwärtsfahrt automatisiert durchführen. Dazu kann beispielsweise der Monitor 5 in einem Fahrgastraum 4 der Zugmaschine 1 a angeordnet sein, um dem Fahrer die aus den Bild-Signalen S1 extrahierte Abbildung A ggf. ergänzt um die Overlay-Signale S2, z.B. einen Fahrschlauch o.ä., optisch darzustellen.

Um jegliche Assistenz-Funktionen zuverlässig durchführen zu können, ist es erforderlich, ein von der rückschauenden Kamera 2 erfasstes Objekt, das in der Abbildung A bzw. in dem Bild-Signal S1 über entsprechende Bild- Koordinaten xA, xB beschrieben wird, in das fahrzeugfeste Koordinatensystem K1 (oder ein beliebiges Weltkoordinatensystem) zu übertragen. Die Übertragung bzw. Transformation erfolgt beispielsweise über eine Transformationsmatrix T, die die ermittelten Bild-Koordinaten xA, xB des jeweils erfassten Objektes in das fahrzeugfeste Koordinatensystem K1 (oder in das Weltkoordinatensystem) transformiert. Dazu werden aus den Bild- Koordinaten xA, xB über die Transformationsmatrix T transformierte Bild- Koordinaten Xt, Yt, Zt, beispielweise im fahrzeugfesten Koordinatensystem K1 , ermittelt.

Mithilfe der Transformationsmatrix T kann also die Lage des erfassten Objektes gegenüber dem Fahrzeug 1 eindeutig bestimmt und darauf entsprechend reagiert bzw. assistiert werden. Die Transformationsmatrix T ist dabei abhängig von der Kamera-Pose P2, d.h. der Lage der Kamera 2 am Fahrzeug 1 bzw. im Raum. Die Transformationsmatrix T ist beispielsweise eine 3x4 Matrix, die sich aus einem 3x1 Translationsvektor und einer 3x3 Rotationsmatrix zusammensetzt und die daher vergleichbar zur Kamera- Pose 2 (drei translatorische und drei rotatorische Freiheitsgrade) ist.

Da die Transformationsmatrix T bzw. die Kamera-Pose P2 nicht immer eindeutig bekannt ist, ist eine Kalibrierung der rückschauenden Kamera 2 nötig, beispielweise nach der Montage der rückschauenden Kamera 2. Durch die Kalibrierung wird eine für die aktuelle Situation zutreffende Transformationsmatrix T ermittelt oder, dazu vergleichbar (s.o.), die Kamera-Pose P2. Da sich die rückschauende Kamera 2 im Betrieb des Fahrzeuges 1 auch verstellen kann, ist eine derartige Kalibrierung in regelmäßigen Abständen ratsam, um auf eine möglicherweise geänderte Kamera-Pose P2 reagieren zu können. Demnach wird fortlaufend oder in festgelegten Zeitabständen eine aktuell zutreffende Transformationsmatrix T (oder die daraus folgende Kamera- Pose P2) ermittelt, auf die nachfolgend für die jeweilige Assistenz-Funktion zurückgegriffen werden kann.

Um die jeweilige rückschauende Kamera 2 auch nach der Montage fortlaufend kalibrieren und den Erfassungsbereich E optional in einer nachfolgenden Justierung optimal auf den Rückraum R ausrichten zu können, weist das Fahrzeug 1 eine Kalibieranordnung 10 auf, die erfindungsgemäß aus mindestens einem Bauteil 14, welches in seiner Position am Fahrzeug 1 ve- stellbar ist, und mindestens einem darauf oberflächlich aufgebrachten Marker 17, beispielsweise in Form eines flächigen runden und zweifarbigen (schwarz, weiß) Messmarkes, besteht. Der flächige Marker 17 kann aber auch mehreckig, kreuzförmig oder in beliebiger anderer Form und Farbe vorliegen.

Im Folgenden wird die Erfindung anhand eines verstellbaren Luftleitbauteiles 15, beispielsweise einer seitlichen Luftleitklappe 15a und/oder einer oberen Luftleitklappe 15b, als Bauteil 14, das verstellbar ist, beschrieben. Es können jedoch grundsätzlich auch andere verstellbare, z.B. ausklappbare oder ausfahrbare Bauteile 14 in Frage kommen, die in beliebiger Weise mit dem Fahrzeug 1 verbunden sind und die lediglich für die Kalibrierung der Kamera 2 oder aber auch für weitere Funktionen vorhanden sind. Die im Folgenden beschriebenen die Kalibrierung betreffenden Funktionen gelten dann sinngemäß auch für derartige Bauteile 14. Das mindestens eine Luftleitbauteil 15 der Kalibrieranordnung 10 befindet sich wie nachfolgend beschrieben zwischen der jeweiligen rückschauenden Kamera 2 und dem Rückraum R, so dass Teile des mindestens einen Luftleitbauteils 15, insbesondere die Marker 17, zumindest situativ, d.h. zumindest in vorbestimmten Stellungen X des jeweiligen Luftleitbauteils 15, von der rückschauenden Kamera 2 erfasst werden können.

Das Luftleitbauteil 15 ist dazu zwischen einer ersten Endstellung X1 und einer zweiten Endstellung X2 stufenlos oder stufenweise verstellbar, wobei die Verstellung durch Verschwenken bzw. Verklappen (Einklap- pen/Ausklappen) oder durch Verschieben bzw. Verfahren (Einfahre n/Ausf ah re n) des Luftleitbauteils 15 erfolgen kann. In den Figuren ist beispielhaft ein Verschwenken der Luftleitbauteile 15 über verstellbare Schwenkarme 16 dargestellt. Durch die unterschiedlichen Stellungen X der Luftleitbauteile 15 kann eine bestimmte Luftleit-Funktion erreicht werden, wobei der Luftstrom bei ausgefahrenen bzw. ausgeklappten Luftleitbauteilen 15 (hier: zweite Endstellung X2) um das Fahrzeug 1 , insbesondere das jeweilige Heck 1 c, 1 d, herumgelenkt wird, wodurch eine gleichmäßigere und effizientere Fahrt ermöglicht wird und Kraftstoffeinsparungen bei hohen Fahrzeuggeschwindigkeiten v1 , z.B. >60 km/h, erzielt werden können. Bei eingefahrenen bzw. eingeklappten Luftleitbauteilen 15 (hier: erste Endstellung X1 ) hingegen, wird diese Luftleit-Funktion nicht ermöglicht, wobei dies vorzugsweise bei niedrigen Fahrzeuggeschwindigkeiten v1 der Fall ist. Zwischen den beiden genannten Endstellungen X1 , X2 können je nach Ausbildung der Luftleitbauteile 15 grundsätzlich noch weitere Zwischenstellungen XZ existieren, in denen das jeweilige Luftleitbauteil 15 festgestellt werden kann.

Die Marker 17 sind derartig auf dem jeweiligen verstellbaren Luftleitbauteil 15 aufgebracht, dass die Marker 17 in zumindest einer der Stellungen X des Luftleitbauteils 15, d.h. in zumindest einer festgelegten Kalibrierstellung XK, im Erfassungsbereich E der Kamera 2 liegen. Dabei ist vorgesehen, dass die zumindest eine festgelegte Kalibrierstellung XK des betreffenden Luftleitbauteils 15 in einem Kalibrier-Modus M, d.h. wenn eine Kalibrierung der rückschauenden Kamera 2 vorgesehen ist, eingestellt wird bzw. werden kann.

Dabei ist vor allem darauf zu achten, dass das bewegliche Fahrzeugbauteil 15 mit dem Marker 17 den relevanten Bereich des Rückraumes R im Kalibrier-Modus M bzw. in der zumindest einen festgelegten Kalibrierstellung XK nur dann verdeckt, wenn für die jeweilige Assistenz-Funktion, beispielsweise die Rückfahrassistenz 3a, gerade keine möglichst großflächige Aufnahme des Rückraumes R erfolgen soll. Im Kalibier-Modus M sollte also die jeweilige Assistenz-Funktion durch die Stellung X des Luftleitbauteils 15 möglichst nicht beeinträchtigt werden.

Dies ist bei der Variante in den Figuren 2a, 2b für die Luftleitbauteile 15 am Sattelauflieger-Heck 1 c dann der Fall, wenn sich die Luftleitbauteile 15 in der zweiten Endstellung X2 (vollständig ausgefahren, ausgeklappt) befinden und beispielsweise eine Rückfahrassistenz 3a vorgesehen ist, so dass die zweite Endstellung X2 als Kalibrierstellung XK im Kalibrier-Modus M eingestellt werden kann. In dieser zweiten Endstellung X2 sind die oberflächlich aufgebrachten Marker 17 durch die rückschauende Kamera 2 gut erkennbar, wobei sich die verzerrte Darstellung in den Fig. 2a, 2b durch die Ausführung der rückschauenden Kamera 2 als sog. Fisheye-Kamera ergibt. Weiterhin werden die Luftleitbauteile 15 normalerweise lediglich bei hohen Fahrzeuggeschwindigkeiten v1 in diese zweite Endstellung X2 gebracht. Bei einer Rückfahrassistenz 3a wird die rückschauende Kamera 2 jedoch lediglich bei niedrigen Fahrzeuggeschwindigkeiten v1 eingesetzt, in der die Luftleitbauteile 15 in die erste Endstellung X1 verstellt sind und daher den für die Rückfahrassistenz 3a relevanten Bereich des Rückraumes R nicht mehr verdecken. Ergänzend kann auch vorgesehen sein, dass je nach Anwendung bzw. Assistenz-Funktion nicht alle Luftleitbauteile 15 der Kalibrieranordnung 10 für eine Kalibrierung der rückschauenden Kamera 2 verwendet werden. Wird der Rückraum R von der Assistenz-Funktion beispielsweise lediglich im linken Bereich überwacht, können bei aktiviertem Kalibrier-Modus M lediglich die Luftleitbauteile 15 auf der rechten Seite (rechte seitliche und/oder obere Luftleitklappen 15a, 15b), in die jeweilige Kalibrierstellung XK gebracht werden, um den linken Bereich des Erfassungsbereiches E der Kamera 2 nicht zu verdecken. Ergänzend können für einzelne oder alle Luftleitbauteile 15 in Abhängigkeit der Fahrsituation auch gezielt Zwischenstellungen XZ zwischen den beiden Endstellungen X1 , X2 als Kalibrierstellung XK gewählt werden, insofern die Kalibrieranordnung 10 mit den Luftleitbauteilen 15 das Einstellen dieser Zwischenstellungen XZ ermöglicht. In dem Fall ist es für die nachfolgende Kalibrierung jedoch hilfreich, wenn die Position des jeweiligen Luftleitbauteils 15 in der jeweiligen Zwischenstellung XZ eindeutig identifiziert werden kann, um daraus auf eine exakte Marker-Position PM17 der Marker 17 auf dem jeweiligen Luftleitbauteil 15 schließen zu können.

Zudem kann wie in Fig. 2a dargestellt auch vorgesehen sein, dass lediglich die seitlichen Luftleitklappen 15a (eine oder beide) in ihre jeweiligen Kalibrierstellungen XK gebracht werden und die oberen Luftleitklappen 15b in ihre ersten Endstellungen X1 (eingeklappt) verbleiben, um den Rückraum R während einer Kalibrierung zumindest teilweise erfassen zu können. Dies kann beispielsweise bei einer Assistenz-Funktion der Fall sein, in der die rückschauende Kamera 2 während der Fahrt mit höheren Fahrzeuggeschwindigkeiten v1 benötigt wird (Umfeldüberwachung) und gleichzeitig eine Kalibrierung der rückschauenden Kamera 2 erfolgen soll. In dem Fall werden die oberen Luftleitklappen 15b nicht automatisch bei höheren Fahrzeuggeschwindigkeiten v1 > 60 km/h in die zweite Endstellung X2 gebracht, sondern lediglich die seitlichen Luftleitklappen 15a (eine oder beide). Demnach kön- nen die Luftleitbauteile 15 bei aktiviertem Kalibrier-Modus M situativ auch unabhängig voneinander in ihre Kalibrierstellung XK (zweite Endstellung X2 oder Zwischenstellung XZ) gebracht werden.

Grundsätzlich kann im Kalibier-Modus M auch die erste Endstellung X1 (eingeklappt, eingefahren) des jeweiligen Luftleitbauteils 15 als Kalibrierstellung XK eingestellt werden, wenn die Marker 17 derartig auf den Luftleitbauteilen 15 positioniert sind, dass diese von der rückschauenden Kamera 2 bei aktiviertem Kalibrier-Modus M sicher und zuverlässig erfasst werden können. Meist sind die Luftleitbauteile 15 in der ersten Endstellung X1 jedoch so weit zugeklappt bzw. eingefahren, dass die Marker 17 nicht vollständig bzw. eindeutig und/oder aufgrund einer geringen Helligkeit nur schwer wahrzunehmen sind.

Befindet sich die rückschauende Kamera 2 am Zugmaschinen-Heck 1 c, können sich Luftleitbauteile 15, die zwischen der Kamera 2 und dem Rückraum R liegen, als Bestandteil der Kalibrieranordnung 10 beispielsweise an einem Rumpf 1 d des Sattelaufliegers 1 b befinden. Auch derartige rumpfseitige Luftleitklappen 15c können bei entsprechender Ausführung in eine erste Endstellung X1 (eingefahren, eingeklappt) und in eine zweite Endstellung X2 (ausgefahren, ausgeklappt) verstellt werden. Demnach kann auch mit diesen eine Kalibrierung der rückschauenden Kamera 2 erfolgen, wobei dann je nach Position der rückschauenden Kamera 2 eine Kalibrierstellung XK der jeweiligen rumpfseitigen Luftleitbauteile 15c im Kalibrier-Modus M derartig zu wählen ist, dass eine gute Sichtbarkeit der Marker 17 gewährleistet ist. Dies ist beispielsweise in einer ersten Endstellung X1 der Fall, in der die rumpfseitigen Luftleitbauteile 15c in etwa parallel oder in einem spitzen Winkel zum Rumpf 1 g des Sattelaufliegers 1 b liegen und daher für eine Kalibrierung zuverlässig von der rückschauenden Kamera 2 wahrgenommen werden können. Für eine Kalibrierung der rückschauenden Kamera 2 weist die Kalibrieranordnung 10 weiterhin eine Verarbeitungseinheit 19 auf. Die Verarbeitungseinheit 19 ist ausgebildet, die Bild-Signale S1 der rückschauenden Kamera 2 aufzunehmen und auszuwerten, wobei aus den Bild-Signalen S1 insbesondere eine Bild-Position PB17 eines erfassten Markers 17 auf den Luftleitbauteilen 15 ermittelt werden kann. Ferner ist die Verarbeitungseinheit 19 ausgebildet, die Marker-Position PM17 eines Markers 17 auf einem Luftleitbauteil 15 zumindest für die Kalibrierstellung XK einzulesen.

Die Marker-Position PM17 eines Markers 17 gibt dabei an, wo der jeweilige Marker 17 in der betrachteten Stellung X des Luftleitbauteils 15, vorzugsweise in der Kalibrierstellung XK, am Fahrzeug 1 bzw. im fahrzeugfesten Koordinatensystem K1 positioniert ist, wobei die Marker-Position PM17 für jeden Marker 17 auslesbar auf einer beliebigen Speichereinheit im Fahrzeug gespeichert sein kann. Die Marker-Positionen PM17 der Marker 17 werden dazu vorzugsweise durch Marker-Koordinaten x17, y17, z17 in dem fahrzeugfesten Koordinatensystem K1 , über das auch die Kamera-Pose P2 festgelegt wird, angegeben.

Die Bild-Position PB17 eines erfassten Markers 17 wird durch Bild- Koordinaten xA, xB in der Abbildung A angegeben, d.h. die Position, an der der jeweilige Marker 17 von der rückschauenden Kamera 2 in der aktuellen Kamera-Pose P2 aufgenommen und in der Abbildung A dargestellt wird. Die Bild-Position PB17 kann dabei aus den Bild-Signalen S1 ermittelt werden.

Weiterhin kann vorgesehen sein, dass die Verarbeitungseinheit 19 eine Stellung X der Luftleitbauteile 15 der Kalibrieranordnung 10 erfassen und/oder auch aktiv einstellen bzw. beeinflussen kann. Bei entsprechender Ausführung der rückschauenden Kamera 2 ist die Verarbeitungseinheit 19 ferner ausgebildet, eine Veränderung der Kamera-Pose P2 zu veranlassen, beispielsweise die rückschauende Kamera 2 zu verdrehen, um diese bei einer festgestellten Verstellung neu zu justieren.

Die Verarbeitungseinheit 19 kann dabei als eigenständige Einheit lediglich als Bestandteil der Kalibrieranordnung 10 vorgesehen sein oder aber als Bestandteil des Fahrerassistenzsystems 3 oder der rückschauenden Kamera 2 oder aber auch eines beliebigen anderen Systems im Fahrzeug. Die Verarbeitungseinheit 19 kann dabei in Form einer Hardware(erweiterung) vorliegen oder aber auch in Form einer Software bzw. eines Computerprogrammproduktes, das auf einem entsprechenden System installiert ist.

Mit diesem beschriebenen Aufbau kann gemäß Fig. 3 in der Verarbeitungseinheit 19 beispielsweise das folgende Verfahren zum Kalibrieren der rückschauenden Kamera 2 durchgeführt werden:

In einem anfänglichen Schritt STO wird von der Verarbeitungseinheit 19 zunächst geprüft, ob ein Kalibrier-Modus M aktiviert wurde, bzw. wird der Kalibrier-Modus M aktiviert. Dies kann in festgelegten Zeitabständen erfolgen oder infolge eines aktiven Befehls, die rückschauende Kamera 2 zu kalibrieren bzw. deren Kalibrierung zu überprüfen. Zudem kann der Kalibrier-Modus M auch dann automatisch aktiviert werden, wenn sich die Luftleitbauteile 15 der Kalibrieranordnung 10 ohnehin gerade in der Kalibrierstellung XK befinden.

In einem ersten Schritt ST1 wird bei aktiviertem Kalibrier-Modus M ermittelt, ob sich zumindest eines der Luftleitbauteile 15 am Fahrzeug 1 in einer Kalibrierstellung XK befindet. Ist dies nicht der Fall, so wird in einem Zwischenschritt ST1 .1 entweder gewartet, bis zumindest eines der Luftleitbauteile 15 durch ein beliebiges System im Fahrzeug 1 in die Kalibrierstellung XK verstellt wird, oder es wird ein Verstell-Signal S4 erzeugt und ausgegeben, in Abhängigkeit dessen zumindest eines der Luftleitbauteile 15 über einen be- liebigen Bauteil-Aktuator 21 in die Kalibrierstellung XK gebracht wird. In der ersten Variante kann beispielsweise gewartet werden, bis eine Fahrzeuggeschwindigkeit v1 vorliegt, bei der die Luftleitbauteile 15 normalerweise automatisch in die zweite Endstellung X2 als Kalibrierstellung XK gebracht werden. In der zweiten Variante kann eine gezielte Verstellung einer oder mehrerer der Luftleitbauteile 15 wie insbesondere zu den Fig. 2a und 2b beschrieben erfolgen.

In einem zweiten Schritt ST2 wird der Rückraum R mit der rückschauenden Kamera 2 erfasst und die aufgenommenen Bild-Signale S1 von der Verarbeitungseinheit 19 eingelesen. Dies erfolgt insbesondere dann, wenn sich zumindest eines der Luftleitbauteile 15 in der jeweiligen Kalibrierstellung XK befindet.

In einem dritten Schritt ST3 wird/werden von der Verarbeitungseinheit 19 eine bzw. mehrere Marker-Positionen PM17 eingelesen, wobei jeder Marker-Position PM17 ein Marker 17 auf dem jeweiligen Luftleitbauteil 15 zugeordnet ist. Gleichzeitig ist jeder Marker-Position PM17 eines Markers 17 eine Kalibrierstellung XK des jeweiligen Luftleitbauteils 15 zugeordnet. Daraus kann darauf geschlossen werden, an welcher Marker-Position PM17 sich der jeweilige Marker 17 bei einer bestimmten eingestellten Kalibrierstellung XK im Raum bzw. im fahrzeugfesten Koordinatensystem K1 (oder im festgelegten Weltkoordinatensystem) befindet.

In einem vierten Schritt ST4 wird/werden von der Verarbeitungseinheit 19 anhand der Bild-Signale S1 bzw. der Abbildung A des Rückraums R eine bzw. mehrere Bild-Positionen PB17 ermittelt, wobei jeder Bild-Position PB17 ein Marker 17 auf dem jeweiligen Luftleitbauteil 15 zugeordnet ist.

Folglich können nach den Schritten ST3 und ST4, die auch in anderer Reihenfolge durchgeführt werden können, jedem erfassten Marker 17 sowohl eine Bild-Position PB17 als auch eine Marker-Position PM17 zugeordnet werden. Hat sich die Kamera-Pose P2 seit der letzten Kalibrierung nicht verändert, so müsste eine der Kamera-Pose P2 bisher zugeordnete Transformationsmatrix T die Bild-Position PB17 eines erfassten Markers 17 nahezu exakt auf die Marker-Position PM17 im kartesischen Koordinatensystem K1 transformieren. Die Marker-Koordinaten x17, y17, z17 eines Markers 17 müssten in dem Fall also mit den transformierten Bild-Koordinaten xT, yT, zT desselben Markers 17 in etwa übereinstimmen.

Um jedoch bei einer (un)gewollten Verstellung der Kamera 2 Fehler bei einer derartigen Transformation der Bild-Koordinaten xA, xB in das fahrzeugfeste Koordinatensystem K1 zu vermeiden, ist in einem fünften Schritt ST5 eine erneute Kalibrierung vorgesehen.

Dazu ist die Verarbeitungseinheit 19 ausgebildet, aus der ermittelten Bild-Position PB17 eines erfassten Markers 17 und der eingelesenen Marker- Position PM17 desselben Markers 17 für die aktuelle Situation, d.h. für die aktuell vorliegende Kamera-Pose P2, eine aktuelle Transformationsmatrix T (oder direkt die damit zusammenhängende Kamera-Pose P2) zu ermitteln und die rückschauende Kamera 2 damit zu kalibrieren. Diese Transformationsmatrix T gibt dann für die aktuelle Situation an, nach welcher geometrischen Vorschrift die Bild-Position PB17 eines abgebildeten Markers 17 in das fahrzeugfeste Koordinatensystem K1 zu übertragen ist. Hat sich die Kamera- Pose P2 seit der letzten Kalibrierung nicht verändert, so stimmt diese Transformationsmatrix T mit der bisher abgespeicherten Transformationsmatrix T überein. Die Kalibrierung bleibt dann also unverändert.

Kann das jeweilige Luftleitbauteil 15 in unterschiedliche Kalibrierstellungen XK zwischen den beiden Endstellungen X1 , X2 gebracht werden, so ist dies sowohl bei dem Einlesen der Marker-Position PM17 im Schritt ST3 als auch der Bild-Position PB17 im Schritt ST4 zu berücksichtigen. Dabei ist ins- besondere bei der Ermittlung der Bild-Position PB17 zu ermitteln, ob sich das jeweilige Luftleitbauteil 15 tatsächlich bereits in der jeweiligen Kalibrierstellung XK befindet (s. Schritt ST1 ), wobei dies durch eine Rückmeldung vom jeweiligen Bauteil-Aktuator 21 erfolgen kann oder durch eine bildverarbeitende Methode, in der beispielsweise anhand der Bild-Signale S1 festgestellt wird, ob sich das jeweilige Luftleitbauteil 15 noch bewegt.

Um eine Verstellung der rückschauenden Kamera 2 bzw. eine Veränderung der Kamera-Pose P2 auch quantitativ zu ermitteln, kann in einem sechsten Schritt ST6 vorgesehen sein, dass aus der im fünften Schritt ST5 ermittelten Transformationsmatrix T eine aktuelle Kamera-Pose P2 im fahrzeugfesten Koordinatensystem K1 abgeschätzt wird und diese mit einer vorab festgelegten Kamera-Soll-Pose P2Soll verglichen wird. Ergibt sich eine Abweichung D zwischen der aktuellen Kamera-Pose P2 und der Kamera- Soll-Pose P2Soll, die einen vorab festgelegten Grenzwert GW übersteigt, kann eine Justierung der rückschauenden Kamera 2 vorgesehen sein.

Grundsätzlich kann eine zu große Abweichung von der Kamera-Soll- Pose P2Soll aber im Schritt ST6 auch anderweitig festgestellt werden, beispielsweise auch durch eine Prüfung, ob der Rückraum R oder eine vorgegebene Anzahl an Markern 17 im Fokus der Kamera 2 liegt.

Durch die nachfolgende Justierung kann die rückschauende Kamera 2 in eine Kamera-Pose P2 verstellt werden, die sich an die Kamera-Soll-Pose P2Soll annähert, um eine festgestellte Abweichung D vollständig oder weitestgehend auszugleichen und die rückschauende Kamera 2 wieder korrekt auf den Rückraum R zu justieren. Dazu kann in einem ersten Teilschritt ST6.1 vorgesehen sein, die Kamera-Pose P2 der rückschauenden Kamera 2 am Fahrzeug 1 aktiv zu verstellen, beispielsweise über einen Kamera- Aktuator 23. Dieser ist ausgebildet, die rückschauende Kamera 2 zu ver- schwenken bzw. zu verstellen. Die Verarbeitungseinheit 19 kann dazu bei- spielsweise ein Justier-Signal S5 erzeugen und damit den Kamera-Aktuator 23 ansteuern, um die festgestellte Abweichung D zu kompensieren. Dies kann durch eine einmalige gezielte Ansteuerung in Abhängigkeit der exakt ermittelten Abweichung D erfolgen oder aber durch eine Regelschleife.

In einem zweiten Teilschritt ST6.2 wird anschließend für die neu justierte Kamera 2 nach den oben beschriebenen Grundsätzen eine Transformationsmatrix T und/oder die Kamera-Pose P2 ermittelt, um die Kamera 2 entsprechend zu kalibrieren, so dass das jeweilige Fahrerassistenzsystem 3 in der Lage ist, die Bild-Koordinaten xA, xB eines erfassten Objektes für diese neu justierte Kamera-Pose P2 in das fahrzeugfeste Koordinatensystem K1 zu transformieren.

In einem siebenten Schritt ST7 kann dann die im fünften Schritt ST5 und/oder die im zweiten Teilschritt ST6.2 ermittelte Transformationsmatrix T abgespeichert und/oder über ein Kalibrier-Signal S3 ausgegeben werden, z.B. an das Fahrerassistenzsystem 3. Mit dieser Transformationsmatrix T kann das jeweilige bildverarbeitende System, beispielsweise das Fahrerassistenzsystem 3, insbesondere die Rückfahrassistenz 3a, das von der Kamera 2 ausgegebene Bild-Signal S1 weiterverarbeiten, und daher ein erfasstes Objekt exakt lokalisieren und in Abhängigkeit davon entsprechend assistieren.

Um die Genauigkeit der Kalibrierung zu verbessern, ist die Anzahl der Marker 17, anhand derer die Transformationsmatrix T ermittelt wird, entsprechend hoch zu wählen, zumal einige Marker 17 ggf. auch durch Verschmutzungen verdeckt sein können. Durch Marker 17 auf mehreren Luftleitbauteilen 15 kann die Kalibrierung zudem plausibilisiert werden. So kann auch dann noch eine sichere Kalibrierung stattfinden, wenn eines der Luftleitbauteile 15 beispielsweise verklemmt ist oder die aufgebrachten Marker 17 ver- deckt oder verschmutzt sind. Entsprechendes gilt für eine anschließende Justierung.

Mit dem beschriebenen Verfahren kann also in einfacher und zuverlässiger Weise eine automatisierte Kalibrierung der rückschauenden Kamera 2 (ggf. mit einer nachfolgenden aktiven Verstellung der Kamera 2 (Justierung)) erfolgen, die unabhängig vom Ort des Fahrzeuges 1 ist und je nach Anwendung und Ausführung auch unabhängig von der Fahrsituation des Fahrzeuges 1 . Ein Fahrer ist für diese Kalibrierung und ggf. Justierung ebenfalls nicht nötig, da dies vollautomatisiert stattfinden kann.

Bezugszeichenliste (Teil der Beschreibung)

1 Fahrzeug

1a Zugmaschine

1 b Sattelauflieger

1c Sattelauflieger-Heck

1d Zugmaschinen-Heck

1e Motorwagen

1f Motorwagen-Heck ig Rumpf des Sattelaufliegers 1 b

2 rückschauende Kamera

3 Fahrerassistenzsystem

3a Rückfahrassistenz

4 Fahrgastraum

5 Monitor

10 Kalibrieranordnung

14 Bauteil

15 Luftleitbauteil

15a seitliche Luftleitklappe

15b obere Luftleitklappe

15c rumpfseitige Luftleitklappe

16 Schwenkarm

17 Marker

19 Verarbeitungseinheit

21 Bauteil-Aktuator

23 Kam era- Aktuator

A Abbildung

D Abweichung

E Erfassungsbereich

GW Grenzwert

K1 kartesisches Koordinatensystem

M Kalibrier-Modus P2 Kamera-Pose

P2Soll Kamera-Soll-Pose

PB17 Bild-Position der Marker 17

PM17 Marker-Position der Marker 17

R Rückraum

S1 Bild-Signal

S2 Overlay-Signal

S3 Kalibrier-Signal

S4 Verstell-Signal

S5 Justier-Signal

T T ransformationsmatrix v1 Fahrzeuggeschwindigkeit xA, xB Bild-Koordinaten xT, yT, zT transformierte Bildkoordinaten x17, y17, z17 Marker-Koordinaten xK, yK, zK Koordinaten des kartesischen Koordinatensystems K1 X Stellung des Bauteils 14 / Luftleitbauteils 15

X1 erste Endstellung (eingeklappt, eingefahren)

X2 zweite Endstellung (ausgeklappt, ausgefahren)

XK Kalibrierstellung

XZ Zwischenstellung

STO, ST1 , St1 .1 , ST2, ST3, ST4, ST5, ST6, ST6.1 , ST6.2, ST7

Schritte des Verfahrens

Claims

- 29 - Patentansprüche

1 . Verfahren zum Kalibrieren einer rückschauenden Kamera (2) an einem Fahrzeug (1 ) mit mindestens einem Bauteil (14), welches verstellt werden kann, wobei das mindestens eine Bauteil (14) in eine Kalibrierstellung (XK) verstellt werden kann und an dem mindestens einen Bauteil (14) mindestens ein Marker (17) derartig angeordnet ist, dass der Marker (17) nach einer Verstellung des mindestens einen Bauteils (14) in die Kalibrierstellung (XK) in einem Erfassungsbereich (E) der rückschauenden Kamera (2) liegt, und wobei sich die rückschauende Kamera (2) in einer Kamera-Pose (P2) relativ zum Fahrzeug (1 ) befindet, mit mindestens den folgenden Schritten:

- Einlesen von Bild-Signalen (S1 ) der rückschauenden Kamera (2) (ST2), wobei der Erfassungsbereich (E) der rückschauenden Kamera (2) auf einen Rückraum (R) hinter dem Fahrzeug (2) derartig ausgerichtet ist, dass die eingelesenen Bild-Signale (S1 ) eine Abbildung (A) des Rückraums (R) hinter dem Fahrzeug (1 ) charakterisieren, während sich das mindestens eine Bauteil (14) in der Kalibrierstellung (XK) befindet;

- Einlesen von mindestens einer Marker-Position (PM17), wobei jede eingelesene Marker-Position (PM17) einem Marker (17) auf dem jeweiligen Bauteil (14) zugeordnet ist, während sich das jeweilige Bauteil (14) in der Kalibrierstellung (XK) befindet (ST3);

- Ermitteln von mindestens einer Bild-Position (PB17) in Abhängigkeit der Bild-Signale (S1 ), wobei jede ermittelte Bild-Position (PB17) einem Marker (17) auf dem jeweiligen Bauteil (14) zugeordnet ist, während sich das jeweilige Bauteil (14) in der Kalibrierstellung (XK) befindet (ST4);

- Kalibrieren der rückschauenden Kamera (2) in Abhängigkeit der eingelesenen Marker-Position (PM17) eines Markers (17) und der ermittelten Bild-Position (BP17) desselben Markers (17) (ST5; ST6.2). - 30 - Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass aus der für einen Marker (17) eingelesenen Marker-Position (PM17) und der ermittelten Bild-Position (BP17) desselben Markers (17) eine Transformationsmatrix (T) und/oder die Kamera-Pose (P2) derartig ermittelt wird, dass die Bild-Position (PB17) eines Markers (17) über die Transformationsmatrix (T) und/oder in Abhängigkeit der Kamera-Pose (P2) auf die eingelesene Marker-Position (PM17) transformiert wird (ST5). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die ermittelte Bild-Position (PB17) eines Markers (17) in Bild-Koordinaten (xA, xB) angegeben wird und die Bild-Koordinaten (xA, xB) eines Markers (17) in Abhängigkeit der ermittelten Transformationsmatrix (T) und/oder der ermittelten Kamera-Pose (P2) in transformierte Bildkoordinaten (xT, yT, zT) in einem kartesischen Koordinatensystem (K1 ) transformiert werden, wobei die Marker-Position (PM17) desselben Markers (17) vorzugsweise ebenfalls in dem kartesischen Koordinatensystem (K1 ) angegeben wird. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine Abweichung (D) zwischen der ermittelten Kamera-Pose (P2) der rückschauenden Kamera (2) und einer vorgegebenen Kamera-Soll-Pose (P2Soll) ermittelt wird (ST6) und die rückschauende Kamera (2) bei einem Überschreiten eines Grenzwertes (GW) für die Abweichung (D) derartig justiert wird (ST6.1 ), dass sich die Abweichung (D) verringert, wobei die Abweichung (D) vorzugsweise kompensiert wird. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Justieren der rückschauenden Kamera (2) (ST6.1 ) vor dem Kalibrieren der rückschauenden Kamera (2) (ST6.2) erfolgt. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die rückschauende Kamera (2) bei einem Überschreiten des Grenzwertes (GW) verstellt wird, um die ermittelte Kamera-Pose (P2) an die Kamera- Soll-Pose (P2Soll) anzunähern, wobei dazu in Abhängigkeit der ermittelten Abweichung (D) zwischen der ermittelten Kamera-Pose (P2) der rückschauenden Kamera (2) und einer vorgegebenen Kamera-Soll-Pose (P2Soll) (ST6) ein Justier-Signal (S5) erzeugt und ausgegeben wird, wobei ein mit der rückschauenden Kamera (2) zusammenwirkender Kamera-Aktuator (23) mit dem Justier-Signal (S5) derartig angesteuert wird, dass sich die Kamera-Pose (P2) der rückschauenden Kamera (2) verstellt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens zwei Bauteile (14) vorgesehen sind, wobei die mindestens zwei Bauteile (14) gemeinsam oder einzeln in die Kalibrierstellung (SK) gebracht werden zum Kalibrieren der rückschauenden Kamera (2). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Bauteil (14) ein Luftleitbauteil (15) ist, welches verstellt werden kann, beispielsweise eine obere Luftleitklappe (15b) oder eine seitliche Luftleitklappe (15a) oder eine rumpfseitige Luftleitklappe (15c). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Bauteil (14) zwischen einer ersten Endstellung (X1 ) und einer zweiten Endstellung (X2) stufenlos oder stufenweise verstellt werden kann, wobei sich das mindestens eine Bauteil (14) in der Kalibrierstellung (XK)

- in einer Zwischenstellung (XZ) zwischen der ersten Endstellung (X1 ) und der zweiten Endstellung (X2) befindet, oder

- in der ersten Endstellung (X1 ), oder - in der zweiten Endstellung (X2). Verfahren nach einem der vorhergehenden Ansprüche, dass das mindestens eine Bauteil (14) in unterschiedliche Kalibrierstellungen (XK) gebracht werden kann, wobei jedem Marker (17) auf diesem mindestens einen Bauteil (14) mehrere Marker-Position (PM17) zugeordnet sind, wobei jede Marker-Position (PM17) des jeweiligen Markers (17) einer der unterschiedlichen Kalibrierstellungen (XK) zugeordnet ist, so dass das Kalibrieren der rückschauenden Kamera (2) in Abhängigkeit der eingelesenen Marker-Position (PM17) eines Markers (17) für die jeweils eingestellte Kalibrierstellung (XK) und der ermittelten Bild-Position (BP17) desselben Markers (17) erfolgen kann. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Bauteil (14) mit dem mindestens einen Marker (17) automatisiert verstellt werden kann, beispielsweise über einen Bauteil-Aktuator (21 ). Verfahren nach einem der vorhergehenden Ansprüche, dass vor dem Einlesen von Bild-Signalen (S1 ) der rückschauenden Kamera (2) (ST2) geprüft wird, ob ein Kalibrier-Modus (M) aktiviert ist (STO) und/oder ob sich das mindestens eine Bauteil (14) in der Kalibrierstellung (XK) befindet (ST1 ). Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass vor dem Einlesen von Bild-Signalen (S1 ) der rückschauenden Kamera (2) (ST2) das mindestens eine Bauteil (14) automatisch in die Kalibrierstellung (XK) gebracht wird, sobald der Kalibrier-Modus (M) aktiviert wird, oder gewartet wird bis das mindestens eine Bauteil (14) anderweitig in die Kalibrierstellung (XK) gebracht wird, wobei das Bauteil (14) beispielsweise in Abhängigkeit einer Fahrzeuggeschwindigkeit (v1 ) des Fahrzeuges (1 ) - 33 - automatisiert in die Kalibrierstellung (XK) verstellt wird. Fahrzeug (1 ), insbesondere Nutzfahrzeug, mit einer Kalibrieranordnung (10) und einer rückschauenden Kamera (2), wobei sich die rückschauende Kamera (2) in einer Kamera-Pose (P2) relativ zum Fahrzeug (1 ) befindet, wobei die Kalibrieranordnung (10) aufweist:

- eine Verarbeitungseinheit (19), die ausgebildet ist, das Verfahren gemäß einem der vorhergehenden Ansprüche zum Kalibrieren der rückschauenden Kamera (2) auszuführen, und

- mindestens ein Bauteil (14), welches verstellbar ist, wobei das mindestens eine Bauteil (14) in eine Kalibrierstellung (XK) verstellt werden kann und an dem mindestens einen Bauteil (14) mindestens ein Marker (17) derartig angeordnet ist, dass der Marker (17) bei einer Verstellung des mindestens einen Bauteils (14) in die Kalibrierstellung (XK) in einem Erfassungsbereich (E) der rückschauenden Kamera (2) liegt, wobei der Erfassungsbereich (E) der rückschauenden Kamera (2) auf einen Rückraum (R) hinter dem Fahrzeug (2) ausgerichtet ist. Fahrzeug (1 ) nach Anspruch 14, dadurch gekennzeichnet, dass das Fahrzeug (1 ) einteilig ist, insbesondere aus einem Motorwagen (1 e) besteht, oder mehrteilig ist, insbesondere aus einer Zugmaschine (1 a) und einem Sattelauflieger (1 b) besteht. Fahrzeug (1 ) nach Anspruch 15, dadurch gekennzeichnet, dass die rückschauende Kamera (2) an einem Sattelauflieger-Heck (1 c) des Sattelaufliegers (1 b) und/oder an einem Zugmaschinen-Heck (1 d) der Zugmaschine (1 a) oder an einem Motorwagen-Heck (1 f) des Motorwagens (1 e) angeordnet ist. Fahrzeug (1 ) nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass das mindestens eine Bauteil (14) ein Luftleitbauteil (15) - 34 - ist, welches verstellbar ist, beispielsweise eine seitliche Luftleitklappe (15a) und/oder eine obere Luftleitklappe (15b) und/oder eine rumpfseitige Luftleitklappe (15c), die gemeinsam oder jeweils einzeln in die Kalibrierstellung (XK) gebracht werden können. Fahrzeug (1 ) nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass das mindestens eine Bauteil (14) über einen Bauteil- Aktuator (21 ) automatisiert verstellt werden kann. Fahrzeug (1 ) nach einem der Ansprüche 14 bis 18, dadurch gekennzeichnet, dass es weiterhin ein Fahrerassistenzsystem (3) aufweist, beispielsweise eine Rückfahrassistenz (3a), wobei das Fahrerassistenzsystem (3) ausgebildet ist, die Bild-Signale (S1 ) der kalibrierten rückschauenden Kamera (2) einzulesen und zu verarbeiten.