WO2019228766A1 - Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera - Google Patents

Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera Download PDF

Info

Publication number
WO2019228766A1
WO2019228766A1 PCT/EP2019/061793 EP2019061793W WO2019228766A1 WO 2019228766 A1 WO2019228766 A1 WO 2019228766A1 EP 2019061793 W EP2019061793 W EP 2019061793W WO 2019228766 A1 WO2019228766 A1 WO 2019228766A1
Authority
WO
WIPO (PCT)
Prior art keywords
railway vehicle
image
calibration
bfzk
camera
Prior art date
Application number
PCT/EP2019/061793
Other languages
English (en)
French (fr)
Inventor
Andreas Schönberger
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to CN201980036363.1A priority Critical patent/CN112154090B/zh
Priority to EP19727831.0A priority patent/EP3802266A1/de
Priority to RU2020142257A priority patent/RU2762164C1/ru
Publication of WO2019228766A1 publication Critical patent/WO2019228766A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling

Definitions

  • the invention relates to a calibration method for a railway vehicle camera according to the preamble of patent entitlement 1, a calibration system for a Bruschka mera according to the preamble of claim 3 and a railway vehicle with railway vehicle camera according to the preamble of claim. 7
  • Rail vehicles are part of a modern transport infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move.
  • track-bound transport and Transportmit tel are rail vehicles based on a wheel-rail system, either a private traction (Triebwa conditions) or pulled or pushed by a locomotive and in which predominantly steel wheels with a flange on two steel rails railways are the most widespread.
  • the object underlying the invention is to provide a calibration method and calibration system for a train vehicle camera and a railway vehicle with railway vehicle camera, with the train vehicle camera can be calibrated in a simple and cost-effective manner.
  • the object is achieved on the basis of the Oberbe handle of claim 3 defined calibration system by the features specified in the characterizing part of claim 3.
  • a correction value is calculated on the basis of a calibration image corresponding, metadata-related reference image of the reference images as a difference value to a Referenzposi tion in the metadata-related reference image based on the Po se information
  • the calculated correction value is used to generate camera calibration information or to interpret the image information in the calibration image.
  • At least one camera mounted on the railway or rail vehicle continuously picks up the area in front of the vehicle. This corresponds wholly or partly to the perspective of the driver. Alternatively or additionally, another camera is mounted so that the area in front of the vehicle is continuously picked up from a stationary, driving lane-topping position in or on the railway vehicle.
  • Another technical feature for problem solving which is relevant to the invention is, in addition to the at least one camera, metadata required over the railway line. Namely, if the vehicle is according to this metadata on a Fahrspurab section with straight lane course, it can be determined based on the lane course in the picture, the position and orientation of the camera, a so-called pose, in relation to the lane, in particular special the tracks. Based on this information, a correction value can be calculated to an image taken by the railway vehicle / rail vehicle camera or a reference camera.
  • the calculated correction value to the reference position can be used to interpret the recorded image information accordingly.
  • the calculated correction value can be used for the precise determination of the image section.
  • the calibration ie the calculation of the difference values to the reference position
  • the calibration can be performed by a cloud-based service and only the calibration information can be returned to the camera system.
  • the advantage of the invention is that after the installation of one or more cameras in a railway vehicle on agile or even manual calibration of the camera system is not agile.
  • the calibration method can also be applied to different types of cameras as well as different recording characteristics. For example, cameras with different lenses (telephoto or wide-angle lens) are used.
  • FIGS 1 to 3 show:
  • FIG. 1 shows a calibration system in conjunction with a railway vehicle camera as part of a railway vehicle, in particular a rail vehicle,
  • FIG. 2 shows an exemplary representation of a reference image that has been taken from the perspective of a vehicle driver.
  • FIGURE 3 is an exemplary illustration of a calibration image that has been taken as the image in FIGURE 2 from the perspective of the driver.
  • FIG. 1 shows a calibration system KS in conjunction with a railway vehicle camera BFZK as part of a train driving tool BFZ, in particular a rail vehicle SFZ.
  • the Ka libr istssystem KS is preferably designed as a cloud-based system and includes a memory device SPE and an evaluation / calculation unit ABE, both for Ka librieren the railway vehicle camera BFZK are connected to this.
  • the railway vehicle BFZ, SFZ, V orzugs- example at least from the partial perspective of aharimon rers FZF and / or from a stationary, lane coach the position in or on the railway vehicle BFZ, SFZ, of a railway BST, which may be formed as a rail track SST, for example, with respect to a the railway vehicle BFZ, SFZ vorgela gererten route range FSB a plurality of each of the route range FSB representing, detected by the reference images RBI.
  • the acquired reference images RBI are stored in the storage device SPE of the calibration system KS.
  • SPE Me tartz MD are stored on the detected in the images railway line BST, SST.
  • metadata is data that literally refers to characteristics or characteristics of the railway line BST, SST recorded in the images.
  • SFZ as the preferably at least from the partial perspective of driving convincing driver FZF and / or from the stationary, driving lane four-end position in or on the railway vehicle BFZ, SFZ, of egg nem section of the railway line BST, SST with a straight course of a lane, for example, straight course of rails or tracks, again with respect to the train vehicle BFZ, SFZ upstream route distance FSB with the Bahnfahr camera BFZK calibration images to be metadata MD, with or on their basis the section of the railway line BST, SST with straight course of the traffic lane can be determined, loaded from the storage device SPE into the train driving camera BFZK. Due to this loading of the metadata MD into the railway vehicle camera BFZK, the latter acquires a calibration image KBI MD , which is transmitted to or loaded into the evaluation / calculation unit ABE.
  • the evaluation / calculation unit ABE is also connected to the SpeI cher worn SPE and forms with this a functional unit FE such that
  • a metadata-related reference image RBI MD of the reference images RBI corresponding to the calibration image KBI MD and uploaded to the evaluation / calculation unit ABE is uploaded by the evaluation / calculation unit ABE into the evaluation / calculation unit ABE in accordance with FIG .
  • a correction value KW is calculated on the basis of the calibration image KBI MD corresponding, metadata-related reference image RBI MD as a difference value to a reference position in the metadata-related reference image RBI MD based on the pose information, wherein by comparing the Lane course in the two images according to FIGURES 2 and 3 can be closed to the position of the camera to be calibrated,
  • a camera calibration information KKI is generated on the basis of the calculated correction value KW or the image information can be interpreted in the calibration image KBI MD .
  • the evaluation / calculation unit ABE to be connected to an image analysis device BAV and the calculated correction value KW to be used for the exact determination of an image section in image analysis carried out in the image analysis device BAV by rail or rail, for example by On the basis of a lane-based image analysis, as described in the international patent application with the file reference
  • the image analysis device BAV is preferably like the calibration system KS in conjunction with the Bruschka mera BFZK part of the railway vehicle BFZ, SFZ.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Um auf einfache und kostengünstige Weise eine Bahnfahrzeugkamera (BFZK) kalibriert zu können, wird es vorgeschlagen, dass - von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ), aus, von einer Bahnstrecke (BST), insbesondere einer Schienenstrecke (SST), in Bezug auf einen dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) repräsentierende Referenz-Bilder (RBI) erfasst und gespeichert wird, - Metadaten (MD) über die in den Bildern erfasste Bahnstrecke (BST, SST) vorliegen, - ein Kalibrierungsbild (KBIMD) von einem aufgrund der Metadaten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur durch die Bahnfahrzeugkamera (BFZK) erfasst wird, - eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild (KBIMD) ermittelt wird, - ein Korrekturwert (KW) auf der Basis eines zum Kalibrierungsbild (KBIMD) korrespondierenden, Metadaten-bezogenen Referenz-Bildes (RBIMD) der Referenz-Bilder (RBI) als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBIMD) anhand der Pose-Information berechnet wird, - der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBIMD) zu interpretieren.

Description

Beschreibung
Kalibrierungsverfahren und Kalibrierungssystem für eine Bahn fahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera
Die Erfindung bezieht sich auf ein Kalibrierungsverfahren für eine Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentan spruches 1, ein Kalibrierungssystem für eine Bahnfahrzeugka mera gemäß dem Oberbegriff des Patentanspruches 3 und ein Bahnfahrzeug mit Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentanspruches 7.
Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrs infrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer o- der zwei Leitschienen (Gleisen) , schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen.
Von den genannten spurgebundenen Verkehrs- und Transportmit tel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwa gen) oder von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet .
In zukünftigen Assistenzsystemen für solche Bahnfahrzeuge respektive Schienenfahrzeuge oder in autonom fahrenden spur gebundenen Fahrzeugen werden Kameras zur Erkennung unter schiedlicher Objekte und Umgebungsmerkmale wie beispielsweise zur Signalerkennung zum Einsatz kommen. Wenn diese Kameras nicht immer an derselben Stelle in einem Fahrzeug in Bezug zur Fahrspur respektive den Schienen (so z.B. Links/Rechts, Oben/Unten und Blickwinkel der Kamera) eingebaut werden kön nen, ergibt sich für die aufgenommenen Bilder jeweils eine andere Perspektive (vgl. FIGUREN 2 und 3) .
Alle Verfahren, die darauf beruhen, dass aufgenommene Bilder mit Referenz-Bildern verglichen oder lediglich ein bestimmter Ausschnitt des Bildes ausgewählt werden soll, benötigen eine Kamerakalibrierung, um einen Korrekturwert berechnen zu kön nen der die Lage der Bilder zu den Referenzbildern angibt. Dieser Korrekturwert wird für weitere Auswertungen von Bild ausschnitten oder der Lage von Objekten im Bild in Bezug zum Referenzbild benötigt.
Es ist derzeit kein System zur automatischen Kalibrierung von Kameras in spurgebundenen Fahrzeugen bekannt. Von der Firma Bosch® AG wird zwar gemäß einem Video-Link
http://videoportal.bosch-presse.de/clip/ /-/-/Bosch- Kollisionswarnsystem für-Stadt-und-Straßenbahnen ein Kamera basiertes Kollisionswarnsystem für Straßenbahnen angeboten, aber es ist nicht bekannt, ob dort eine automatische Kalib rierung der Kameras enthalten ist. Vermutlich wird dies aber für den gezeigten Anwendungsfall nicht benötigt.
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Kalibrierungsverfahren und Kalibrierungssystem für eine Bahn fahrzeugkamera sowie ein Bahnfahrzeug mit Bahnfahrzeugkamera anzugeben, mit dem auf einfache und kostengünstige Weise die Bahnfahrzeugkamera kalibriert werden kann.
Diese Aufgabe wird ausgehend von dem im Oberbegriff des Pa tentanspruchs 1 definierten dem Kalibrierungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkma le gelöst.
Darüber hinaus wird die Aufgabe ausgehend von dem im Oberbe griff des Patentanspruchs 3 definierten Kalibrierungssystem durch die im Kennzeichen des Patentanspruches 3 angegebenen Merkmale gelöst.
Außerdem wird die Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 7 definierten Bahnfahrzeug mit Bahnfahr zeugkamera durch die im Kennzeichen des Patentanspruches 7 angegebenen Merkmale gelöst. Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 3 und 7 zugrunde liegenden Idee besteht darin, dass
A) von einem Bahnfahrzeug, insbesondere einem Schienenfahr zeug, aus, von einer Bahnstrecke, insbesondere einer Schie nenstrecke, in Bezug auf einen dem Bahnfahrzeug vorgelagerten Fahrstreckenbereich eine Vielzahl von jeweils den Fahrstre ckenbereich repräsentierende Referenz-Bilder erfasst und ge speichert wird,
B) Metadaten über die in den Bildern erfasste Bahnstrecke vorliegen,
C) ein Kalibrierungsbild von einem aufgrund der Metadaten er mittelbaren Abschnitt der Bahnstrecke mit geradem Verlauf ei ner Fahrspur, z.B. Schienen- oder Gleisverlauf, durch die Bahnfahrzeugkamera erfasst wird,
D) eine Position und Orientierung der Bahnfahrzeugkamera an gebende Information, die sogenannte Pose, in Bezug zur Fahr spur anhand des Fahrspurverlaufs in dem Kalibrierungsbild er mittelt wird,
E) ein Korrekturwert auf der Basis eines zum Kalibrierungs bild korrespondierenden, Metadaten-bezogenen Referenz-Bildes der Referenz-Bilder als Differenzwert zu einer Referenzposi tion in dem Metadaten-bezogenen Referenz-Bild anhand der Po se-Information berechnet wird,
F) der berechnete Korrekturwert benutzt wird, um eine Kamera kalibrierungsinformation zu erzeugen oder die Bildinformatio nen in dem Kalibrierungsbild zu interpretieren.
Mindestens eine auf dem Bahn- bzw. Schienenfahrzeug montierte Kamera nimmt kontinuierlich den Bereich vor dem Fahrzeug auf. Dies entspricht ganz oder teilweise der Perspektive des Fahr zeugführers. Alternativ oder zusätzlich ist eine weitere Ka mera so montiert, dass aus einer ortsfesten, fahrspurobser vierenden Position im oder am Bahnfahrzeug der Bereich vor dem Fahrzeug kontinuierlich aufgenommen wird.
Als weiteres, erfindungsrelevantes technisches Merkmal zur Problemlösung sind neben der mindestens einen Kamera Metada- ten über die Bahnstrecke erforderlich. Befindet sich das Fahrzeug nämlich gemäß diesen Metadaten auf einem Fahrspurab schnitt mit geradem Fahrspurverlauf, so lässt sich anhand des Fahrspurverlaufs im Bild die Position und Orientierung der Kamera, eine sogenannte Pose, in Bezug zur Fahrspur, insbe sondere den Gleisen, ermittelt werden. Anhand dieser Informa tion kann ein Korrekturwert zu einem Bild berechnet werden, das von der Bahnfahrzeug/Schienenfahrzeug-Kamera oder einer Referenz-Kamera aufgenommen wurde.
Der berechnete Korrekturwert zur Referenzposition kann dazu benutzt werden, die aufgenommenen Bildinformationen entspre chend zu interpretieren.
Soll beispielsweise lediglich ein bestimmter Bereich abhängig vom Fahrspurverlauf (Schienen- oder Gleisverlauf) in einem Bild für die Bildverarbeitung betrachtet werden, kann der er- rechnete Korrekturwert für die genaue Bestimmung des Bildaus schnitts herangezogen werden.
Durch Vergleich des Fahrspurverlaufs (Schienen- oder Gleis verlaufs) in zwei Bildern gemäß der FIGUREN 2 und 3 kann auf die Lage der zu kalibrierenden Kamera geschlossen werden.
In einer Erweiterung kann die Kalibrierung, also die Berech nung der Differenzwerte zur Referenzposition, durch einen Cloud-basierten Service erbracht und lediglich die Kalibrie rungsinformation an das Kamerasystem zurückgeliefert werden.
Der Vorteil der Erfindung besteht darin, dass nach dem Einbau einer oder mehrerer Kameras in ein Bahnfahrzeug keine auf wendige oder gar manuelle Kalibrierung des Kamerasystems not wendig ist.
Das Kalibrierungsverfahren kann auch auf unterschiedliche Ar ten von Kameras sowie bei unterschiedlichen Aufnahmecharakte ristiken angewandt werden. Beispielsweise können Kameras mit unterschiedlichen Objektiven (Tele- oder Weitwinkelobjektiv) zum Einsatz kommen.
Somit wird es möglich ein Kamerabasiertes Erkennungssystem unabhängig von einem spezifischen Kamerahersteller zu entwi ckeln und somit einen deutlichen Kostenvorteil zu erzielen, weil die jeweils aktuell beste bzw. günstigste Kamera einge setzt werden kann.
Weitere Vorteile der Erfindung ergeben sich aus der nachfol genden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUREN 1 bis 3. Diese zeigen:
FIGUR 1 ein Kalibrierungssystem in Verbindung mit einer Bahn fahrzeugkamera als Bestandteil eines Bahnfahrzeugs, insbeson dere eines Schienenfahrzeugs,
FIGUR 2 eine beispielhafte Darstellung eines Referenz-Bildes, das aus der Perspektive eines Fahrzeugführers aufgenommen worden ist,
FIGUR 3 eine beispielhafte Darstellung eines Kalibrierungs bildes, das wie das Bild in der FIGUR 2 aus der Perspektive des Fahrzeugführers aufgenommen worden ist.
FIGUR 1 zeigt ein Kalibrierungssystem KS in Verbindung mit einer Bahnfahrzeugkamera BFZK als Bestandteil eines Bahnfahr zeugs BFZ, insbesondere eines Schienenfahrzeugs SFZ. Das Ka librierungssystem KS ist vorzugsweise als ein Cloud-basiertes System ausgebildet und enthält eine Speichereinrichtung SPE und eine Auswerte-/Berechnungseinheit ABE, die beide zum Ka librieren der Bahnfahrzeugkamera BFZK mit dieser verbunden sind .
Mit der Bahnfahrzeugkamera BFZK oder alternativ mit einer an deren als Referenz-Kamera verwendeten, in der FIGUR 1 jedoch nicht explizit dargestellten Kamera werden gemäß der Darstel lung in FIGUR 2 von dem Bahnfahrzeug BFZ, SFZ aus, Vorzugs- weise zumindest aus der Teil-Perspektive eines Fahrzeugfüh rers FZF und/oder aus einer ortsfesten, fahrspurobservieren den Position im oder am Bahnfahrzeug BFZ, SFZ, von einer Bahnstrecke BST, die z.B. als Schienenstrecke SST ausgebildet sein, in Bezug auf einen dem Bahnfahrzeug BFZ, SFZ vorgela gerten Fahrstreckenbereich FSB eine Vielzahl von jeweils den Fahrstreckenbereich FSB repräsentierende, von der Referenz- Bilder RBI erfasst. Die erfassten Referenz-Bilder RBI werden in der Speichereinrichtung SPE des Kalibrierungssystems KS gespeichert. In dieser Speichereinrichtung SPE sind auch Me tadaten MD über die in den Bildern erfasste Bahnstrecke BST, SST gespeichert. Metadaten sind ganz generell Daten, die dem Wortsinn nach Merkmale oder Eigenschaften der in den Bildern erfassten Bahnstrecke BST, SST betreffen.
Um nun gemäß FIGUR 3 von dem Bahnfahrzeug BFZ, SFZ aus, wie der vorzugsweise zumindest aus der Teil-Perspektive des Fahr zeugführers FZF und/oder aus der ortsfesten, fahrspurobser vierenden Position im oder am Bahnfahrzeug BFZ, SFZ, von ei nem Abschnitt der Bahnstrecke BST, SST mit geradem Verlauf einer Fahrspur, beispielsweise geradem Verlauf von Schienen oder Gleisen, wieder in Bezug auf den dem Bahnfahrzeug BFZ, SFZ vorgelagerten Fahrstreckenbereich FSB mit der Bahnfahr zeugkamera BFZK Kalibrierungsbilder zu erfassen, werden Meta daten MD, mit denen oder auf deren Basis der Abschnitt der Bahnstrecke BST, SST mit geradem Verlauf der Fahrspur ermit telbar ist, von der Speichereinrichtung SPE in die Bahnfahr zeugkamera BFZK geladen. Aufgrund dieses Ladens der Metadaten MD in die in die Bahnfahrzeugkamera BFZK erfasst diese ein Kalibrierungsbild KBIMD, das an die Auswerte-/Berechnungsein- heit ABE übermittelt oder in diese geladen wird.
Die Auswerte-/Berechnungseinheit ABE ist zudem mit der Spei chereinrichtung SPE verbunden und bildet mit dieser eine Funktionseinheit FE derart, dass
- eine Position und Orientierung der Bahnfahrzeugkamera BFZK angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild KBIMD gemäß der FIGUR 3 ermittelt wird,
- von der Auswerte-/Berechnungseinheit ABE ein in der Spei chereinrichtung SPE gespeichertes, zum Kalibrierungsbild KBIMD korrespondierendes, Metadaten-bezogenes Referenz-Bild RBIMD der Referenz-Bilder RBI gemäß der FIGUR 2 in die Aus- werte-/Berechnungseinheit ABE hochgeladen wird,
- ein Korrekturwert KW auf der Basis des zum Kalibrierungs bild KBIMD korrespondierenden, Metadaten-bezogenen Referenz- Bildes RBIMD als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild RBIMD anhand der Pose- Information berechnet wird, wobei durch Vergleich des Fahr spurverlaufs in den zwei Bildern gemäß der FIGUREN 2 und 3 auf die Lage der zu kalibrierenden Kamera geschlossen werden kann,
- auf der Basis des berechneten Korrekturwertes KW eine Kame rakalibrierungsinformation KKI erzeugt wird oder die Bildin formationen in dem Kalibrierungsbild KBIMD interpretiert wer den kann.
Darüber hinaus ist es auch möglich, dass die Auswerte- /Berechnungseinheit ABE mit einer Bildanalysevorrichtung BAV verbunden und der berechnete Korrekturwert KW für die genaue Bestimmung eines Bildausschnitts bei einer in der Bildanaly sevorrichtung BAV durchgeführten Bildanalyse im Bahn- oder Schienenverkehr herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse, wie sie in der In ternationalen Patentanmeldung mit dem Aktenzeichen
PCT/EP2017/081845 offenbart ist, ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera BFZK aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
Die Bildanalysevorrichtung BAV ist dabei vorzugsweise wie das Kalibrierungssystem KS in Verbindung mit der Bahnfahrzeugka mera BFZK Bestandteil des Bahnfahrzeugs BFZ, SFZ.

Claims

Patentansprüche
1. Kalibrierungsverfahren für eine Bahnfahrzeugkamera (BFZK) , bei dem
a) von einem Bahnfahrzeug (BFZ) , insbesondere einem Schienen fahrzeug (SFZ) , aus, insbesondere zumindest aus der Teil- Perspektive eines Fahrzeugführers (FZF) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahn fahrzeug (BFZ, SFZ) , von einer Bahnstrecke (BST) , insbesonde re einer Schienenstrecke (SST) , in Bezug auf einen dem Bahn fahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) re präsentierende Referenz-Bilder (RBI) erfasst und gespeichert wird,
b) Metadaten (MD) über die in den Bildern erfasste Bahnstre cke (BST, SST) vorliegen,
dadurch gekennzeichnet, dass
c) ein Kalibrierungsbild (KBIMD) von einem aufgrund der Meta daten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur, insbesondere geradem Ver lauf von Schienen oder Gleisen, durch die Bahnfahrzeugkamera (BFZK) erfasst wird,
d) eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur, insbesondere zu den Schienen oder Gleisen, an hand des Fahrspurverlaufs in dem Kalibrierungsbild (KBIMD) ermittelt wird,
e) ein Korrekturwert (KW) auf der Basis eines zum Kalibrie rungsbild (KBImd) korrespondierenden, Metadaten-bezogenen Re ferenz-Bildes (RBImd) der Referenz-Bilder (RBI) als Diffe renzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBIMD) anhand der Pose-Information berechnet wird,
f) der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBIMD) zu inter pretieren .
2. Kalibrierungsverfahren nach Anspruch 1, dadurch ge kennzeichnet, dass
der berechnete Korrekturwert (KW) für die genaue Bestimmung eines Bildausschnitts bei einer Bildanalyse im Bahnverkehr, insbesondere Schienenverkehr, herangezogen wird, indem bei spielsweise im Zuge einer fahrspurbasierten Bildanalyse ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera (BFZK) aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
3. Kalibrierungssystem (KS) für eine Bahnfahrzeugkamera
(BFZK) , mit
a) einer Speichereinrichtung (SPE) , in der
al ) von einem Bahnfahrzeug (BFZ) , insbesondere einem Schie nenfahrzeug (SFZ) , aus, insbesondere zumindest aus der Teil- Perspektive eines Fahrzeugführers (FZF) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahn fahrzeug (BFZ, SFZ) , von einer Bahnstrecke (BST) , insbesonde re einer Schienenstrecke (SST) , in Bezug auf einen dem Bahn fahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) re präsentierende, von der Bahnfahrzeugkamera (BFZK) oder einer Referenz-Kamera erfasste Referenz-Bilder (RBI) gespeichert sind,
a2 ) Metadaten (MD) über die in den Bildern erfasste Bahnstre cke (BST, SST) gespeichert sind,
gekennzeichnet durch
b) eine Auswerte-/Berechnungseinheit (ABE) ,
bl) die mit der Bahnfahrzeugkamera (BFZK) verbindbar ist, um ein mit der Bahnfahrzeugkamera (BFZK) erfasstes Kalibrie rungsbild (KBImd) von einem aufgrund der Metadaten (MD) er mittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur, insbesondere geradem Verlauf von Schienen oder Gleisen, in die Auswerte-/Berechnungseinheit (ABE) zu laden,
b2 ) die mit der Speichereinrichtung (SPE) verbunden ist und dabei mit dieser eine Funktionseinheit (FE) derart bildet, dass b21 ) eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur, insbesondere zu den Schienen oder Gleisen, an hand des Fahrspurverlaufs in dem Kalibrierungsbild (KBIMD) ermittelt wird,
b22 ) ein Korrekturwert (KW) auf der Basis eines zum Kalibrie rungsbild (KBImd) korrespondierenden, Metadaten-bezogenen Re ferenz-Bildes (RBImd) der Referenz-Bilder (RBI) als Diffe renzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBIMD) anhand der Pose-Information berechnet wird,
b23) der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBIMD) zu inter pretieren .
4. Kalibrierungssystem (KS) nach Anspruch 3, dadurch ge kennzeichnet, dass
die Auswerte-/Berechnungseinheit (ABE) mit einer Bildanalyse vorrichtung (BAV) verbunden und derart ausgebildet ist, dass der berechnete Korrekturwert (KW) für die genaue Bestimmung eines Bildausschnitts bei einer in der Bildanalysevorrichtung (BAV) durchgeführten Bildanalyse im Bahnverkehr, insbesondere Schienenverkehr, herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse ein bestimmter Be reich in einem mit der Bahnfahrzeugkamera (BFZK) aufgenomme nen Bild für die Bildverarbeitung betrachtet wird.
5. Kalibrierungssystem (KS) nach Anspruch 3 oder 4,
dadurch gekennzeichnet, dass
das Kalibrierungssystem (KS) mit der Bahnfahrzeugkamera (BFZK) verbunden ist.
6. Kalibrierungssystem (KS) nach Anspruch 3 oder 4,
dadurch gekennzeichnet, dass
das Kalibrierungssystem (KS) ein Cloud-basiertes System ist.
7. Bahnfahrzeug (BFZ, SFZ) mit einer Bahnfahrzeugkamera
(BFZK) dadurch gekennzeichnet , dass
ein Kalibrierungssystem (KS) nach einem der Ansprüche 3 bis 5 in das Bahnfahrzeug (BFZ, SFZ) integriert ist.
PCT/EP2019/061793 2018-05-29 2019-05-08 Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera WO2019228766A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980036363.1A CN112154090B (zh) 2018-05-29 2019-05-08 轨道车辆相机的校准方法和校准系统以及具有轨道车辆相机的轨道车辆
EP19727831.0A EP3802266A1 (de) 2018-05-29 2019-05-08 Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera
RU2020142257A RU2762164C1 (ru) 2018-05-29 2019-05-08 Способ калибровки и система калибровки для камеры железнодорожного транспортного средства и железнодорожное транспортное средство, имеющее камеру железнодорожного транспортного средства

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018208512.9 2018-05-29
DE102018208512.9A DE102018208512A1 (de) 2018-05-29 2018-05-29 Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera

Publications (1)

Publication Number Publication Date
WO2019228766A1 true WO2019228766A1 (de) 2019-12-05

Family

ID=66685558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/061793 WO2019228766A1 (de) 2018-05-29 2019-05-08 Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera

Country Status (5)

Country Link
EP (1) EP3802266A1 (de)
CN (1) CN112154090B (de)
DE (1) DE102018208512A1 (de)
RU (1) RU2762164C1 (de)
WO (1) WO2019228766A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836235B (zh) * 2020-07-14 2023-02-28 北京阿帕科蓝科技有限公司 一种共享电单车时间校准方法及车辆时间校准系统
DE102020212374A1 (de) * 2020-09-30 2022-03-31 Siemens Mobility GmbH Verfahren zur Überprüfung der Kalibrierung eines auf einem Schienenfahrzeug angeordneten Umfeldsensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173014A1 (de) * 2000-01-31 2002-01-16 Mitsubishi Denki Kabushiki Kaisha Gerät zum sammeln von video, gerät zum suchen von video und system zum saqmmeln/suchen von video
US20140176711A1 (en) * 2012-12-21 2014-06-26 Wabtec Holding Corp. Track Data Determination System and Method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942426B2 (en) * 2006-03-02 2015-01-27 Michael Bar-Am On-train rail track monitoring system
US8860818B1 (en) * 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US20170021863A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc System and method for verifying road position information for a motor vehicle
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
US10783382B2 (en) * 2016-04-06 2020-09-22 Semiconductor Components Industries, Llc Systems and methods for buffer-free lane detection
DE102016225595A1 (de) * 2016-12-20 2018-06-21 Siemens Aktiengesellschaft Verfahren und Anordnung zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173014A1 (de) * 2000-01-31 2002-01-16 Mitsubishi Denki Kabushiki Kaisha Gerät zum sammeln von video, gerät zum suchen von video und system zum saqmmeln/suchen von video
US20140176711A1 (en) * 2012-12-21 2014-06-26 Wabtec Holding Corp. Track Data Determination System and Method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHENTON R: "Video Train Positioning", IRSE AUSTRALASIA TECHNICAL MEETING,, 18 March 2011 (2011-03-18), pages 1 - 8, XP003029634 *

Also Published As

Publication number Publication date
DE102018208512A1 (de) 2019-12-05
EP3802266A1 (de) 2021-04-14
CN112154090B (zh) 2023-04-28
CN112154090A (zh) 2020-12-29
RU2762164C1 (ru) 2021-12-16

Similar Documents

Publication Publication Date Title
DE102019008316A1 (de) Verfahren zur Objekterkennung und Abstandsbestimmung
WO2014094766A1 (de) Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten
DE102004050149A1 (de) Verfahren zur Bestimmung von Deichsel- und Trailerwinkel
DE102016118497A1 (de) Ermittlung einer virtuellen Fahrspur für eine von einem Kraftfahrzeug befahrene Straße
WO2014032664A1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102011111051A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei der Steuerung eines Fahrzeugs
EP3526097A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurerkennung im bahnverkehr, insbesondere zur gleiserkennung im schienenverkehr
DE102017222017A1 (de) Verfahren und System zum Ermitteln und Bereitstellen eines Bodenprofils
WO2017174155A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr
DE102019106275A1 (de) Erfassungssystem und Verfahren zum Ermitteln eines Knickwinkels zwischen zwei Teilfahrzeugen eines Fahrzeug-Gespanns sowie Fahrzeug- Gespann
DE102016102065A1 (de) Verfahren zum Unterstützen einer autonomen Fahrt eines Kraftfahrzeugs, Steuereinrichtung sowie Parkassistenzsystem
EP3802266A1 (de) Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera
DE102009040373A1 (de) Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem
WO2017029084A1 (de) Prüfeinrichtung und verfahren zur überprüfung eines definierten profils von einem zugverband aus fahrzeugen, insbesondere schienenfahrzeugen
EP3667359A1 (de) Verfahren zur ermittlung einer vorliegenden dejustage wenigstens eines sensors innerhalb eines sensorverbundes
DE102010049216A1 (de) Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera
WO2020224853A1 (de) Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
WO2018059735A1 (de) Verfahren zur selbstlokalisierung eines fahrzeugs
DE102016011244A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE102015210816B4 (de) Verfahren für einen Anhängerrangierassistenten
DE102010049214A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
EP3458333B1 (de) Verfahren sowie vorrichtung zum bestimmen einer länge eines spurgebundenen fahrzeugs
EP4081827A1 (de) Verfahren und vorrichtung zum bestimmen von mindestens einem knickwinkel eines fahrzeuggespanns
DE102018127342B4 (de) Verfahren und Vorrichtung zum Betrieb eines Assistenzsystems eines Fahrzeuges

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19727831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019727831

Country of ref document: EP

Effective date: 20210111