WO2020127053A1 - Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs - Google Patents

Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs Download PDF

Info

Publication number
WO2020127053A1
WO2020127053A1 PCT/EP2019/085354 EP2019085354W WO2020127053A1 WO 2020127053 A1 WO2020127053 A1 WO 2020127053A1 EP 2019085354 W EP2019085354 W EP 2019085354W WO 2020127053 A1 WO2020127053 A1 WO 2020127053A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
rail vehicle
data
kinematic
Prior art date
Application number
PCT/EP2019/085354
Other languages
English (en)
French (fr)
Inventor
Navid Nourani-Vatani
Andrew Palmer
Florian Tschopp
Original Assignee
Siemens Mobility GmbH
Eidgenössische Technische Hochschule Zürich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH, Eidgenössische Technische Hochschule Zürich filed Critical Siemens Mobility GmbH
Publication of WO2020127053A1 publication Critical patent/WO2020127053A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/021—Measuring and recording of train speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the invention relates to a method for determining a ki nematic size of a rail vehicle.
  • the invention also relates to a determination device.
  • the invention further relates to a rail vehicle.
  • ETCS European Train Control System
  • the aim of such a system is to increase the safety and efficiency of rail networks and also to reduce maintenance costs and personnel costs.
  • ETCS European Train Control System
  • the train route is divided into so-called blocks.
  • the size of the blocks is determined by the braking distance, which in the worst case is required by a train that is allowed to travel on the route.
  • the position determination of the trains and the connection of the blocks are realized by infrastructure-based balises. If a train is in such a block, this block is reserved for that train so that other trains cannot use this block at the same time.
  • the blocks are released again each time a train leaves, so that the blocks can be reserved for other trains.
  • the procedure with fixed blocks is relatively inefficient.
  • ETCS level 3 which is currently being developed, the fixed blocks are to be replaced by movable blocks with which the braking distances between trains moving on the route are be taken into account. This can increase the capacity of a rail network by 190% to 500%, depending on whether a relative or a moving block is used. If the moving block is defined as relative to many moving trains, then a fixed trackside sensor infrastructure can be replaced by onboard sensors, which can potentially save costs.
  • ETCS level 3 depends on the development of new processes with which the position and speed of trains can be reliably determined.
  • Rail vehicles are currently localized using a combination of inaccurate tachometers and trackside sensors, such as axle counters or balises. The latter provide discrete position measurements and are very expensive to maintain.
  • the fusion with other sensor data is problematic when using satellite navigation, since satellite navigation measurements do not have a Gaussian error, which makes the accuracy of the result difficult to predict, especially when multi-path reception effects occur, such as occur in the vicinity of buildings.
  • image data comprising a sequence of images of the surroundings of the rail vehicle, are recorded on board with an image recording unit.
  • additional sensor data which include kinematic sensor data and / or image data of at least one additional image recording unit, are recorded.
  • the image data and sensor data can thus be recorded by a multi-camera system, but a combination of a single camera and a kinematic sensor can also be used to record the image data and sensor data.
  • a kinematic quantity describes the movement of the rail vehicle, in particular it includes the speed, the acceleration and the position of a rail vehicle.
  • the recorded image data can be evaluated by comparing successive images from one and the same camera, the images being taken at different times. Such a comparison is also referred to as frame-to-frame comparison. However, image data from several cameras that have an overlapping field of view can also be evaluated as “stereo image data”.
  • Key points are also detected in the recorded image data.
  • the amount of data to be processed can be greatly reduced with the help of key points for position determination.
  • a grid-based key point extractor can be used to achieve an even distribution of the key points in the recorded scene.
  • a key point extractor typically searches the entire image (each pixel) for points of interest. Such a point is often characterized by a high gradient in more than one direction (Harris Corners) or a certain number of pixels that differ sufficiently from other pixels
  • the amount of pixels used for determining the position is thus greatly reduced, so that the amount of data to be processed is reduced, in particular in highly dynamic scenarios, and real-time calculation of the position of a rail vehicle is made possible.
  • a first depth value of a key point is determined for each image of the image data or the sequence of images.
  • Such a depth value can be used to determine a position of the key point in three dimensions and thereby gain a landmark.
  • This first depth value is determined in each image in which the key point can be assigned to an associated key point in the sequence of images of a camera.
  • a key point is an "interesting" point in a 2D image.
  • a landmark is a traceable key point over several images, which can then also be displayed in three dimensions.
  • a key point comparison of key points of different images of an image sequence of the image recording unit is carried out. This process is preferably carried out on the basis of additional kinematic sensor data. leads. Kinematic sensor data are not necessary for the execution of the key point adjustment, but advantageously accelerate this process.
  • a position of a key point identified as a landmark is also determined by triangulation. This step is mainly used for the initialization of the landmarks. In other words, the initialization determines start values for the position and depth of a respective landmark, which are then optimized in the subsequent optimization process. Later, only back-projected measurement errors are used for correction in the optimization.
  • an improved position value of the landmark and a value of a kinematic variable are determined on the basis of a weighted fusion of the estimated position and the first depth value.
  • the weighting of different sizes can be done, for example, depending on covariance values of different sizes to be merged or on the basis of other information that characterizes the reliability of measured values. Such information can be determined, for example, when calibrating a measuring unit.
  • positions of the landmarks and kinematic variables are estimated or optimized together in a so-called sliding window.
  • This process is based on the consideration of error correction factors.
  • Such errors - / Correction terms can include: back-projection errors (mainly due to the frame-to-frame matches, ie the comparison of successive images, depth errors from the stereo comparison and odometry errors (1-D odometry or inertial measurements).
  • Rail vehicle-assigned value of a kinematic variable such as determining its current position as part of the optimization process, but the last N values, where N is typically an integer between 3 and 20.
  • a so-called sliding window method is used, in English also known as a “sliding window” method, in which a plurality of frames or images are transmitted in a data packet and are also processed simultaneously in the described optimization method.
  • inertial measurements are not very suitable in rail vehicles which have significant acceleration values in only one dimension in order to carry out a position measurement, by means of which these acceleration data are solved with image data.
  • the use of key points or landmarks is used to reduce the amount of data to be processed to determine the position. This advantageous approach allows, in particular, the determination of kinematic variables in highly dynamic situations in which the available computing capacity is no longer sufficient in a conventional procedure.
  • the determination device has a sensor interface for receiving a sequence of images, comprising image data from the surroundings of the rail vehicle, from at least one on-board image recording unit.
  • the sensor data interface is also set up to receive additional on-board sensor data, which include kinematic sensor data and / or image data from at least one additional image recording unit.
  • the determination device also has a detection unit for detecting key points in the image data.
  • the determination device further comprises a determination unit for determining a first depth value of a key point on the basis of the additional sensor data and the image data for each image of the sequence of images.
  • the determining device has a comparison unit.
  • Part of the determination device according to the invention is also an estimation unit for estimating a position of a key point identified as a landmark by a triangulation on the basis of key points of successive images, which were determined as identical in the key point comparison. This process serves to initialize an optimization process.
  • the determination device has an optimization unit.
  • the optimization unit is used to determine an improved position value of the landmark based on a weighted fusion of the estimated position and the first depth value.
  • the optimization unit also serves to determine a kinematic quantity together with the improved position value, i.e. in a joint optimization process.
  • the determination device shares the advantages of the method according to the invention for determining a kinematic size of a rail vehicle.
  • the rail vehicle according to the invention has the determination device according to the invention.
  • the rail vehicle according to the invention shares the advantages of the determination device according to the invention.
  • Parts of the determination device according to the invention can for the most part be designed in the form of software components. This applies in particular to parts of the detection unit, the determination unit, the comparison unit, the
  • Estimation unit and the optimization unit can also partially, especially if particularly fast calculations are involved, in the form of software-supported hardware, for example FPGAs or the like. Likewise, the required ones
  • Interfaces for example if it is only a matter of transferring data from other software components, can be designed as software interfaces. However, they can also be designed as hardware interfaces that are controlled by suitable software.
  • a partial software implementation has the advantage that computer systems used previously for sensor data acquisition and for the calculation of kinematic data can also be retrofitted in a simple manner by means of a software update in order to work in the manner according to the invention.
  • the object is also achieved by a corresponding computer program product with a computer program which can be loaded directly into a memory device of such a computer system, with program sections in order to carry out all steps of the method according to the invention for determining a kinematic size of a rail vehicle when the computer program is executed in a computer system.
  • such a computer program product can optionally contain additional components, such as documentation and / or additional components, including hardware components, such as Hardware keys (dongles etc.) for using the software
  • a computer-readable medium for example a memory stick, a hard disk or another portable or permanently installed data carrier, on which the program sections of the computer program that can be read and executed by a computer unit can be used are saved.
  • the computer unit can have, for example, one or more cooperating microprocessors or the like.
  • an additional sensor data can be a
  • Rail vehicle image data are recorded by at least one additional image acquisition unit.
  • stereo image data from the surroundings of the rail vehicle can be generated on the basis of the image data recorded by a plurality of image recording units.
  • Key points can also be detected in the stereo image data. Since the stereo image data include three-dimensional information about the environment and thus also the positions of the key points, the first depth value can now be determined on the basis of the stereo image data for each image of the captured image data. Based on three-dimensional image data, a depth of a key point can be determined particularly precisely on the basis of the geometrically determinable depth information.
  • a key point comparison of key points of different images of an image sequence of an image recording unit and on the basis of additional kinematic sensor data is carried out. The process is accelerated with this additional kinematic data.
  • the kinematic size comprises one of the following sizes: - the position of the rail vehicle,
  • a position of a rail vehicle can advantageously also be precisely determined when other position determination methods, such as satellite navigation, fail.
  • Such a situation can occur, for example, in tunnels or on sections of the route surrounded by buildings, trees or mountains.
  • an error behavior that is not normally distributed occurs in satellite navigation, so that the data obtained in this way can be poorly merged with other sensor data.
  • a fusion of the image data obtained with the aid of the method according to the invention with sensor data obtained in another way is possible much more easily because of a normally distributed error.
  • the additional kinematic sensor data comprise at least one type of the following sensor data:
  • This sensor data is optionally taken into account. Processing the image data as stereo image data alone is also sufficient, or processing the image data as image data from a single camera combined with “kinematic” sensor data.
  • One-dimensional odometric sensor data enable the distance covered by a rail vehicle to be determined.
  • this data alone is not sufficient for a more complex route network to clearly determine the position of a rail vehicle.
  • Inertial measurement data can also only be obtained in the direction of travel for moving rail vehicles. It is therefore not possible to determine an exact and unambiguous position using this data alone. Therefore, according to the invention, these data are merged with image data in order to determine unique position data.
  • the optimization method compares an image position of a landmark projected back to the estimated position and an actual image position of the landmark identified in the image data. With this comparison, a position deviation between the estimated position and the image position is determined and used for an error term or correction term. This results in an iteratively optimized position as a result of the optimization process.
  • a second depth value is determined on the basis of the triangulation of key points of a sequence of individual images, which were determined as identical in the key point comparison, and on the basis of the first
  • the depth value and the second depth value are determined by an optimization method to improve the depth value for a landmark.
  • the improved depth value can advantageously be used for determining the position of the rail vehicle in order to make it more precise.
  • the optimization method can preferably comprise a comparison between the first depth value and the second depth value.
  • a comparison can be made particularly preferably between a position value and / or depth value determined on the basis of the kinematic sensor data and the improved position value, and an error value for a position determination and / or depth determination can be determined from this on the basis of the kinematic sensor data.
  • a correction of the can be made with the help of the error value Kinematic sensor data take place, which in turn also makes the determination of the kinematic variable more precise.
  • the kinematic sensor data can comprise ID-odometric sensor data and the ID-odometric measurement can be carried out by a tachometer.
  • the ID-odometric measurement can be carried out using a Doppler radar aimed at the ground.
  • the ID-odometric sensor data can advantageously be obtained relatively free of interference. In contrast to the exclusive use of the ID-odometric sensor data, a fusion with the measurement data obtained via image information allows a more precise determination of three-dimensional kinematic quantities.
  • the first depth value is determined by triangulation on the basis of stereo image data. Based on the knowledge of the baseline between the two cameras of a stereo image recording system used in this variant and the knowledge of the different angles at which one
  • the key point appears in the two images of the two cameras, the key point can be determined by triangulation.
  • the first depth value is determined on the basis of a depth measurement in a sliding window.
  • a depth measurement can be carried out using a depth camera, also known as a time-of-flight camera, or a LiDAR system.
  • FIG. 1 shows a flowchart which illustrates a method for determining a kinematic variable of a rail vehicle according to an exemplary embodiment of the invention
  • FIG. 2 shows a schematic illustration of a determination device according to an exemplary embodiment of the invention
  • FIG. 3 shows a schematic illustration of a rail vehicle according to an exemplary embodiment of the invention
  • 5 shows a schematic representation of key points in successive images.
  • FIG. 1 shows a flowchart 100 which illustrates a method for determining a kinematic variable v, P, a of a rail vehicle 31 (see FIG. 3).
  • a kinematic variable can include, for example, the speed v, the position P or an acceleration a of the rail vehicle 31.
  • image data BD are first captured by a plurality of individual image cameras 32, 33 (see FIG. 3) of the rail vehicle 31.
  • the image data BD comprise an image sequence of the surroundings of the rail vehicle 31.
  • stereo image data SBD of the surroundings of the rail vehicle 31 are additionally generated on the basis of image data BD captured simultaneously by different image cameras 32, 33.
  • an additional acquisition of additional kinematic sensor data ZSD takes place, in this case inertial measurement data.
  • key points SP are detected in step 1. IV.
  • the key points SP for each individual camera and at different times are compared with one another (frame-to-frame matching) and key points of images under different cameras, which were taken at the same times, are compared with one another (stereo matching).
  • a FAST method can be used to detect such key points. Such a method is described, for example, in E. Rosten, R. Porter and T. Drummond, "Faster and Better: A Machine Learning Approach to Corner Detection" in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, Jan. 2010.
  • step IV an extraction of descriptors takes place on the basis of the key points SP determined.
  • a BRISK procedure can be used for this.
  • the determined descriptors are used for a matching process in steps IV and IV.
  • step I.VI key points in images of the stereo image data SBD are compared or matched. That is, key points SP that were recorded by different cameras are identified with one another in the event that the matching process shows that the key points SP are identical in the different images of the stereo image data SBD.
  • the values of the descriptors D are also used for this.
  • step IV.II key points SP are compared in different frames of the image data BD from a single camera 32.
  • Sensor data ZSD in this case inertial measurement data, which were recorded in step III.
  • step l.VIII the key point data SP of different images of the stereo image data SBD which have been identified with one another are triangulated. Since corresponding images of different cameras of the stereo camera system are recorded from different angles and the length of the base line between the two cameras 32, 33 is known, the triangulation can be used to determine a first depth value TW1 for the identified key points SP.
  • step 1 when the stereo image data SBD is evaluated on the basis of the determined first depth value TW1, depth is determined in a sliding window.
  • sliding window is meant a time period in which the measurements are taken into account for the optimization. This is done because more measurements normally achieve a better result, but all measurements (since the start of the application) would be too computationally intensive.
  • the “sliding window” is only relevant for optimization.
  • step l.X a land mark is triangulated, which was imaged in different frames from different angles, to determine a position P-LM of the landmark in a sliding window. Under a sliding window, a certain number of current frames in which the landmark is depicted can be understood.
  • step l.XI the inertial measured values ZSD are also recorded in a sliding window.
  • the data TW1, P-LM, ZSD determined in steps l.IX, lX and l.XI are used in step l.XII to determine an improved position value PV-LM of a landmark LM in a non-linear optimization method.
  • This optimization process is a landmark for which an improved Position value PV-LM is to be determined, back-projected to the estimated position P-LM and compared with an actual image position in the image data BD, SBD.
  • the positions of the landmarks and the positions of the vehicle in the previous period (“sliding window”) are optimized together in order to minimize the errors of the rear projection, the depth measurements (stereo matching) and the kinematic measurement data.
  • correction values for the depth measurement and correction values for the determination of corrected measurement values based on the additional kinematic sensor data ZSD can also be used.
  • FIG. 2 shows a schematic illustration of a determination device 20 according to an embodiment of the invention.
  • the determination device 20 comprises an image data interface 21, which is used to receive image data BD, which is captured by a plurality of individual image cameras 32, 33 (see FIG. 3).
  • the image data BD comprise an image sequence from the surroundings of the rail vehicle 31.
  • the determination device 20 also has an image data combination unit 22 for generating stereo image data SBD from the surroundings of the rail vehicle 31 on the basis of the received image data from different cameras 32, 33.
  • the stereo image data SBD are based on image data BD recorded simultaneously by different cameras 32, 33 (see FIG. 3), the different cameras 32, 33 having an overlapping field of view.
  • Part of the determination device 20 is also a sensor interface 21a, which is set up to receive additional kinematic sensor data ZSD, in this case inertial measurement data, which are detected by an inertial sensor.
  • the determination device 20 also comprises a detection unit 23, which is set up to detect key points SP on the basis of the recorded image data BD, SBD. For example, a FAST method can be used to detect such key points.
  • the determination device 20 comprises an extraction unit 23a for extracting descriptors D on the basis of the determined key points SP. For example, a BRISK procedure can be used for this.
  • the determination device 20 also has a determination unit 24 which serves to determine a first depth value TW1 of a key point SP on the basis of the stereo image data SBD and the descriptors D.
  • a comparison or matching of key points in individual images of the stereo image data SBD is carried out. That is, key points SP, which were recorded by different cameras, are identified with one another in the event that the matching process shows that the key points SP are identical in the different images of the stereo image data SBD.
  • the values of the descriptors D are also used for this.
  • the determination device 20 also has a matching unit 25 for matching key points SP in different frames of the image data BD from a single camera 32 (see FIG. 3). For this purpose, not only the extracted descriptors D, but also the additional kinematic sensor data ZSD, in this case inertial measurement data, are used.
  • the determination device 20 also has a depth estimation unit 25a for determining a first depth value TW1.
  • the first depth value TW1 is determined using triangulation.
  • the depth of key points SP of different images of the stereo image data SBD that were identified with one another is determined.
  • triangulation can be used to create a first depth value TW1 for the identified one
  • Part of the determination device 20 is also an estimation unit 26 for estimating a position P-LM of a key point SP identified as a landmark LM by triangulation based on key points SP of successive images which were determined as identical in the key point comparison.
  • Part of the determination device 20 is also a depth measurement unit 24b, which is set up to carry out an evaluation of the stereo image data SBD on the basis of the determined first depth value TW1, with depth determination in a sliding window, i.e. on the basis of a plurality N of successive frames.
  • the determined first depth value TW1 and the estimated position value P-LM are transmitted to an optimization unit 27, which is also part of the determination device 20. All the determined data TW1, P-LM, ZSD are used to determine an improved position value PV-LM of a landmark LM in a non-linear optimization process. In this optimization process, a landmark LM, for which an improved position value PV-LM is to be determined, is projected back to the estimated position P-LM and compared with an actual image position in the image data BD, SBD. The difference determined can be used as a correction value for determining the position. Correction values for depth measurement and the determination of corrected measurement values based on the additional kinematic sensor data ZSD can also be used in a similar way. In addition to the position value PV-LM of the landmarks LM, a kinematic variable is also optimized in the optimization unit 27. For example, a current position P of the landmarks LM, a kinematic variable is also optimized in the optimization unit 27. For example, a current position P of the landmarks
  • Rail vehicle 31 the speed or the acceleration of the rail vehicle 31 optimized.
  • positions of the landmarks LM are optimized together with the positions P of the vehicle in the “sliding window”.
  • the determined position P is finally output via an output interface 28, for example to a control device 35 (see FIG. 3).
  • FIG. 3 shows a schematic illustration 30 of a rail vehicle 31 according to an exemplary embodiment of the invention on a rail route S.
  • the rail vehicle 31 has a plurality of individual cameras 32, 33, which record video data BD from the surroundings of the rail vehicle 31.
  • the video data BD are transmitted to a determination device 20 integrated into the rail vehicle 31, which has the structure shown in FIG.
  • the rail vehicle 31 also includes an inertial sensor unit 34, with which sensor data ZSD relating to the acceleration behavior and deceleration behavior, so-called inertial measurement data, are recorded and likewise forwarded to the determination device 20.
  • An inertial sensor unit can not only maintain deceleration (linear acceleration), but also measure rotational speeds (gyroscope), which can also be used to determine landmarks and kinematic data.
  • the determination device 20 determines a kinematic variable v, P, a of the rail vehicle 31 on the basis of the input data BD, SBD, ZSD.
  • the result data v, P, a are transmitted to a control device 35 of the rail vehicle 31. which controls the rail vehicle on the basis of this data v, P, a.
  • landmarks LM are drawn in three-dimensional space 40 for illustration, which were determined by the method described in FIG.
  • the landmarks LM are assigned a unique position in space.
  • key points SP of an image sequence of a single camera are symbolized as circular objects in an image representation 50 of the environment of a rail vehicle.
  • the lines on the circles indicate the direction and the displacement that the key points have taken in successive images.
  • No landmarks or their positions can be obtained from this data alone.
  • This data can be roughly obtained using additional kinematic sensor data ZSD, such as inertial measurement data or ID-odometric data, possibly in conjunction with map data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Es wird ein Verfahren zum Ermitteln einer kinematischen Größe (v, P, a) eines Schienenfahrzeugs (31) beschrieben. Bei dem Verfahren werden Bilddaten (BD), umfassend eine Abfolge von Bildern von der Umgebung des Schienenfahrzeugs (31), mit einer bordseitigen Bildaufnahmeeinheit (32) aufgenommen und es werden zusätzliche Sensordaten, welche kinematische Sensordaten (ZSD) und/oder Bilddaten (BD) mindestens einer zusätzlichen Bildaufnahmeeinheit (33) umfassen, erfasst. Es erfolgt ein Detektieren von Schlüsselpunkten (SP) in den erfassten Bilddaten (BD). Weiterhin wird ein erster Tiefenwert (TW1) eines Schlüsselpunkts (SP) auf Basis der zusätzlichen Sensordaten und der Abfolge von Bilddaten (BD) für jedes Bild der Abfolge von Bildern (BD) ermittelt. Es wird außerdem ein Schlüsselpunkt-Abgleich von Schlüsselpunkten (SP) unterschiedlicher Bilder der Abfolge von Bildern der Bilddaten (BD) der Einzelkamera (32) durchgeführt. Überdies erfolgt ein Schätzen einer Position (P-LM) eines als Landmarke (LM) identifizierten Schlüsselpunktes (SP) durch eine Triangulation auf Basis von Schlüsselpunkten (SP) aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, zur Initialisierung der Landmarke (LM). In einem gemeinsamen Optimierungsverfahren wird auf Basis einer gewichteten Fusion der geschätzten Position (P-LM) und des ersten Tiefenwerts (TW1) ein verbesserter Positionswert (PV-LM) der Landmarke (LM) ermittelt und eine kinematische Größe (v, P, a) ermittelt. Es wird auch eine Ermittlungseinrichtung (20) beschrieben. Überdies wird ein Schienenfahrzeug (31) beschrieben.

Description

Beschreibung
Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs
Die Erfindung betrifft ein Verfahren zum Ermitteln einer ki nematischen Größe eines Schienenfahrzeugs. Überdies betrifft die Erfindung eine Ermittlungseinrichtung. Weiterhin betrifft die Erfindung ein Schienenfahrzeug.
Viele Schienennetze werden mit dem europäischen Zugüberwa chungssystem ETCS (Akronym für European Train Control System) betrieben. Ziel eines solchen Systems ist es, die Sicherheit und Effizienz von Schienennetzen zu steigern und auch War tungskosten und Personalkosten zu reduzieren. Bei dem Einsatz des ETCS wird die Zugstrecke in sogenannte Blöcke aufgeteilt. Die Größe der Blöcke ist durch die Bremsstrecke, welche im ungünstigsten Fall durch einen Zug, der auf der Strecke fah ren darf, benötigt wird, festgelegt. Die Positionsbestimmung der Züge und das Verbinden der Blöcke werden durch infra strukturseitige Balisen realisiert. Wenn sich ein Zug in ei nem solchen Block befindet, ist dieser Block für diesen Zug reserviert, so dass andere Züge diesen Block nicht zur glei chen Zeit nutzen können. Die Blöcke werden nach Verlassen durch einen Zug jeweils wieder freigegeben, so dass die Blö cke für andere Züge reserviert werden können. Die Vorgehens weise mit festen Blöcken ist relativ ineffizient.
Bisher wurden zwei unterschiedliche Varianten von ETCS- Systemen realisiert, wobei beide auf einer streckenseitigen Lokalisierung und festen Blöcken basieren. Die erste Variante basiert auf einer infrastrukturseitigen Signalisierung der Verfügbarkeit eines Blocks und die zweite Variante nutzt bordseitiges Signalisieren, um die Blockgrößen zu reduzieren. Bei einer dritten Variante, auch als ETCS-Ebene 3 bezeichnet, welche aktuell entwickelt wird, sollen die festen Blöcke durch bewegliche Blöcke ersetzt werden, mit denen die Brems abstände zwischen sich auf der Strecke bewegenden Zügen be- rücksichtigt werden. Dadurch kann die Kapazität eines Schie nennetzes um 190 % bis 500 % erhöht werden, je nachdem, ob ein relativer oder ein sich bewegender Block genutzt wird. Wird der sich bewegende Block als relativ zu vielen sich be wegenden Zügen definiert, so kann eine feste streckenseitige Sensorinfrastruktur durch bordseitige Sensoren ersetzt wer den, wodurch möglicherweise Kosten gespart werden können. Al lerdings hängt der Erfolg der ETCS-Ebene 3 von der Entwick lung neuer Verfahren ab, mit denen die Position und die Ge schwindigkeit von Zügen zuverlässig ermittelt werden kann.
Aktuell erfolgt die Lokalisierung von Schienenfahrzeugen durch eine Kombination von ungenauen Drehzahlmessern und streckenseitigen Sensoren, wie zum Beispiel Achsenzähler oder Balisen. Letztere liefern diskrete Positionsmesswerte und sind sehr kostenintensiv zu warten.
Zukünftig sollen Satellitennavigationssysteme und Inertial- sensoren genutzt werden, um die Position von Schienenfahrzeu gen kontinuierlich zu ermitteln. Allerdings versagen diese Verfahren, wenn die GPS-Messdaten nicht zur Verfügung stehen, wie zum Beispiel in Tunnels, da die zusätzlich erfassten IMU- Biaswerte bei einer eindimensionalen Bewegung eines Zugs nicht ausreichend beobachtbar sind.
Weiterhin ist bei der Anwendung von Satellitennavigation die Fusion mit anderen Sensordaten problematisch, da Satelliten navigationsmessungen keinen Gauß-Fehler aufweisen, wodurch die Genauigkeit des Ergebnisses schwer vorhersagbar ist, ins besondere bei einem Auftreten von Mehrwegempfangseffekten, wie sie in der Nähe von Gebäuden auftreten.
Es besteht also die Aufgabe, ein Verfahren und eine Einrich tung zu entwickeln, um kombinierte Messungen der Geschwindig keit und Position eines Zuges präziser zu gestalten, um ins besondere flexible Blocksysteme bei der Zugsicherung zu er möglichen . Diese Aufgabe wird durch ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs gemäß Patent anspruch 1, eine Ermittlungseinrichtung gemäß Patentanspruch 12 und ein Schienenfahrzeug gemäß Patentanspruch 13 gelöst.
Bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kine matischen Größe eines Schienenfahrzeugs werden bordseitig Bilddaten, umfassend eine Abfolge von Bildern von der Umge bung des Schienenfahrzeugs, mit einer Bildaufnahmeeinheit aufgenommen. Weiterhin werden zusätzliche Sensordaten, welche kinematische Sensordaten und/oder Bilddaten mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, aufgenommen. Die Aufnahme der Bilddaten und Sensordaten kann also durch ein Mehrkamerasystem erfolgen, es kann zur Aufnahme der Bilddaten und Sensordaten aber auch eine Kombination aus einer einzel nen Kamera und einem kinematischen Sensor genutzt werden.
Eine kinematische Größe beschreibt die Bewegung des Schienen fahrzeugs, insbesondere umfasst sie die Geschwindigkeit, die Beschleunigung und die Position eines Schienenfahrzeugs.
Die aufgenommenen Bilddaten können durch einen Vergleich von aufeinanderfolgenden Bildern ein und derselben Kamera, wobei die Bilder zu unterschiedlichen Zeitpunkten aufgenommen wur den, ausgewertet werden. Ein solcher Abgleich wird auch als Frame-to-Frame-Abgleich bezeichnet. Es können aber auch Bild daten von mehreren Kameras, welche ein überlappendes Sicht feld haben, als „Stereobilddaten" ausgewertet werden.
Mit Hilfe von Stereobilddaten, bei denen ein Punkt aus ver schiedenen Blickwinkeln abgebildet wird, können Abstände und Relativpositionen von Bildpunkten zu dem Schienenfahrzeug er mittelt werden.
Es erfolgt weiterhin eine Detektion von Schlüsselpunkten in den aufgenommenen Bilddaten. Mit Hilfe der Verwendung von Schlüsselpunkten zur Positionsbestimmung kann die zu verar beitende Datenmenge stark reduziert werden. Beispielsweise kann ein rasterbasierter Schlüsselpunktextraktor verwendet werden, um eine Gleichverteilung der Schlüsselpunkte in der aufgenommenen Szene zu erreichen.
Ein Schlüsselpunktextraktor sucht typischerweise das ganze Bild (jeden Pixel) nach interessanten Punkten ab. Ein solcher Punkt wird häufig durch einen hohen Gradienten in mehr als einer Richtung (Harris Corners) oder eine gewisse Anzahl Pi xel, die sich genügend von anderen Pixeln unterscheiden
(FAST), gekennzeichnet. Zusätzlich wird normalerweise eine Unterdrückung von lokalen Nicht-Maxima (non-maximum- suppression) vorgenommen, um eine hohe Ansammlung von Schlüs selpunkten bei starker Textur zu vermeiden.
Die Menge der für eine Positionsbestimmung genutzten Bild punkte wird damit stark reduziert, so dass insbesondere bei hochdynamischen Szenarios die zu verarbeitende Datenmenge re duziert wird und eine EchtZeitberechnung der Position eines Schienenfahrzeugs ermöglicht wird.
Auf Basis der zusätzlichen Sensordaten und der Bilddaten wird für jedes Bild der Bilddaten bzw. der Abfolge von Bildern ein erster Tiefenwert eines Schlüsselpunkts ermittelt. Ein sol cher Tiefenwert kann dazu genutzt werden, um eine Position des Schlüsselpunkts in drei Dimensionen zu ermitteln und da mit eine Landmarke zu gewinnen. Dieser erste Tiefenwert wird in jedem Bild ermittelt, in dem der Schlüsselpunkt zu einem zugehörigen Schlüsselpunkt in der Abfolge von Bildern einer Kamera zugeordnet werden kann. Ein Schlüsselpunkt ist ein „interessanter" Punkt in einem 2D-Bild. Dagegen ist eine Landmarke ein verfolgbarer Schlüsselpunkt über mehrere Bil der, welcher dann auch im Dreidimensionalen dargestellt wer den kann.
Weiterhin wird ein Schlüsselpunkt-Abgleich von Schlüsselpunk ten unterschiedlicher Bilder einer Bildfolge der Bildaufnah meeinheit durchgeführt. Dieser Prozess wird vorzugsweise auch auf Basis zusätzlicher kinematischer Sensordaten durchge- führt. Kinematische Sensordaten sind nicht notwendig für die Ausführung des Schlüsselpunktabgleichs , beschleunigen aber vorteilhaft diesen Prozess.
Auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermit telt wurden, wird weiterhin eine Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Triangulation er mittelt. Dieser Schritt wird vor allem für die Initialisie rung der Landmarken verwendet. Anders ausgedrückt werden durch die Initialisierung Startwerte für die Position und Tiefe einer jeweiligen Landmarke ermittelt, welche im an schließenden Optimierungsverfahren optimiert werden. Später werden nur noch rückprojizierte Messfehler zur Korrektur in der Optimierung verwendet.
In einem gemeinsamen Optimierungsvorgang wird auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts ein verbesserter Positionswert der Landmarke und ein Wert einer kinematischen Größe ermittelt. Die Gewichtung unterschiedlicher Größen kann zum Beispiel in Abhängigkeit von Kovarianzwerten unterschiedlicher zu fusionierender Grö ßen oder auf Basis sonstiger Informationen, welche die Zuver lässigkeit von Messwerten charakterisieren, erfolgen. Derar tige Informationen können beispielsweise bei der Kalibrierung einer Messeinheit ermittelt werden.
Bei der Optimierung werden Positionen der Landmarken und ki nematische Größen, wie zum Beispiel Positionen des Schienen fahrzeuges, in einem sogenannten Schiebefenster (auf Englisch „sliding window") zusammen abgeschätzt bzw. optimiert. Dieser Vorgang basiert auf der Berücksichtigung von Fehlerkorrek turthermen. Solche Fehler-/Korrekturterme können umfassen: Rückprojektionsfehler (vor allem aufgrund der Frame-to-Frame matches, d.h. des Abgleichs aufeinanderfolgender Bilder, Tie fenfehler von dem Stereoabgleich sowie Odometriefehler (1-D Odometrie oder inertiale Messungen) . Es existiert keine Un terteilung in zwei Teile des Optimierungsalgorithmus. Wie er- wähnt, ist es bevorzugt, nicht nur einen aktuellen, dem
Schienenfahrzeug zugeordneten Wert einer kinematischen Größe, wie zum Beispiel dessen aktuelle Position im Rahmen des Opti mierungsvorgangs zu ermitteln, sondern die letzten N Werte, wobei N typischerweise eine ganze Zahl zwischen 3 und 20 ist. Dabei kommt ein sogenanntes Schiebefensterverfahren, im Eng lischen auch als „sliding-window"-Verfahren bezeichnet, zum Einsatz, bei dem eine Mehrzahl von Frames bzw. Bildern in ei nem Datenpaket übertragen und in dem beschrieben Optimie rungsverfahren auch simultan verarbeitet werden.
Vorteilhaft kann das Problem, dass bei Schienenfahrzeugen, welche signifikante Beschleunigungswerte nur in einer Dimen sion aufweisen, inertiale Messungen nicht sehr gut geeignet sind, um eine Positionsmessung durchzuführen, durch die Fusi on dieser Beschleunigungsdaten mit Bilddaten gelöst werden. Weiterhin wird die Verwendung von Schlüsselpunkten bzw. Land marken dazu genutzt, die zu verarbeitende Datenmenge zur Po sitionsbestimmung zu reduzieren. Diese vorteilhafte Vorge hensweise erlaubt insbesondere die Bestimmung kinematischer Größen in hochdynamischen Situationen, in denen bei herkömm licher Vorgehensweise die verfügbare Rechenkapazität nicht mehr ausreicht.
Die erfindungsgemäße Ermittlungseinrichtung weist eine Sens ordatenschnittstelle zum Empfangen von einer Abfolge von Bil dern, umfassend Bilddaten von der Umgebung des Schienenfahr zeugs, von mindestens einer bordseitigen Bildaufnahmeeinheit auf. Die Sensordatenschnittstelle ist weiterhin dazu einge richtet, zusätzliche bordseitig erfasste Sensordaten, welche kinematische Sensordaten und/oder Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, zu empfan gen .
Die erfindungsgemäße Ermittlungseinrichtung weist auch eine Detektionseinheit zum Detektieren von Schlüsselpunkten in den Bilddaten auf. Die erfindungsgemäße Ermittlungseinrichtung umfasst ferner eine Ermittlungseinheit zum Ermitteln eines ersten Tiefenwerts eines Schlüsselpunkts auf Basis der zu sätzlichen Sensordaten und der Bilddaten für jedes Bild der Abfolge von Bildern. Zum Durchführen eines Schlüsselpunkt- Abgleichs von Schlüsselpunkten unterschiedlicher Bilder der Abfolge von Bildern der Bildaufnahmeeinheit weist die erfin dungsgemäße Ermittlungseinrichtung eine Abgleichseinheit auf.
Teil der erfindungsgemäßen Ermittlungseinrichtung ist auch eine Schätzeinheit zum Schätzen einer Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Trian gulation auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden. Dieser Vorgang dient der Initialisierung eines Optimierungsprozesses.
Weiterhin weist die erfindungsgemäße Ermittlungseinrichtung eine Optimierungseinheit auf. Die Optimierungseinheit dient dem Ermitteln eines verbesserten Positionswerts der Landmarke auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts auf. Die Optimierungseinheit dient auch dazu, eine kinematische Größe gemeinsam mit dem verbes serten Positionswert, d.h. in einem gemeinsamen Optimierungs prozess, zu ermitteln. Die erfindungsgemäße Ermittlungsein richtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahr zeugs .
Das erfindungsgemäße Schienenfahrzeug weist die erfindungsge mäße Ermittlungseinrichtung auf. Das erfindungsgemäße Schie nenfahrzeug teilt die Vorteile der erfindungsgemäßen Ermitt lungseinrichtung .
Teile der erfindungsgemäßen Ermittlungseinrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebil det sein. Dies betrifft insbesondere Teile der Detektionsein heit, der Ermittlungseinheit, der Abgleichseinheit, der
Schätzeinheit und der Optimierungseinheit. Grundsätzlich kön nen diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von soft wareunterstützter Hardware, beispielsweise FPGAs oder der gleichen, realisiert sein. Ebenso können die benötigten
Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Software schnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher zur Sensordatenerfassung und zur Be rechnung kinematischer Daten genutzte Rechnersysteme auf ein fache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Inso fern wird die Aufgabe auch durch ein entsprechendes Computer programmprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersys tems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens zum Ermitteln einer kinema tischen Größe eines Schienenfahrzeugs auszuführen, wenn das Computerprogramm in einem Rechnersystem ausgeführt wird.
Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rech nereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikro prozessoren oder dergleichen aufweisen. Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den ab hängigen Ansprüchen einer anderen Anspruchskategorie und de ren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unter schiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
Als zusätzliche Sensordaten können bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kinematischen Größe eines
Schienenfahrzeugs Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit aufgenommen werden. Auf Basis der von mehreren Bildaufnahmeeinheiten erfassten Bilddaten können bei dieser Variante Stereobilddaten von der Umgebung des Schie nenfahrzeugs erzeugt werden. Auch in den Stereobilddaten kön nen Schlüsselpunkte detektiert werden. Da die Stereobilddaten dreidimensionale Informationen über die Umgebung und damit auch die Positionen der Schlüsselpunkte umfassen, kann nun anhand der Stereobilddaten für jedes Bild der erfassten Bild daten der erste Tiefenwert ermittelt werden. Basierend auf dreidimensionalen Bilddaten kann aufgrund der geometrisch er mittelbaren Tiefeninformation eine Tiefe eines Schlüssel punkts besonders genau ermittelt werden.
In einer Variante des erfindungsgemäßen Verfahrens zum Ermit teln einer kinematischen Größe eines Schienenfahrzeugs wird ein Schlüsselpunkt-Abgleich von Schlüsselpunkten unterschied licher Bilder einer Bildfolge einer Bildaufnahmeeinheit und auf Basis zusätzlicher kinematischer Sensordaten durchge führt. Mit diesen zusätzlichen kinematischen Daten wird das Verfahren beschleunigt.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Ver fahrens zum Ermitteln einer kinematischen Größe eines Schie nenfahrzeugs umfasst die kinematische Größe eine der folgen den Größen: - die Position des Schienenfahrzeugs,
- die Geschwindigkeit des Schienenfahrzeugs,
- die Beschleunigung des Schienenfahrzeugs.
Vorteilhaft kann mit Hilfe des erfindungsgemäßen Verfahrens eine Position eines Schienenfahrzeugs auch dann präzise er mittelt werden, wenn andere Positionsbestimmungsmethoden, wie zum Beispiel die Satellitennavigation, versagen. Eine solche Situation kann zum Beispiel in Tunnels oder auf von Gebäuden, Bäumen oder Bergen umgebenen Streckenabschnitten auftreten. Außerdem tritt bei der Satellitennavigation ein nicht normal verteiltes Fehlerverhalten auf, so dass die dabei gewonnenen Daten schlecht mit anderen Sensordaten fusioniert werden kön nen. Eine Fusion der mit Hilfe des erfindungsgemäßen Verfah rens gewonnenen Bilddaten mit auf andere Weise gewonnenen Sensordaten ist aufgrund eines jeweils normalverteilten Feh lers deutlich leichter möglich.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs umfassen die zusätzlichen kinematischen Sensordaten zumindest eine Art der folgenden Sensordaten:
- lD-odometrische Sensordaten,
- inertiale Messdaten.
Diese Sensordaten werden optional berücksichtigt. Eine Verar beitung der Bilddaten als Stereobilddaten alleine reicht auch aus oder eine Verarbeitung der Bilddaten als Bilddaten einer Einzelkamera kombiniert mit „kinematischen" Sensordaten.
Eindimensionale odometrische Sensordaten ermöglichen die Er mittlung der von einem Schienenfahrzeug zurückgelegten Stre cke. Allerdings reichen diese Daten allein bei einem komple xeren Streckennetz nicht aus, um eindeutig eine Position ei nes Schienenfahrzeugs zu ermitteln. Inertiale Messdaten las sen sich bei sich bewegenden Schienenfahrzeugen ebenfalls nur in Fahrtrichtung gewinnen. Mithin lässt sich auch mit diesen Daten allein keine exakte und eindeutige Position ermitteln. Daher werden diese Daten erfindungsgemäß mit Bilddaten fusio niert, um eindeutige Positionsdaten zu ermitteln.
In einer Variante des erfindungsgemäßen Verfahrens zum Ermit teln einer kinematischen Größe eines Schienenfahrzeugs er folgt bei dem Optimierungsverfahren ein Vergleich zwischen einer Bildposition einer an die geschätzte Position rückpro jizierten Landmarke und einer tatsächlichen Bildposition der in den Bilddaten identifizierten Landmarke. Bei diesem Ver gleich wird eine Positionsabweichung zwischen der geschätzten Position und der Bildposition ermittelt und für einen Fehler term bzw. Korrekturterm genutzt. Auf diese Weise ergibt sich eine iterativ optimierte Position als Ergebnis des Optimie rungsverfahrens .
In einer bevorzugten Variante des erfindungsgemäßen Verfah rens zum Ermitteln einer kinematischen Größe eines Schienen fahrzeugs wird ein zweiter Tiefenwert auf Basis der Triangu lation von Schlüsselpunkten einer Folge von Einzelbildern, welche bei dem Schlüsselpunkt-Abgleich als identisch ermit telt wurden, ermittelt und auf Basis des ersten Tiefenwerts und des zweiten Tiefenwerts wird durch ein Optimierungsver fahren ein verbesserter Tiefenwert für eine Landmarke ermit telt. Der verbesserte Tiefenwert kann vorteilhaft für eine Positionsbestimmung des Schienenfahrzeugs genutzt werden, um diese zu präzisieren. Das Optimierungsverfahren kann zur Ver besserung der Genauigkeit der Tiefenermittlung vorzugsweise einen Vergleich zwischen dem ersten Tiefenwert und dem zwei ten Tiefenwert umfassen.
Bei dem Optimierungsverfahren kann besonders bevorzugt ein Vergleich zwischen einem auf Basis der kinematischen Sensor daten ermittelten Positionswert und/oder Tiefenwert und dem verbesserten Positionswert erfolgen und daraus ein Fehlerwert für eine Positionsermittlung und/oder Tiefenermittlung auf Basis der kinematischen Sensordaten ermittelt werden. Vor teilhaft kann mit Hilfe des Fehlerwerts eine Korrektur der kinematischen Sensordaten erfolgen, wodurch auch wiederum die Ermittlung der kinematischen Größe genauer wird.
Die kinematischen Sensordaten können lD-odometrische Sensor daten umfassen und die lD-odometrische Messung kann durch ei nen Drehzahlmesser erfolgen. Alternativ oder zusätzlich kann die lD-odometrische Messung durch ein auf den Boden gerichte tes Dopplerradar erfolgen. Vorteilhaft sind die lD-odome- trischen Sensordaten relativ störungsfrei zu gewinnen. Eine Fusion mit den über Bildinformationen gewonnenen Messdaten erlaubt im Gegensatz zu einer ausschließlichen Verwendung der lD-odometrischen Sensordaten eine genauere Ermittlung auch dreidimensionaler kinematischer Größen.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt die Ermittlung des ersten Tiefenwerts durch eine Tri angulation auf Basis von Stereobilddaten. Aufgrund der Kennt nis der Basislinie zwischen den beiden Kameras eines bei die ser Variante verwendeten Stereobildaufnahmesystems sowie der Kenntnis der unterschiedlichen Winkel, unter denen ein
Schlüsselpunkt in den beiden Bildern der beiden Kameras er scheint, kann eine Positionsbestimmung des Schlüsselpunkts durch Triangulation vorgenommen werden.
In einer Variante des erfindungsgemäßen Verfahrens zum Ermit teln einer kinematischen Größe eines Schienenfahrzeugs er folgt die Ermittlung des ersten Tiefenwerts auf Basis einer Tiefenmessung in einem Schiebefenster. Eine solche Tiefenmes sung kann mit Hilfe einer Tiefenkamera, auch als Time-of- Flight-Kamera bezeichnet, oder einem LiDAR-System erfolgen.
Dabei werden alle Tiefenmessungen die aufgrund der Stereo triangulation gewonnen wurden, in der Optimierung verwendet, und zwar für alle Bilder, die sich im „sliding window" befin den. Wie mit den Tiefenmessungen werden auch die Beschleuni gungsmessungen von allen zugehörigen Bildern (Beschleunigun- gen von Bildzeitstempel bis Bildzeitstempel ) die sich im „sliding window" befinden, für die Optimierung verwendet.
Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
FIG 1 ein Flussdiagramm, welches ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs ge mäß einem Ausführungsbeispiel der Erfindung veran schaulicht,
FIG 2 eine schematische Darstellung einer Ermittlungsein richtung gemäß einem Ausführungsbeispiel der Erfin dung,
FIG 3 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung,
FIG 4 eine schematische Darstellung einer Mehrzahl von Land marken im dreidimensionalen Raum,
FIG 5 eine schematische Darstellung von Schlüsselpunkten in aufeinanderfolgenden Bildern.
In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Ver fahren zum Ermitteln einer kinematischen Größe v, P, a eines Schienenfahrzeugs 31 (siehe FIG 3) veranschaulicht. Eine sol che kinematische Größe kann zum Beispiel die Geschwindigkeit v, die Position P oder eine Beschleunigung a des Schienen fahrzeugs 31 umfassen.
Bei dem Schritt 1.1 werden zunächst Bilddaten BD von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe FIG 3) des Schienenfahrzeugs 31 erfasst. Die Bilddaten BD umfassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Bei dem Schritt l.II werden auf Basis von gleichzeitig von unter schiedlichen Bildkameras 32, 33 erfassten Bilddaten BD zu sätzlich Stereobilddaten SBD von der Umgebung des Schienen fahrzeugs 31 erzeugt. Bei dem Schritt l.III erfolgt noch ergänzend eine Akquisition von zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertialen Messdaten.
Auf Basis der aufgenommenen Bilddaten BD und der auf deren Basis erzeugten Stereobilddaten SBD werden bei dem Schritt 1. IV Schlüsselpunkte SP detektiert. Anders ausgedrückt werden die Schlüsselpunkte SP für jede einzelne Kamera und unter schiedliche Zeitpunkte miteinander verglichen ( Frame-to-Frame matching) und es werden Schlüsselpunkte von Bildern unter schiedlicher Kameras, welche zu gleichen Zeitpunkten aufge nommen wurden, miteinander verglichen (stereo matching) . Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Ein solches Verfahren ist beispielsweise in E. Rosten, R. Porter and T. Drummond, "Faster and Better: A Machine Learning Approach to Corner De- tection" in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no . 1, pp. 105-119, Jan. 2010 be schrieben .
Weiterhin erfolgt bei dem Schritt l.V eine Extraktion von De skriptoren anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden. Die ermittelten Deskriptoren werden bei den Schritten l.VI und l.VII für einen Matching-Prozess genutzt.
Bei dem Schritt l.VI erfolgt ein Abgleich oder Matching von Schlüsselpunkten in Bildern der Stereobilddaten SBD. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kame ras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüssel punkte SP in den unterschiedlichen Bildern der Stereobildda ten SBD identisch sind. Hierzu werden auch die Werte der De skriptoren D genutzt. Ähnlich erfolgt bei dem Schritt l.VII ein Abgleich von Schlüsselpunkten SP in unterschiedlichen Frames der Bilddaten BD von einer Einzelkamera 32. Hierzu werden nicht nur die bei dem Schritt l.V extrahierten De skriptoren D, sondern auch die zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertiale Messdaten, welche bei dem Schritt l.III erfasst wurden, hinzugezogen.
Bei dem Schritt l.VIII erfolgt eine Triangulation der Schlüs selpunktdaten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden. Da korrespon dierende Bilder unterschiedlicher Kameras des Stereokame rasystems aus unterschiedlichen Winkeln aufgenommen werden und die Länge der Basislinie zwischen den beiden Kameras 32, 33 bekannt ist, kann mit Hilfe der Triangulation jeweils ein erster Tiefenwert TW1 für die identifizierten Schlüsselpunkte SP ermittelt werden.
Bei dem Schritt 1. IX erfolgt weiterhin bei der Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tiefen werts TW1 eine Tiefenermittlung in einem Schiebefenster.
Mit „sliding window" ist ein Zeitabschnitt gemeint, in dem die Messungen für die Optimierung berücksichtigt werden. Dies wird gemacht aus dem Grund, da mehr Messungen normalerweise ein besseres Ergebnis erzielen, jedoch alle Messungen (seit dem Start der Applikation) zu rechenintensiv wären. Das „sli ding window" ist nur für die Optimierung relevant.
Bei dem Schritt l.X erfolgt eine Triangulation einer Landmar ke, welche in unterschiedlichen Frames aus unterschiedlichen Winkeln bildlich erfasst wurde, zur Ermittlung einer Position P-LM der Landmarke in einem Schiebefenster. Dabei ist unter einem Schiebefenster wieder eine bestimmte Anzahl an aktuel len Frames, in denen die Landmarke abgebildet ist, zu verste hen .
Außerdem werden bei dem Schritt l.XI auch die inertialen Messwerte ZSD in einem Schiebefenster erfasst. Die bei den Schritten l.IX, l.X und l.XI ermittelten Daten TW1, P-LM, ZSD werden bei dem Schritt l.XII dazu genutzt, in einem nichtli nearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermitteln. Bei diesem Optimie rungsverfahren wird eine Landmarke, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen.
Im Optimierungsverfahren werden die Positionen der Landmarken sowie die Positionen des Fahrzeugs im vorherigen Zeitraum („sliding window") zusammen optimiert, um den Fehler der Rückprojektion, der Tiefenmessungen ( Stereo-matching) und der kinematischen Messdaten zu minimieren.
Ähnlich können auch Korrekturwerte für die Tiefenmessung und Korrekturwerte für die Ermittlung von korrigierten Messwerten auf Basis der zusätzlichen kinematischen Sensordaten ZSD ge nutzt werden.
In FIG 2 ist eine schematische Darstellung einer Ermittlungs einrichtung 20 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht .
Die Ermittlungseinrichtung 20 umfasst eine Bilddatenschnitt stelle 21, welche zum Empfangen von Bilddaten BD dient, die von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe FIG 3) erfasst werden, eingerichtet ist. Die Bilddaten BD um fassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Die Ermittlungseinrichtung 20 weist außerdem eine Bildda tenkombinationseinheit 22 zum Erzeugen von Stereobilddaten SBD von der Umgebung des Schienenfahrzeugs 31 auf Basis der empfangenen Einzelbilddaten von unterschiedlichen Kameras 32, 33 auf. Die Stereobilddaten SBD basieren auf simultan von un terschiedlichen Kameras 32, 33 aufgenommenen Bilddaten BD (siehe FIG 3), wobei die unterschiedlichen Kameras 32, 33 ein überlappendes Sichtfeld aufweisen. Teil der Ermittlungsein richtung 20 ist auch eine Sensorschnittstelle 21a, welche da zu eingerichtet ist, zusätzliche kinematische Sensordaten ZSD, in diesem Fall inertiale Messdaten, zu empfangen, welche von einem Inertialsensor erfasst werden. Die Ermittlungseinrichtung 20 umfasst außerdem eine Detekti onseinheit 23, welche dazu eingerichtet ist, Schlüsselpunkte SP auf Basis der aufgenommenen Bilddaten BD, SBD zu detektie- ren. Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Weiterhin um fasst die Ermittlungseinrichtung 20 eine Extraktionseinheit 23a zur Extraktion von Deskriptoren D anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK- Verfahren angewendet werden.
Die Ermittlungseinrichtung 20 weist auch eine Ermittlungsein heit 24 auf, welche dazu dient, einen ersten Tiefenwert TW1 eines Schlüsselpunkts SP auf Basis der Stereobilddaten SBD und der Deskriptoren D zu ermitteln.
Hierzu wird ein Abgleich oder Matching von Schlüsselpunkten in Einzelbildern der Stereobilddaten SBD durchgeführt. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kameras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüssel punkte SP in den unterschiedlichen Bildern der Stereobildda ten SBD identisch sind. Dazu werden auch die Werte der De skriptoren D genutzt.
Die Ermittlungseinrichtung 20 weist auch eine Abgleichsein- heit 25 für einen Abgleich von Schlüsselpunkten SP in unter schiedlichen Frames der Bilddaten BD von einer Einzelkamera 32 (siehe FIG 3) auf. Hierzu werden nicht nur die extrahier ten Deskriptoren D, sondern auch die zusätzlichen kinemati schen Sensordaten ZSD, in diesem Fall inertiale Messdaten hinzugezogen .
Die Ermittlungseinrichtung 20 weist auch eine Tiefenschätz einheit 25a zum Ermitteln eines ersten Tiefenwerts TW1 auf. Die Ermittlung des ersten Tiefenwerts TW1 erfolgt mit Hilfe einer Triangulation. Es wird die Tiefe von Schlüsselpunkten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden, ermittelt. Da korrespondie- rende Bilder unterschiedlicher Kameras des Stereokamerasys tems 33 (siehe FIG 3) aus unterschiedlichen Winkeln aufgenom men werden und die Länge der Basislinie zwischen den beiden Kameras 33 bekannt ist, kann mit Hilfe der Triangulation je weils ein erster Tiefenwert TW1 für die identifizierten
Schlüsselpunkte SP ermittelt werden.
Teil der Ermittlungseinrichtung 20 ist auch eine Schätzein heit 26 zum Schätzen einer Position P-LM eines als Landmarke LM identifizierten Schlüsselpunkts SP durch eine Triangulati on auf Basis von Schlüsselpunkten SP aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden.
Teil der Ermittlungseinrichtung 20 ist auch eine Tiefenmess einheit 24b, welche dazu eingerichtet ist, eine Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tie fenwerts TW1 durchzuführen, wobei eine Tiefenermittlung in einem Schiebefenster, d.h. auf Basis einer Mehrzahl N von aufeinanderfolgenden Frames erfolgt.
Der ermittelte erste Tiefenwert TW1 sowie der geschätzte Po sitionswert P-LM werden an eine Optimierungseinheit 27 über mittelt, die ebenfalls Teil der Ermittlungseinrichtung 20 ist. Alle die ermittelten Daten TW1, P-LM, ZSD werden dazu genutzt, in einem nichtlinearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermit teln. Bei diesem Optimierungsverfahren wird eine Landmarke LM, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen. Die dabei ermittelte Differenz kann als Kor rekturwert für die Positionsermittlung genutzt werden. Ähn lich können auch Korrekturwerte für die Tiefenmessung und die Ermittlung von korrigierten Messwerten auf Basis der zusätz lichen kinematischen Sensordaten ZSD genutzt werden. Neben dem Positionswert PV-LM der Landmarken LM wird in der Optimierungseinheit 27 auch eine kinematische Größe opti miert. Beispielsweise wird eine aktuelle Position P des
Schienenfahrzeugs 31, die Geschwindigkeit oder die Beschleu nigung des Schienenfahrzeugs 31 optimiert. Anders ausge drückt, werden Positionen der Landmarken LM zusammen mit den Positionen P des Fahrzeugs im „sliding window" gemeinsam op timiert. Die ermittelte Position P wird schließlich über eine Ausgangsschnittstelle 28, beispielsweise an eine Steuerungs einrichtung 35 (siehe FIG 3), ausgegeben.
In FIG 3 ist eine schematische Darstellung 30 eines Schienen fahrzeugs 31 gemäß einem Ausführungsbeispiel der Erfindung auf einer Schienenstrecke S veranschaulicht. Das Schienen fahrzeug 31 weist eine Mehrzahl von Einzelkameras 32, 33 auf, welche Videodaten BD von der Umgebung des Schienenfahrzeugs 31 aufnehmen. Die Videodaten BD werden an eine in das Schie nenfahrzeug 31 integrierte Ermittlungseinrichtung 20 übermit telt, die den in FIG 2 gezeigten Aufbau hat.
Mit Hilfe der Mehrzahl von Kameras 32, 33 kann die Umgebung aus zwei unterschiedlichen Blickwinkeln bildlich aufgenommen werden. Weiterhin umfasst das Schienenfahrzeug 31 auch eine inertiale Sensoreinheit 34, mit der Sensordaten ZSD bezüglich des Beschleunigungsverhaltens und Verzögerungsverhaltens, so genannte inertiale Messdaten, erfasst werden und ebenfalls an die Ermittlungseinrichtung 20 weitergeleitet werden. Eine inertiale Sensoreinheit kann nicht nur das Verzögerungsver halten (lineare Beschleunigung), sondern auch die Drehge schwindigkeiten messen (Gyroskop) , welche ebenfalls zur Er mittlung der Landmarken und der kinematischen Daten genutzt werden können.
Die Ermittlungseinrichtung 20 ermittelt auf Basis der Ein gangsdaten BD, SBD, ZSD eine kinematische Größe v, P, a des Schienenfahrzeugs 31. Die Ergebnisdaten v, P, a werden an ei ne Steuereinrichtung 35 des Schienenfahrzeugs 31 übermittelt, welche auf Basis dieser Daten v, P, a das Schienenfahrzeug steuert .
In FIG 4 sind zur Veranschaulichung Landmarken LM im dreidi mensionalen Raum 40 eingezeichnet, welche durch das in FIG 1 geschilderte Verfahren ermittelt wurden. Den Landmarken LM ist eine eindeutige Position im Raum zugeordnet.
In FIG 5 sind zur Veranschaulichung Schlüsselpunkte SP einer Bildfolge einer Einzelkamera als kreisförmige Objekte in ei ner Bilddarstellung 50 der Umgebung eines Schienenfahrzeugs symbolisiert. Die an den Kreisen angeordneten Striche deuten die Richtung sowie den Verschiebungsweg an, den die Schlüs selpunkte in aufeinanderfolgenden Bildern genommen haben. Aus diesen Daten allein lassen sich noch keine Landmarken bzw. deren Positionen gewinnen. Hierzu benötigt man Zusatzdaten, wie zum Beispiel Informationen über die Tiefe der Schlüssel punkte SP. Diese Daten lassen sich grob durch zusätzliche ki nematische Sensordaten ZSD, wie zum Beispiel inertiale Mess daten oder lD-odometrische Daten, gegebenenfalls in Verbin dung mit Kartendaten, gewinnen.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.

Claims

Patentansprüche
1. Verfahren zum Ermitteln einer kinematischen Größe (v, P, a) eines Schienenfahrzeugs (31), aufweisend die Schritte:
- Aufnehmen von Bilddaten (BD) von der Umgebung des Schienen fahrzeugs (31) mit einer bordseitigen Bildaufnahmeeinheit (32) ,
- bordseitiges Aufnehmen von zusätzlichen Sensordaten, welche kinematische Sensordaten (ZSD) und/oder Bilddaten (BD) min destens einer zusätzlichen Bildaufnahmeeinheit (33) umfas sen,
- Detektieren von Schlüsselpunkten (SP) in den Bilddaten
(BD) ,
- Ermitteln eines ersten Tiefenwerts (TW1) eines Schlüssel punkts (SP) auf Basis der zusätzlichen Sensordaten (ZSD) und der Bilddaten (BD) für jedes Bild der Bilddaten (BD) ,
- Durchführen eines Schlüsselpunkt-Abgleichs von Schlüssel punkten (SP) unterschiedlicher Bilder einer Bildfolge der Bildaufnahmeeinheit (32)
- Schätzen einer Position (P-LM) eines als Landmarke (LM) identifizierten Schlüsselpunktes (SP) durch eine Triangula tion auf Basis von Schlüsselpunkten (SP) aufeinanderfolgen der Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, zur Initialisierung der Land marke (LM) , und
- Ermitteln
- eines verbesserten Positionswerts (PV-LM) der Landmarke (LM) auf Basis einer gewichteten Fusion der geschätzten Position (P-LM) und des ersten Tiefenwerts (TW1) und
- einer kinematischen Größe (v, P, a)
in einem gemeinsamen Optimierungsverfahren.
2. Verfahren nach Anspruch 1, wobei
- als zusätzliche Sensordaten Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit (33) aufgenommen werden,
- Stereobilddaten (SBD) von der Umgebung des Schienenfahr zeugs (31) auf Basis von Bilddaten (BD) von einer Mehrzahl von Bildaufnahmeeinheiten (32, 33) erzeugt werden, - Schlüsselpunkte (SP) zusätzlich in den Stereobilddaten (SBD) detektiert werden und
- der erste Tiefenwert (TW1) eines Schlüsselpunkts (SP) auf Basis der Stereobilddaten (SBD) für jedes Bild der Bildda ten (BD) ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei die kinematische Größe (v, P, a) eine der folgenden Größen umfasst:
- die Position (P) des Schienenfahrzeugs (31),
- die Geschwindigkeit (v) des Schienenfahrzeugs (31),
- die Beschleunigung (a) des Schienenfahrzeugs (31) .
4. Verfahren nach Anspruch 1 oder 2, wobei die kinematischen Sensordaten (ZSD) eine Art der folgenden Sensordaten umfas sen :
- lD-odometrische Sensordaten,
- inertiale Messdaten.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei bei dem Optimierungsverfahren ein Vergleich zwischen einer Bild position einer an die geschätzte Position (P-LM) projizierten Landmarke (LM) und einer tatsächlichen Bildposition der in den Bilddaten (BD, SBD) identifizierten Landmarke (LM) er folgt.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei
- ein zweiter Tiefenwert (TW2) auf Basis der Triangulation von Schlüsselpunkten (SP) aufeinanderfolgender Bilder er mittelt wird und
- auf Basis des ersten Tiefenwerts (TW1) und des zweiten Tie fenwerts (TW2) ein verbesserter Tiefenwert für eine Initia lisierung einer Landmarke (LM) ermittelt wird.
7. Verfahren nach Anspruch 6, wobei das Ermitteln eines ver besserten Tiefenwerts einen Vergleich zwischen dem ersten Tiefenwert (TW1) und dem zweiten Tiefenwert (TW2) umfasst.
8. Verfahren nach einem der Ansprüche 5 bis 7, wobei bei dem Optimierungsverfahren ein Vergleich zwischen einem auf Basis der zusätzlichen kinematischen Sensordaten (ZSD) ermittelten Positionswert und/oder Tiefenwert und dem verbesserten Posi tionswert (PV-LM) erfolgt und daraus ein Fehlerwert für eine Positionsermittlung und/oder Tiefenermittlung auf Basis der zusätzlichen kinematischen Sensordaten (ZSD) ermittelt wird.
9. Verfahren nach Anspruch 8, wobei die zusätzlichen kinema tischen Sensordaten (ZSD) lD-odometrische Sensordaten umfas sen und die lD-odometrische Messung durch einen Drehzahlmes ser erfolgt.
10. Verfahren nach einem der Ansprüche 2 bis 9, wobei die Er mittlung des ersten Tiefenwerts (TW1) durch eine Triangulati on auf Basis der Stereobilddaten (SBD) erfolgt.
11. Verfahren nach einem der vorstehenden Ansprüche, wobei die Ermittlung des ersten Tiefenwerts (TW1) durch
- eine Tiefenkamera und/oder
- LiDAR erfolgt.
12. Ermittlungseinrichtung (20), aufweisend:
- eine Sensordatenschnittstelle (21) zum Empfangen von einer Abfolge von Bilddaten (BD) von der Umgebung des Schienen fahrzeugs (31) von mindestens einer bordseitigen Bildauf nahmeeinheit (32) und von zusätzlichen bordseitig erfassten Sensordaten, welche kinematische Sensordaten (ZSD) und/oder Bilddaten (BD) mindestens einer zusätzlichen Bildaufnahme einheit (33) umfassen,
- eine Detektionseinheit (23) zum Detektieren von Schlüssel punkten (SP) in den Bilddaten (BD) ,
- eine Ermittlungseinheit (24) zum Ermitteln eines ersten
Tiefenwerts (TW1) eines Schlüsselpunkts (SP) auf Basis der zusätzlichen Sensordaten (SBD) und der Bilddaten (BD) für jedes Bild der Bilddaten (BD) ,
- eine Abgleichseinheit (25) zum Durchführen eines Schlüssel- punkt-Abgleichs von Schlüsselpunkten (SP) unterschiedlicher Bilder der Abfolge von Bilddaten (BD) der Bildaufnahmeein heit (32)
- eine Schätzeinheit (26) zum Schätzen einer Position eines als Landmarke (LM) identifizierten Schlüsselpunktes (SP) durch eine Triangulation auf Basis von Schlüsselpunkten (SP) aufeinanderfolgender Bilder, welche bei dem Schlüssel- punkt-Abgleich als identisch ermittelt wurden, zur Initali- sierung der Landmarke (LM) ,
- eine Optimierungseinheit (27) zum Ermitteln
- eines verbesserten Positionswerts (PV-LM) der Landmarke (LM) auf Basis einer gewichteten Fusion der geschätzten Position (P-LM) und des ersten Tiefenwerts (TW1), und
- zum Ermitteln einer kinematischen Größe
in einem gemeinsamen Optimierungsverfahren.
13. Schienenfahrzeug (31), aufweisend:
- eine Ermittlungseinrichtung (20) nach Anspruch 12,
- eine Steuereinrichtung (35) zum automatisierten Steuern des Schienenfahrzeugs (31) auf Basis von kinematischen Daten (P, v, a) , welche von der Ermittlungseinrichtung (20) er mittelt werden.
14. Computerprogrammprodukt mit einem Computerprogramm, wel ches direkt in eine Speichereinheit einer Ermittlungseinrich tung (20) ladbar ist, mit Programmabschnitten, um alle
Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen, wenn das Computerprogramm in der Ermittlungsein richtung (20) ausgeführt wird.
15. Computerlesbares Medium, auf welchem von einer Rech nereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen, wenn die Programmabschnitte von der Rech nereinheit ausgeführt werden.
PCT/EP2019/085354 2018-12-18 2019-12-16 Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs WO2020127053A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018222169.3A DE102018222169A1 (de) 2018-12-18 2018-12-18 Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs
DE102018222169.3 2018-12-18

Publications (1)

Publication Number Publication Date
WO2020127053A1 true WO2020127053A1 (de) 2020-06-25

Family

ID=69061327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/085354 WO2020127053A1 (de) 2018-12-18 2019-12-16 Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs

Country Status (2)

Country Link
DE (1) DE102018222169A1 (de)
WO (1) WO2020127053A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113390435A (zh) * 2021-05-13 2021-09-14 中铁二院工程集团有限责任公司 高速铁路多元辅助定位系统
CN114550443A (zh) * 2022-01-21 2022-05-27 阿里云计算有限公司 路网数据处理方法、设备和可读介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT524957B1 (de) * 2021-04-26 2022-11-15 Plasser & Theurer Export Von Bahnbaumaschinen Gmbh Verfahren und Messsystem zur Ermittlung einer Position eines Schienenfahrzeugs
DE102022205611A1 (de) 2022-06-01 2023-12-07 Siemens Mobility GmbH Verfahren zum Lokalisieren eines Schienenfahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN108801274A (zh) * 2018-04-16 2018-11-13 电子科技大学 一种融合双目视觉和差分卫星定位的地标地图生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012200139A1 (de) * 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur radunabhängigen Geschwindigkeitsmessung bei einem Fahrzeug
US20140218482A1 (en) * 2013-02-05 2014-08-07 John H. Prince Positive Train Control Using Autonomous Systems
DE102014222900A1 (de) * 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN108801274A (zh) * 2018-04-16 2018-11-13 电子科技大学 一种融合双目视觉和差分卫星定位的地标地图生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
E. ROSTENR. PORTERT. DRUMMOND: "Faster and Better: A Machine Learning Approach to Corner Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 32, no. 1, January 2010 (2010-01-01), pages 105 - 119

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113390435A (zh) * 2021-05-13 2021-09-14 中铁二院工程集团有限责任公司 高速铁路多元辅助定位系统
CN113390435B (zh) * 2021-05-13 2022-08-26 中铁二院工程集团有限责任公司 高速铁路多元辅助定位系统
CN114550443A (zh) * 2022-01-21 2022-05-27 阿里云计算有限公司 路网数据处理方法、设备和可读介质

Also Published As

Publication number Publication date
DE102018222169A1 (de) 2020-06-18

Similar Documents

Publication Publication Date Title
WO2020127053A1 (de) Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs
DE102016223422B4 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE10326943B4 (de) Autonomes Fahrzeug sowie zugehörige Verfahren und Vorrichtungen zur Bewegungsbestimmung, Bewegungssteuerung und Objekterkennung
DE69635569T2 (de) Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse
DE102012014397B4 (de) Verfahren zum Ermitteln einer Position eines Fahrzeugs und Fahrzeug
DE102015210015A1 (de) Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
DE102017210070A1 (de) Verfahren zum Erstellen einer digitalen Karte für ein automatisiertes Fahrzeug
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
DE102019216548A1 (de) Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
DE102010021383B4 (de) Verfahren zur automatisierten Erfassung von Objekten mittels eines sich bewegenden Fahrzeugs
DE4416557A1 (de) Verfahren und Vorrichtung zur Stützung der Trägheitsnavigation eines ein entferntes Ziel autonom ansteuernden Flugkörpers
EP3539085B1 (de) 3d-referenzierung
EP3164850A1 (de) Verfahren zum ermitteln in einem backend und bereitstellen an ein fahrzeug eines eine landmarke beschreibenden datensatzes zur eigenpositionsbestimmung durch das fahrzeug
WO2011020713A1 (de) Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts
DE102013001867A1 (de) Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs und Kraftfahrzeug
DE19627938B4 (de) Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen
WO2018172240A1 (de) Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug
WO2019037940A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs
WO2023279131A1 (de) Verfahren zur dreidimensionalen rekonstruktion des verlaufs der schienenmittellinie von schienen eines schienennetzes für schienenfahrzeuge
WO2020260134A1 (de) Verfahren zur lokalisierung eines fahrzeugs
DE102017217063A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten
DE102021212632A1 (de) Prüfung der Umfeldsensorik und/oder Umfeldperzeption eines Fahrzeugs
DE102021123503A1 (de) Ermittlung einer absoluten Initialposition eines Fahrzeugs
DE102014108255A1 (de) Georeferenzierung von Bilddaten
DE102019121522A1 (de) Raddiagnose

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829077

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19829077

Country of ref document: EP

Kind code of ref document: A1