WO2018104454A2 - Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic - Google Patents

Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic Download PDF

Info

Publication number
WO2018104454A2
WO2018104454A2 PCT/EP2017/081834 EP2017081834W WO2018104454A2 WO 2018104454 A2 WO2018104454 A2 WO 2018104454A2 EP 2017081834 W EP2017081834 W EP 2017081834W WO 2018104454 A2 WO2018104454 A2 WO 2018104454A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
lane
bib
sfz
track
Prior art date
Application number
PCT/EP2017/081834
Other languages
German (de)
French (fr)
Other versions
WO2018104454A3 (en
Inventor
Andreas Schönberger
Christopher Drexler
Andreas Schaefer-Enkeler
Jan Winhuysen
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP17832743.3A priority Critical patent/EP3523177A2/en
Priority to CN201780075914.6A priority patent/CN110087970A/en
Priority to RU2019119851A priority patent/RU2719499C1/en
Publication of WO2018104454A2 publication Critical patent/WO2018104454A2/en
Publication of WO2018104454A3 publication Critical patent/WO2018104454A3/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Definitions

  • Method, device and railway vehicle in particular rail vehicle, for obstacle detection in rail traffic, in particular in rail transport
  • the invention relates to a method for obstacle detection in rail traffic, especially in rail traffic, according to the preamble of claim 1, an apparatus for obstacle detection in rail traffic, especially in rail traffic, according to the preamble of claim 10 and a railway vehicle for obstacle detection in rail traffic, in particular a Rail vehicle for obstacle detection in rail traffic, according to the preamble of claim 24.
  • Rail vehicles are part of a modern transport infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move.
  • rail-based means of transport and transport mentioned are rail vehicles, which are based on a wheel-rail system, either a own traction drive (railcar) or pulled by a locomotive and are predominantly steel wheels with a flange on two steel rails railways are the most widespread.
  • the problem underlying the invention is to specify a method, a device and a rail vehicle, in particular a rail vehicle, for obstacle detection in rail traffic, in particular in rail traffic, with the obstacle or obstacles in rail traffic when rail vehicles are traveling on railway lines in the railway network , respectively obstacles in rail traffic, when rail vehicles are traveling on rail tracks in the rail network, are automatically detected.
  • the automatic detection of obstacles in rail traffic, in particular in rail traffic which is the subject of the present International Patent Application (Application No. PCT / ..., Publication No. WO ...) and the DE patent application (Application no. 102016224344.6) is an indispensable MUST with regard to future automated (autonomous) or assisted driving of rail vehicles in railway traffic or rail vehicles in rail traffic.
  • Protective fences used to prevent access to the track e.g., known from airports.
  • the aforementioned contextual object is achieved on the basis of the obstacle detection method defined in the preamble of claim 1 by the features specified in the characterizing part of claim 1. Moreover, the aforementioned contextual object is achieved on the basis of the obstacle recognition device defined in the preamble of patent claim 8 by the features specified in the characterizing part of claim 8.
  • Image area which essentially shows a lane used by the railway vehicle, to recognize by image analysis the lane figuratively positioned by the marker and to compare it with stored known image meta information or with stored known image meta information and additional information and in an image area excerpt of the marked image area
  • Object recognition method to detect whether an object, such as a person, an animal, a fallen tree, etc., is located on the lane, wherein an obstacle is marked in the image area, preferably in the image area excerpt, when the object is recognized by the object recognition method.
  • the image meta information includes feature and property data of the images captured by the route area.
  • the basic principle of the invention is to use metadata about the route, eg the route, in combination with sensors in the railway vehicle as well as calculation and evaluation algorithms to improve the recognition of objects and people and the distinction between permissible and impermissible objects and persons to enable.
  • the aim is to make a contribution to fully automated driving possible without additional investments in the route infrastructure.
  • pattern recognition algorithms or pattern matching algorithms are generalized for the route area, the area "in front of the vehicle” (in FIG Direction of travel).
  • image recording devices eg sensors
  • a radar for detecting metallic objects, even in bad weather, can be combined with video cameras and image acquisition devices such as thermal imaging cameras to detect people.
  • this can be done approximately on the basis of the knowledge of the route traveled (the lane).
  • a third step focused on the traffic lane / track used per imaging device used (eg, an image acquisition device), it is detected by object recognition methods whether an object or a person is on the lane / track. This means that only the image section with the traffic lane / track and the critical area to the left and right of it are considered. Depending on the image acquisition device, one or both of the following pattern matching methods are used. Again, the recognition quality is increased by the integration of external information or additional information. Cl. Positive matching
  • an expected pattern is recognized, e.g. through a solid track or through regular rail supports in the picture or the pictures. If this is not the case, it is checked via an image database whether the irregularity was expected (this information can be made, for example, during initialization trips with a railcar driver). If the irregularity was not expected, a potential obstacle is marked.
  • the result of the obstacle marking is merged from the different image acquisition devices.
  • probabilistic image processing techniques such as Hidden Markov models
  • the different sources of information are combined to minimize misrecognition and "false negatives", i. E. the erroneous assumption that there is no object in the lane / track area, although it is actually present, to exclude.
  • the following additional components - a) to c) for the image recording device may be used in relation to the obstacle recognition device according to claim 8:
  • the evaluation of video images can be limited to the first 50 meters in front of the rail vehicle or rail vehicle and the speed of the vehicle can be throttled accordingly.
  • a focal length variation component according to claim 16 which selects the correct recording angle depending on the environment (eg, train station, city area, land, etc.) and the speed so as to optimally support the evaluation of the image.
  • both recording situations on the open road requiring images from a great distance in order to be able to react quickly due to the speed
  • recording situations in the station area requiring images with a high latitude
  • a land-side evaluation station which is connected via mobile radio, and receives images from an image storage device for which an evaluation is only possible with a high uncertainty factor. These images can then be evaluated by a human expert and this information can then in turn be stored in the image storage device, which is an obstacle detection device in the web.
  • the image material of rail vehicles of a fleet or several fleets can be matched and distributed via the land-based evaluation station.
  • FIG. 1 shows a railway-vehicle-based detection of an obstacle in the form of a tree overturned on a railroad
  • FIG. 2 shows a basic structure of an obstacle detection device for the obstacle detection based on the railway vehicle in the form of the tree overturned on the railway line.
  • FIG. 1 shows a railway-vehicle-based detection of an obstacle in rail traffic BVK when a rail vehicle BFZ is located on a lane FS of the railway line BST on a section of track BST of a railway network BNE located as an obstacle on the lane FS object OBJ, in the illustrated case one on the Lane FS overturned tree, approaching.
  • the lane-related railway BST of the rail network BNE is a railway track SST of a rail network SNE on which a rail vehicle SFZ is traveling on a track GL in rail traffic SVK for rail vehicle-based obstacle detection and is the object OBJ which is located on the track GL , in the case shown approaches the tree overturned on track GL.
  • the illustrated railway track SST of a rail network SNE on which a rail vehicle SFZ is traveling on a track GL in rail traffic SVK for rail vehicle-based obstacle detection and is the object OBJ which is located on the track GL , in the case shown approaches the tree overturned on track GL.
  • Rail transport SVK with the on the railway line SST of the rail network SNE moving rail vehicle SFZ is also here again due to the discussion at the outset any other arbitrary short- or long-haul rail transport system as a further embodiment of the invention conceivable and conceivable.
  • a magnetic levitation traffic system (Stw.: Transrapid, Maglev, etc.) would also have a correspondingly comparable infrastructure. consisting of railway network, railway line and railway vehicle, in question.
  • an obstacle recognition device HEV is accommodated in a railcar TRW of the rail vehicle SFZ with a driver's cab TFS and an integrated display device AZE in which the workstation of the vehicle driver FZF is located for the rail vehicle-based detection of an obstacle.
  • HEV for this purpose includes a preferably designed as a sensor image recording device BAZG, the e.g. is designed as an ordinary video camera, laser sensor, thermal imaging camera, radar device, infrared camera, etc., and is also referred to as an image acquisition device for acquiring images.
  • a sensor image recording device BAZG the e.g. is designed as an ordinary video camera, laser sensor, thermal imaging camera, radar device, infrared camera, etc., and is also referred to as an image acquisition device for acquiring images.
  • the images BI FSB of the route area FSB contain an image area BIB with an image area excerpt BIB AS , which represents the used track GL and an area critical for rail traffic SVK, through which a critical radius for rail traffic SVK lies substantially to the left and right of the track GL is indicated in the part of the travel route area FSB shown by the image area BIB of the images BI FSB of the travel route area FSB. That is, the route area FSB also includes the area critical for rail traffic SVK.
  • FIG. 2 shows the basic structure of the obstacle detection device HEV for the obstacle detection of the rail vehicle SFZ according to FIG. 1, which travels on the track GL and approaches the obj object on the track GL, in the illustrated case the overturned tree.
  • the starting point for the obstacle detection forms according to the comments on the FIGURE 1, the image recording device BAZG, which detects the images BI FSB of the route range FSB for obstacle detection.
  • the image recording device BAZG is preferably designed to be pivotable for alignment with the image object. Furthermore, it is possible and possibly also reasonable for acquisition-related reasons that several image recording devices BAZG the same design, eg multiple video cameras, or devices of different types, eg multiple video cameras, laser sensors, RADAR-based, based on radio-based location and distance measurement sensors, infrared cameras and or thermal imaging cameras containing obstacle detection device HEV that take the images BI FSB . Such a multiple execution of the image recording or Jardinakquirie- tion may be relevant for redundancy purposes, among others.
  • BAZG imaging device preferably contain the following components in the image recording device BAZG:
  • a correction component KOK with which weather and brightness data are included for the evaluation of the image material.
  • this component it is e.g. it is possible to limit the evaluation of video images to the first 50 meters in front of the rail vehicle in heavy fog and to throttle the speed of the rail vehicle accordingly.
  • a focal length change component BVK that selects the correct shooting angle depending on the environment (e.g., railway station, city area, land, etc.) and the speed so as to optimally support the evaluation of the image.
  • the environment e.g., railway station, city area, land, etc.
  • by merging image data and route data particularly interesting areas along the railway track SST can be focused in the rail network SNE, such as e.g. a railroad crossing.
  • An illumination component BLK which is embodied, for example, as a headlight which operates inside or outside the human visible region, and through which the quality of the image material recorded by the image recording device or the image acquisition device BAZG at night or in bad weather improves ,
  • the images thus captured are stored by the image recording device BAZG in an image storage device BSPE.
  • This image storage device BSPE is either connected according to option "A” as a component of the obstacle recognition device HEV with the image recording device BAZG or according to option "B" outside the obstacle recognition device HEV, eg as a storage database, in the power plant. gene or in a data cloud associated with the image recording device BAZG or connectable to this.
  • the image recording device BAZG is connected to a calculation / evaluation BAWE, which is also a component of the obstacle detection device HEV.
  • the calculation / evaluation device BAWE such as the image recording device BAZG, either according to the option "A" connected to the image storage device BSPE or assigned according to option "B" of the image storage device BSPE or connectable to this.
  • a function subunit from the calculation / evaluation device BAWE, the image recording device BAZG and the image storage device BSPE, in which the components of the obstacle recognition device HEV cooperate in a partially functional manner for a calculation / evaluation-supported obstacle recognition, is created.
  • an information database IDB can be integrated, for example, with the image storage device BSPE as a structural unit in a common storage device.
  • This storage device which is not explicitly shown in FIG. 2, can in turn, like the image storage device BSPE, either be connected according to option "A" as component of the obstacle recognition device HEV with the image recording device BAZG and the calculation / evaluation device BAWE or according to option "B" outside the obstacle detection device HEV in the railcar or in a data cloud the image recorder BAZG and the 5
  • information database IDB in addition to image meta information BMI, which in the literal sense include feature and property data of the route range FSB detected in the images BI FSB , additional information ZI, such as route maps or map material, etc., stored.
  • the information database IDB is assigned to the obstacle recognition device HEV in the manner or can be connected to it as the calculation / evaluation device BAWE for the calculation / evaluation-based obstacle recognition on the image meta information stored in the information database IDB BMI and additional information ZI accesses.
  • the information database IDB is for this purpose preferably outside the obstacle detection device HEV, e.g. as a database, in which railcar is arranged or is designed as a data cloud.
  • the calculation / evaluation device BAWE preferably has a non-volatile, readable memory SP in which process-readable control program instructions of a program that detect the obstacle detection are stored PGM, and a processor PZ which stores the control program instructions of the Program module executes PGM for calculation / evaluation-based obstacle detection, on.
  • the processor PZ additionally accesses - in addition to the accesses to the image meta information BMI and the additional information ZI in the information database IDB - for control purposes and for the readout of Data to the image recorder BAZG and the image storage device BSPE.
  • the calculation / evaluation device BAWE or the program module PGM with the control program instructions of the program module PGM for calculation / evaluation-based obstacle detection exporting processor PZ are now configured with respect to the calculation / evaluation-based obstacle detection such that in the images BI FSB respectively the image area BIB is marked, that of the rail vehicle
  • SFZ used track GL wherein the image-positioned by the mark rail GL of the rail vehicle SFZ detected by an image analysis and adjusted either with the stored known image metadata BMI or with the stored known image metadata MMI and the additional information ZI.
  • the image analysis and thus the marking is preferably carried out with the aid of edge detection algorithms, starting from the track GL detected in the route area FSB in the image area BIB, the course of the track GL used by the rail vehicle SFZ by an image portion changing in the acquired image of the track GL is detected to the total image.
  • the image analysis and hence the marking are preferably performed on the basis of the knowledge of the track GL in use, because the course of the track GL used is relative is known to a geographic location.
  • marked image area BIB which represents the used track GL and the area that is critical for rail traffic SVK, detected by an object recognition method, whether an object OBJ, such as a person, an animal, a fallen tree, etc., is on the track GL, wherein an obstacle in the image area BIB, such as when it is in the image area section BIB AS and / or if it is a potential obstacle, is marked when the object OBJ is recognized by the object recognition method.
  • a pattern matching is performed based on a positive comparison and / or a negative comparison in which, in the case of the positive comparison, it is checked whether object-specific patterns are included in the image area section BIB AS and checked in the case of the negative comparison whether in the image area section BIB AS an expected pattern, for example, the solid, used by the rail vehicle SFZ track GL or a regularity, which is formed by lane carrier of the lane FS or track carrier between the parallel tracks GL included.
  • this check ends with a "NO"
  • the determined irregularity is compared in terms of its expectation with path pictures used as reference information and previously recorded in route initialization runs, and if the irregularity was not expected, this is checked Obstacle in the image area BIB, for example, in the image area section BIB A s and / or as a potential obstacle is marked.
  • the obstacle markings made for all the images BI FSB in the image area BIB and the image area detail BIB A s, respectively, are preferably combined with the aid of image processing methods such as Hidden Markov Models with regard to image processing combining the different image sources.
  • image processing methods such as Hidden Markov Models with regard to image processing combining the different image sources.
  • a land-side evaluation station AWS is provided, which is connected via mobile radio to the image storage device and from this receives the images stored there for a modified evaluation. These images can then be evaluated by a human expert and this information can then be fed back into the image storage device BSPE.
  • the image material of rail vehicles of a fleet or several fleets can be compared and distributed via the onshore evaluation station AWS.
  • the obstacle recognition device HEV as described above, an automated (autonomous) or assisted driving of the railway vehicle BFZ or of the rail vehicle can be achieved. It is possible to assist or even realize SFZ without additional infrastructure along a route. This is especially true if the obstacle recognition device HEV is realized as a virtual machine, which is designed and functions in the sense of a "software-defined signal recognition of rail traffic system".

Abstract

The invention relates to the automatic recognition of obstacles in track-bound traffic (BVE), when track-bound vehicles (BFZ) travel on lines (BST) in a track-bound vehicle network (BNE), or obstacles in rail traffic (SVE), when rail vehicles (SFZ) travel on rail tracks (SST) in a rail network (SNE). For this purpose, a plurality of images (BIFSB) of a route region (FSB) ahead of a track-bound vehicle (BFZ, SFZ) is used, an image region (BIB) is marked in each image and shows a track (FS, GL) used by the track-bound vehicle (BFZ, SFZ), and the track visually localized by the marking is identified by image analysis and is compared with stored known image meta information (BMI) or with stored known image meta information (BMI) and additional information (ZI). The system is capable of recognizing, by way of an object recognition method, in an image region sub-region (BIBAS) of the marked image region whether an object (OBJ), such as a person, an animal, a fallen tree etc., is present on the track (FS, GL), an obstacle being marked in the image region (BIB), preferably in the image sub-region (BIBAS), when the object (OBJ) is recognized by the object recognition method.

Description

Beschreibung description
Verfahren, Vorrichtung und Bahnfahrzeug, insbesondere Schienenfahrzeug, zur Hinderniserkennung im Bahnverkehr, insbeson- dere im Schienenverkehr Method, device and railway vehicle, in particular rail vehicle, for obstacle detection in rail traffic, in particular in rail transport
Die Erfindung bezieht sich auf ein Verfahren zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 1, eine Vorrichtung zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 10 und ein Bahnfahrzeug zur Hinderniserkennung im Bahnverkehr, insbesondere ein Schienenfahrzeug zur Hinderniserkennung im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 24. The invention relates to a method for obstacle detection in rail traffic, especially in rail traffic, according to the preamble of claim 1, an apparatus for obstacle detection in rail traffic, especially in rail traffic, according to the preamble of claim 10 and a railway vehicle for obstacle detection in rail traffic, in particular a Rail vehicle for obstacle detection in rail traffic, according to the preamble of claim 24.
Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrsinfrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen) , schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmittel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwa- gen) oder von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet . Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, eine Vorrichtung und ein Bahnfahrzeug, insbesondere ein Schienenfahrzeug, zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr anzugeben, mit dem bzw. der Hindernisse im Bahnverkehr, wenn Bahnfahrzeuge auf Bahn- strecken im Bahnnetz unterwegs sind, respektive Hindernisse im Schienenverkehr, wenn Schienenfahrzeuge auf Schienenstrecken im Schienennetz unterwegs sind, automatisch erkannt werden . Das automatische Erkennen von Hindernissen im Bahnverkehr, insbesondere im Schienenverkehr, was Gegenstand der vorliegenden Internationalen Patentanmeldung (Anmeldung-Nr . PCT/...; Veröffentlichungs-Nr . WO ...) und der dazu prioritätsbegründenden DE-Patentanmeldung (Anmeldung-Nr . 102016224344.6) ist, ist im Hinblick auf ein zukünftiges automatisiertes (autonomes) oder unterstütztes Fahren von Bahnfahrzeugen im Bahnverkehr respektive Schienenfahrzeugen im Schienenverkehr ein un- abdingbares MUSS. Rail vehicles are part of a modern transport infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move. Of the rail-based means of transport and transport mentioned are rail vehicles, which are based on a wheel-rail system, either a own traction drive (railcar) or pulled by a locomotive and are predominantly steel wheels with a flange on two steel rails railways are the most widespread. The problem underlying the invention is to specify a method, a device and a rail vehicle, in particular a rail vehicle, for obstacle detection in rail traffic, in particular in rail traffic, with the obstacle or obstacles in rail traffic when rail vehicles are traveling on railway lines in the railway network , respectively obstacles in rail traffic, when rail vehicles are traveling on rail tracks in the rail network, are automatically detected. The automatic detection of obstacles in rail traffic, in particular in rail traffic, which is the subject of the present International Patent Application (Application No. PCT / ..., Publication No. WO ...) and the DE patent application (Application no. 102016224344.6) is an indispensable MUST with regard to future automated (autonomous) or assisted driving of rail vehicles in railway traffic or rail vehicles in rail traffic.
So ist es für das automatisierte oder unterstützte Fahren von Bahn-/Schienenfahrzeugen notwendig, sich bewegende oder stationäre Objekte und Personen im Fahrspur-/Gleisbereich zu er- kennen. Gleichzeitig ist es notwendig, zulässige Objekte und Personen (z.B. Prellbock auf der Fahrspur/dem Gleis, Wartungsarbeiter neben der Fahrspur/dem Gleis) von unzulässigen Objekten und Personen (z.B. entwurzelter Baum oder spielende Kinder) zu unterscheiden. Thus, for the automated or assisted driving of railway / rail vehicles, it is necessary to detect moving or stationary objects and persons in the lane / track area. At the same time, it is necessary to distinguish permissible objects and persons (e.g., lane-on-track buffering licker-in, track maintenance staff, lane / track) from inadmissible objects and persons (e.g., uprooted tree or playing children).
Das Problem des automatisierten oder unterstützen Fahrens wurde bisher durch aufwändige Zusatzinvestitionen in die Streckeninfrastruktur wie Induktionsschleifen, Rechner entlang der Strecke und Kommunikationsanlagen zwischen Zug und Streckenkomponenten realisiert. Weiterhin werden spezielleThe problem of automated or assisted driving has so far been realized through costly additional investments in the route infrastructure such as induction loops, computers along the route and communication systems between train and track components. Furthermore, special
Schutzzäune für die Vermeidung des Zugangs zum Gleis verwendet (z.B. bekannt von Flughäfen) . Protective fences used to prevent access to the track (e.g., known from airports).
Es ist aber nicht nur der Aspekt der Automatischen Hindernis- erkennung der für das zukünftige automatisierte (autonome) oder unterstützte Fahren von Bedeutung ist, sondern auch die nachfolgenden technischen Aspekte, die allesamt mehr oder weniger in einem technischen Kontext mit der vorliegenden Patentanmeldung stehen und deshalb aufgeführt und deren Inhalte vor diesem Hintergrund zu berücksichtigen und ggf. sogar zu inkludieren sind. However, not only is the aspect of automatic obstacle detection of importance for future automated (autonomous) or assisted driving, but also the following technical aspects, all more or less in a technical context with the present patent application, and therefore listed and whose contents have to be taken into consideration against this background and possibly even included.
Es handelt sich um die Aspekte: 1) Das automatische Erkennen von Signalen im Bahn-These are the aspects: 1) The automatic detection of signals in the railway
/ Schienenverkehr gemäß der Internationalen Patentanmeldung (Anmeldung-Nr . PCT/EP2016/057804 ; Veröf fentlichungs-Nr . WO 2017/174155 AI) und der darin offenbarten technischen Lehre. / Rail traffic according to International Patent Application (Application No. PCT / EP2016 / 057804; Publication No. WO 2017/174155 Al) and the technical teaching disclosed therein.
2) Das automatische Erkennen von Gefahrensituationen im Bahn- / Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr . 102016224358.6) und der Internationalen Patentanmeldung (An- meldung-Nr. PCT/...; Veröf fentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 2) The automatic recognition of hazardous situations in railway / rail traffic according to the DE patent application (application No. 102016224358.6) and the international patent application (application No. PCT / ...; Publication No. WO ... ) and the technical teaching disclosed therein.
3) Das automatische Erkennen von Fahrspuren/Gleisen im Bahn- / Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr . 102016224335.7) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröf fentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 3) The automatic recognition of lanes / tracks in railway / rail traffic according to the DE patent application (application No. 102016224335.7) and the international patent application (application No. PCT / ...; Publication No. WO ... ) and the technical teaching disclosed therein.
4) Das alternative Bestimmen von Positionen im Schienenver- kehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, gemäß der DE- Patentanmeldung (Anmeldung-Nr . 102016224355.1) und der Internationalen Patentanmeldung (Anmeldung-Nr . PCT/...; Veröf fentlichungs-Nr. WO ...) und der darin jeweils offenbarten techni- sehen Lehre. 4) The alternative determination of positions in rail traffic, when a conventional satellite-based position determination fails or is inadequate, according to DE Patent Application (Application No. 102016224355.1) and International Patent Application (Application No. PCT / ...; Publication No. WO ...) and the technical teaching disclosed therein.
5) Das Durchführen einer fahrspur-/gleisbasierten Bildanalyse im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224331.4) und der Internationalen Patentanmel- dung (Anmeldung-Nr . PCT/...; Veröf fentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 5) Carrying out a lane / track-based image analysis in railway / rail traffic according to German Patent Application (Application No. 102016224331.4) and International Patent Application (Application No. PCT / ...; Publication No. WO ...) and the technical teaching disclosed therein.
Die vorstehend genannte kontextbezogene Aufgabe wird ausgehend von dem im Oberbegriff des Patentanspruchs 1 definierten Hinderniserkennungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst. Darüber hinaus wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von der im Oberbegriff des Patentanspruchs 8 definierten Hinderniserkennungsvorrichtung durch die im Kennzeichen des Patentanspruches 8 angegebenen Merkmale ge- löst. The aforementioned contextual object is achieved on the basis of the obstacle detection method defined in the preamble of claim 1 by the features specified in the characterizing part of claim 1. Moreover, the aforementioned contextual object is achieved on the basis of the obstacle recognition device defined in the preamble of patent claim 8 by the features specified in the characterizing part of claim 8.
Weiterhin wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 20 definierten Bahnfahrzeug, insbesondere Schienenfahrzeug, durch die im Kennzeichen des Patentanspruches 20 angegebenen Merkmale gelöst. Furthermore, the above-mentioned contextual object is achieved on the basis of the defined in the preamble of claim 20 rail vehicle, in particular rail vehicle, by the features specified in the characterizing part of claim 20.
Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 8 und 20 zugrundeliegende Idee besteht darin, auf Basis von mehre- ren Bildern eines einem Bahnfahrzeug vorgelagerten Fahrstreckenbereichs in einem in den Bildern jeweils markierten The idea on which the invention according to the independent claims 1, 8 and 20 is based, on the basis of a plurality of images of a route section upstream of a railway vehicle, in a respective marked in the images
Bildbereich, der im Wesentlichen eine von dem Bahnfahrzeug genutzte Fahrspur zeigt, durch Bildanalyse die durch die Markierung bildlich positionierte Fahrspur zu erkennen und mit gespeicherten bekannten Bild-Metainformationen oder mit gespeicherten bekannten Bild-Metainformationen und Zusatzinformationen abzugleichen und in einem Bildbereichsausschnitt des markierten Bildbereichs durch eine Objekterkennungsmethode zu erkennen, ob sich ein Objekt, wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf der Fahrspur befindet, wobei ein Hindernis in dem Bildbereich, vorzugsweise in dem Bildbereichsausschnitt markiert wird, wenn das Objekt durch die Objekterkennungsmethode erkannt wird. Die Bild- Metainformationen beinhalten dabei dem Wortsinn nach Merk- mals- und Eigenschaftsdaten der von dem Fahrstreckenbereich erfassten Bilder. Image area, which essentially shows a lane used by the railway vehicle, to recognize by image analysis the lane figuratively positioned by the marker and to compare it with stored known image meta information or with stored known image meta information and additional information and in an image area excerpt of the marked image area Object recognition method to detect whether an object, such as a person, an animal, a fallen tree, etc., is located on the lane, wherein an obstacle is marked in the image area, preferably in the image area excerpt, when the object is recognized by the object recognition method. In the literal sense, the image meta information includes feature and property data of the images captured by the route area.
Das Grundprinzip der Erfindung ist es dabei, Metadaten über die Strecke, z.B. den Streckenverlauf, in Kombination mit Sensorik im Bahnfahrzeug sowie Berechnungs- und Auswertealgorithmen zu benutzen, um die Erkennung von Objekten und Personen zu verbessern und die Unterscheidung von zulässigen und unzulässigen Objekten und Personen zu ermöglichen. Ziel dabei ist es, einen Beitrag zum vollautomatisierten Fahren ohne zusätzliche Investitionen in die Streckeninfrastruktur zu ermöglichen. The basic principle of the invention is to use metadata about the route, eg the route, in combination with sensors in the railway vehicle as well as calculation and evaluation algorithms to improve the recognition of objects and people and the distinction between permissible and impermissible objects and persons to enable. The aim is to make a contribution to fully automated driving possible without additional investments in the route infrastructure.
Für das Erkennen von Objekten oder Personen auf der Fahrspur/dem Gleis oder in einem kritischen Bereich neben der Fahrspur/dem Gleis werden Mustererkennungsalgorithmen oder Mustervergleichsalgorithmen (sogenannte Pattern-Matching- Algorithmen) pauschal für den Fahrstreckenbereich, der Bereich "vor dem Fahrzeug" (in Fahrtrichtung), verwendet. For recognizing objects or people on the lane / track or in a critical area adjacent to the lane / track, pattern recognition algorithms or pattern matching algorithms are generalized for the route area, the area "in front of the vehicle" (in FIG Direction of travel).
1. Für die Erkennung von Objekten oder Personen auf dem Gleis in großer Entfernung arbeiten diese Algorithmen ineffizient, weil nur ein kleiner Teil des Bildes relevant ist. 1. For the recognition of objects or persons on the track at a great distance, these algorithms work inefficiently because only a small part of the image is relevant.
2. Diese Algorithmen sind nicht in der Lage, zulässige Objekte und Personen von unzulässigen Objekten und Personen zu unterscheiden . 2. These algorithms are unable to distinguish permissible objects and persons from inadmissible objects and persons.
Im Automotive-Umfeld mit dem Fokus auf Straßen ist es gemäß der US 6,405,128 Bl bekannt, einen sogenannten "elektronischen Horizont" auszuwerten. Die automatisierte Erkennung von Objekten und Fahrspuren/Gleisen sowie die Unterscheidung zwischen zulässigen und unzulässigen Objekten/ Personen lässt sich in vorteilhafter Weise zumindest teilweise durch folgende Schritten erreichen: A . In einem ersten Schritt werden mehrere Bildaufzeichnungsgeräte (z.B. Sensoren) unterschiedlicher Art (z.B. Videokamera, Lasersensoren, Infrarotkamera, Wärmebildkamera, Radar- Einrichtungen, andere Bildakquisitionsgeräte , etc.) im Bahnfahrzeug verwendet, um Bilder oder andere Informationen von der Bahn- /Schienenstrecke vor dem Bahn- /Schienenfahrzeug zu erzeugen . So kann beispielsweise ein Radar für die Erkennung von metallischen Objekten, auch bei schlechtem Wetter, kombiniert werden mit Videokameras und Bildakquisitionsgeräten wie Wärmebildkameras zur Erkennung von Personen. In the automotive environment with a focus on roads, it is known from US 6,405,128 Bl to evaluate a so-called "electronic horizon". The automated recognition of objects and lanes / tracks as well as the distinction between permissible and impermissible objects / persons can advantageously be achieved at least partially by the following steps: A. In a first step, several image recording devices (eg sensors) of different types (eg video camera, laser sensors, infrared camera, thermal imaging camera, radar devices, other image acquisition devices, etc.) are used in the railway vehicle to display images or other information from the railway / rail line in front of the railway Train / rail vehicle to produce. For example, a radar for detecting metallic objects, even in bad weather, can be combined with video cameras and image acquisition devices such as thermal imaging cameras to detect people.
B . In einem zweiten Schritt wird in dem jeweiligen Bild das aktuell befahrene Gleis durch Bildanalyse unter Zuhilfenahme von externen Metaformationen markiert. Variante 1 : B. In a second step, the current track in the respective image is marked by image analysis with the aid of external metaformations. Version 1 :
In einem Videobild oder videoartigem Bild kann das über Kantenerkennungsalgorithmen ausgehend von den Schienen direkt vor dem Fahrzeug erfolgen. Durch die Verwendung von Zusatzinformationen, wie Schienenplänen, Kartenmaterial o.ä., kann diese Erkennung robuster durchgeführt werden. In diesem Zusammenhang wird auf das Durchführen einer fahrspur- /gleisbasierten Bildanalyse im Bahn- /Schienenverkehr gemäß der DE- Patentanmeldung (Anmeldung-Nr . 102016224331.4) und der Internationalen Patentanmeldung (Anmeldung-Nr . PCT/...; Veröffentli- chungs-Nr. WO ...) und der darin jeweils offenbarten technischen Lehre verwiesen.  In a video image or video-like image, this can be done via edge detection algorithms from the rails directly in front of the vehicle. By using additional information such as rail plans, maps or similar, this detection can be performed more robustly. In this connection, the carrying out of lane / track-based image analysis in railway / rail traffic according to German Patent Application (Application No. 102016224331.4) and International Patent Application (Application No. PCT / ...; Publication no WO ...) and the technical teaching disclosed therein.
Variante 2 : Variant 2 :
In einem Radar-basierten Bild kann das ungefähr auf Basis der Kenntnis der befahrenen Strecke erfolgen (der Fahrspur- In a radar-based image, this can be done approximately on the basis of the knowledge of the route traveled (the lane
/Gleisverlauf relativ zu einer geographischen Position ist bekannt) . / Track history relative to a geographic location is known).
C . In einem dritten Schritt wird fokussiert auf die befahrene Fahrspur/das befahrene Gleis pro eingesetztes Bildaufzeichnungsgerät (z.B. ein Bildakquisitionsgerät ) durch Objekterkennungsmethoden erkannt, ob sich ein Objekt oder eine Person auf der Fahrspur/dem Gleis befindet. Das bedeutet, dass nur der Bildausschnitt mit der befahrenen Fahrspur/dem befahrenen Gleis und der kritische Bereich links und rechts davon betrachtet werden. Dabei werden je nach Bildakquisitionsgerät eines oder beide der nachstehenden Pattern-Matching-Verfahren eingesetzt . Auch hier wird durch die Integration von externen Informationen oder den Zusatzinformationen die Erkennungsgüte erhöht. Cl . Positiv-Matching C. In a third step, focused on the traffic lane / track used per imaging device used (eg, an image acquisition device), it is detected by object recognition methods whether an object or a person is on the lane / track. This means that only the image section with the traffic lane / track and the critical area to the left and right of it are considered. Depending on the image acquisition device, one or both of the following pattern matching methods are used. Again, the recognition quality is increased by the integration of external information or additional information. Cl. Positive matching
Es wird geprüft, ob sich in dem relevanten Bildausschnitt Pattern, die zu Personen oder Objekten wie umgestürzten Bäumen oder vorausfahrenden Bahnfahrzeugen, z.B. Schienenfahrzeugen, Zügen, befinden. Falls ja, wird ein Hindernis oder ein potentielles Hindernis markiert.  It is checked whether patterns in the relevant image section which are related to persons or objects such as fallen trees or vehicles in front, e.g. Rail vehicles, trains, are located. If so, an obstacle or potential obstacle is marked.
C2. Negativ-Matching C2. Negative Matching
Es wird geprüft, ob ein erwartetes Pattern erkannt wird, wie z.B. durch ein durchgezogenes Gleis oder durch regelmäßige Schienenträger im Bild bzw. den Bildern. Falls das nicht der Fall ist, so wird über eine Bilddatenbank geprüft, ob die Unregelmäßigkeit erwartet wurde (diese Information kann z.B. bei Initialisierungsfahrten mit einem Triebwagenführer vorgenommen werden) . Falls die Unregelmäßigkeit nicht erwartet wurde, wird ein potentielles Hindernis markiert.  It is checked if an expected pattern is recognized, e.g. through a solid track or through regular rail supports in the picture or the pictures. If this is not the case, it is checked via an image database whether the irregularity was expected (this information can be made, for example, during initialization trips with a railcar driver). If the irregularity was not expected, a potential obstacle is marked.
D. In deinem vierten Schritt wird das Ergebnis der Hindernismarkierung aus den unterschiedlichen Bildakquisitionsgeräten zusammengeführt. Auch hier werden, beispielweise durch die Verwendung von probabilistischen Bildverarbeitungsmethoden, wie Hidden-Markov-Modellen, die unterschiedlichen Informationsquellen kombiniert, um eine fehlerhafte Erkennung zu minimieren und "false negatives", d.h. die fehlerhafte Annahme, dass sich kein Objekt im Fahrspur-/Gleisbereich befindet, ob- wohl es real vorhanden ist, auszuschließen. D. In your fourth step, the result of the obstacle marking is merged from the different image acquisition devices. Again, for example, through the use of probabilistic image processing techniques, such as Hidden Markov models, the different sources of information are combined to minimize misrecognition and "false negatives", i. E. the erroneous assumption that there is no object in the lane / track area, although it is actually present, to exclude.
Durch die vorstehend skizzierte Analyse von Bildern von der Strecke vor dem Bahnfahrzeug kann erreicht werden, dass: By the above-outlined analysis of images of the track in front of the railway vehicle can be achieved that:
- Objekte und Personen im relevanten Fahrspur- /Gleisbereich effizienter erkannt werden als bisher.  - Objects and people in the relevant lane / track area are detected more efficiently than before.
- Zulässige Objekte und Personen im Bereich vor dem Bahnfahrzeug/Schienenfahrzeug (aber eben außerhalb der befahrenen Fahrspur bzw. des befahrenen Gleises und eines kritischen Be- reiches links und rechts davon) von unzulässigen Objekten und Personen auf der befahrenen Fahrspur respektive im befahrenen Gleis oder im kritischen Bereich links und rechts unterschieden werden können . - Permissible objects and persons in the area in front of the railway vehicle / rail vehicle (but just outside the traffic lane or the track being used and a critical rich left and right of it) of impermissible objects and persons on the traffic lane respectively in the busy track or in the critical area left and right can be distinguished.
- Objekte und Personen bei ungünstigen Sichtbedingungen zuverlässiger erkannt werden kann als durch Triebfahrzeugführer . - Objects and persons can be detected more reliably in unfavorable visibility conditions than by train drivers.
- Triebfahrzeugführer nicht mehr für das Erkennen von Hindernissen benötigt werden, so dass unabhängig von deren Verfüg- barkeit die befahrene Fahrspur/das befahrene Gleis erkannt werden kann .  - Train drivers are no longer needed for the detection of obstacles, so that regardless of their availability, the busy lane / the busy track can be detected.
Im Zuge einer vorteilhaften Weiterbildung der Erfindung können in Bezug auf die Hinderniserkennungsvorrichtung nach An- spruch 8 noch folgende zusätzlichen Komponenten - a) bis c) für das Bildaufzeichnungsgerät (z.B. das Bildakquisitionsge- rät) - verwendet werden: a. Eine Korrekturkomponente gemäß Anspruch 15, die Wetter- und Helligkeitsdaten für die Auswertung des Bildmaterials mit einbezieht. Damit kann beispielsweise bei starkem Nebel, die Auswertung von Videobildern auf die ersten 50 Meter vor dem Bahnfahrzeug bzw. Schienenfahrzeug begrenzt werden und die Geschwindigkeit des Fahrzeuges entsprechend gedrosselt wer- den . b. Eine Brennweiteveränderungskomponente gemäß Anspruch 16, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Auf- nahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Zum Beispiel können dann sowohl AufnähmeSituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbe- reich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zusätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche fokussiert werden, wie z.B. ein Bahnübergang. c . Eine Beleuchtungskomponente gemäß Anspruch 17, beispielsweise ein Scheinwerfer der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, durch welche sich die Qua- lität des von dem Bildaufzeichnungsgerät bzw. Bildakquisiti- onsgerät bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert. d . Eine landseitige Auswertestation, die über Mobilfunk ange- bunden ist, und Bilder aus einer Bildspeichereinrichtung entgegennimmt, für die eine Auswertung nur mit hohem Unsicher- heitsfaktor möglich ist. Diese Bilder können dann von einem menschlichen Experten ausgewertet werden und diese Information kann dann wiederum in die Bildspeichereinrichtung, die ei- ner Hinderniserkennungsvorrichtung in dem Bahn-In the course of an advantageous development of the invention, the following additional components - a) to c) for the image recording device (eg the image acquisition device) - may be used in relation to the obstacle recognition device according to claim 8: a. A correction component according to claim 15, which includes weather and brightness data for the evaluation of the image material. Thus, for example, in heavy fog, the evaluation of video images can be limited to the first 50 meters in front of the rail vehicle or rail vehicle and the speed of the vehicle can be throttled accordingly. b. A focal length variation component according to claim 16, which selects the correct recording angle depending on the environment (eg, train station, city area, land, etc.) and the speed so as to optimally support the evaluation of the image. For example, both recording situations on the open road (requiring images from a great distance in order to be able to react quickly due to the speed) as well as recording situations in the station area (requiring images with a high latitude) can be suitably operated. In addition, by merging image data and route data, particularly interesting areas can be focused, such as a railroad crossing. c. A lighting component according to claim 17, for example a headlight operating inside or outside the human visible area, which improves the quality of the image material taken by the image recording device or image acquisition device at night or in bad weather. d. A land-side evaluation station, which is connected via mobile radio, and receives images from an image storage device for which an evaluation is only possible with a high uncertainty factor. These images can then be evaluated by a human expert and this information can then in turn be stored in the image storage device, which is an obstacle detection device in the web.
/Schienenfahrzeug (Option "A" ) angeordnet oder außerhalb der Hinderniserkennungsvorrichtung, z.B. als Speicherdatenbank in dem Bahn-/Schienenfahrzeug oder z.B. als Daten-Cloud, dieser zugeordnet sein kann, zurückgespeist werden. / Rail vehicle (option "A") or outside the obstacle detection device, e.g. as a storage database in the rail / rail vehicle or e.g. as a data cloud, this can be assigned to be fed back.
1. Bei hinreichender Kommunikationsbandbreite und Verfügbarkeit menschlicher Experten kann dies sogar in Echtzeit erfolgen derart, dass das Ergebnis der Auswertung zur Steuerung des Bahn-/Schienenfahrzeugs verwendet werden kann. 1. With sufficient communication bandwidth and availability of human experts, this can even be done in real time so that the result of the evaluation can be used to control the rail / rail vehicle.
2. Über die landseitige Auswertestation kann darüber hinaus das Bildmaterial von Schienenfahrzeugen einer Flotte oder mehrere Flotten abgeglichen und verteilt werden. e . Ein mobiles Gerät eines Zugführers oder vergleichbaren2. In addition, the image material of rail vehicles of a fleet or several fleets can be matched and distributed via the land-based evaluation station. e. A mobile device of a train driver or equivalent
Bahnbediensteten, der zwecks Passagierabfertigung ohnehin auf dem Schienenfahrzeug mitfährt und ähnlich wie unter d) Bilder mit einem hohen Unsicherheitsfaktor bewertet. Darüber hinaus ist es möglich, dass eine Hinderniserkennungsvorrichtung als eine virtuelle Maschine im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausgebildet ist und funktioniert. Weitere Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUREN 1 und 2. Diese zeigen: Railway staff, who for the purpose of passenger handling anyway on the rail vehicle mitfährt and similarly as under d) rated images with a high uncertainty factor. Moreover, it is possible for an obstacle detection device to be designed and functioning as a virtual machine in the sense of a software-defined signal recognition of rail traffic system. Further advantages of the invention will become apparent from the following description of an embodiment of the invention with reference to FIGS 1 and 2. These show:
FIGUR 1 eine bahnfahrzeugbasierte Erkennung eines Hindernisses in Gestalt eines auf einer Bahnstrecke umgestürzten Baumes , FIGUR 2 einen prinzipiellen Aufbau einer Hinderniserkennungs- vorrichtung für die gemäß der FIGUR 1 bahnfahrzeugbasierte Hinderniserkennung in Gestalt des auf der Bahnstrecke umgestürzten Baumes. FIGUR 1 zeigt eine bahnfahrzeugbasierte Erkennung eines Hindernisses im Bahnverkehr BVK, wenn auf einer abschnittsweise dargestellten Bahnstrecke BST eines Bahnnetzes BNE ein Bahnfahrzeug BFZ sich auf einer Fahrspur FS der Bahnstrecke BST einem als Hindernis auf der Fahrspur FS befindlichen Objekt OBJ, im dargestellten Fall einem auf die Fahrspur FS umgestürzten Baum, nähert. FIG. 1 shows a railway-vehicle-based detection of an obstacle in the form of a tree overturned on a railroad, FIG. 2 shows a basic structure of an obstacle detection device for the obstacle detection based on the railway vehicle in the form of the tree overturned on the railway line. FIG. 1 shows a railway-vehicle-based detection of an obstacle in rail traffic BVK when a rail vehicle BFZ is located on a lane FS of the railway line BST on a section of track BST of a railway network BNE located as an obstacle on the lane FS object OBJ, in the illustrated case one on the Lane FS overturned tree, approaching.
Gemäß dem vorliegenden Ausführungsbeispiel ist die fahrspurbezogene Bahnstrecke BST des Bahnnetzes BNE eine Schienen- strecke SST eines Schienennetzes SNE, auf dem im Schienenverkehr SVK zur schienenfahrzeugbasierte Hinderniserkennung ein Schienenfahrzeug SFZ auf einem Gleis GL unterwegs ist und sich dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem auf das Gleis GL umge- stürzten Baum, nähert. An die Stelle des dargestellten According to the present exemplary embodiment, the lane-related railway BST of the rail network BNE is a railway track SST of a rail network SNE on which a rail vehicle SFZ is traveling on a track GL in rail traffic SVK for rail vehicle-based obstacle detection and is the object OBJ which is located on the track GL , in the case shown approaches the tree overturned on track GL. In place of the illustrated
Schienenverkehrs SVK mit dem auf der Schienenstrecke SST des Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der eingangs geführten Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte BahnverkehrsSystem als weiteres Ausführungsbeispiel der Erfindung denk- und vorstellbar. So käme ebenso z.B. ein Magnetschwebebahn-Verkehrssystem (Stw. : Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage . Rail transport SVK with the on the railway line SST of the rail network SNE moving rail vehicle SFZ is also here again due to the discussion at the outset any other arbitrary short- or long-haul rail transport system as a further embodiment of the invention conceivable and conceivable. For example, a magnetic levitation traffic system (Stw.: Transrapid, Maglev, etc.) would also have a correspondingly comparable infrastructure. consisting of railway network, railway line and railway vehicle, in question.
In dem in der FIGUR 1 dargestellten Schienenverkehrssystem ist in einem Triebwagen TRW des Schienenfahrzeugs SFZ mit einem Triebführerstand TFS und einer integrierter Anzeigeeinrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die schienenfahrzeugbasierte Erkennung eines Hindernisses eine Hinderniserkennungsvorrich- tung HEV untergebracht. Die HinderniserkennungsvorrichtungIn the rail transport system shown in FIG. 1, an obstacle recognition device HEV is accommodated in a railcar TRW of the rail vehicle SFZ with a driver's cab TFS and an integrated display device AZE in which the workstation of the vehicle driver FZF is located for the rail vehicle-based detection of an obstacle. The obstacle detection device
HEV beinhaltet hierfür ein vorzugsweise als Sensor ausgebildetes Bildaufzeichnungsgerät BAZG, das z.B. als gewöhnliche Videokamera, Lasersensor, Wärmebildkamera, Radar- Einrichtung, Infrarotkamera etc., ausgebildet ist und wegen Akquirierung von Bildern auch als Bildakquisitionsgerät bezeichnet wird. HEV for this purpose includes a preferably designed as a sensor image recording device BAZG, the e.g. is designed as an ordinary video camera, laser sensor, thermal imaging camera, radar device, infrared camera, etc., and is also referred to as an image acquisition device for acquiring images.
Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestelltenWith the image recording device BAZG, when the rail vehicle SFZ traveling on the track GL is located in the object OBJ, which is located as an obstacle on the track GL, in FIG
Fall dem umgestürzten Baum, nähert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspektive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Fall the fallen tree, approaching from the rail vehicle SFZ, e.g. from the perspective of the railcar driver FZF in the driver's seat TFS of the railcar TRW and / or from a fixed, lane-based position in or on the vehicle SFZ, of a rail vehicle SFZ upstream, preferably at the speed of
Schienenfahrzeugs SFZ orientierenden, Fahrstreckenbereich FSB eine Vielzahl von den Fahrstreckenbereich FSB repräsentierenden Bildern BI FSB erfassbar. Railway SFZ-oriented, route range FSB a plurality of the route range FSB representing pictures BI FSB detectable.
In den Bildern BI FSB des Fahrstreckenbereichs FSB ist ein Bildbereich BIB mit einem Bildbereichsausschnitt BIBAS enthalten, der das benutzte Gleis GL sowie einen für den Schienenverkehr SVK kritischen Bereich repräsentiert, durch den ein für den Schienenverkehr SVK kritischer Umkreis im wesentlichen links und rechts des Gleises GL in dem durch den Bildbereich BIB der Bilder BI FSB des Fahrstreckenbereichs FSB gezeigten Teil des Fahrstreckenbereich FSB angegeben wird. D.h. der Fahrstreckenbereich FSB umfasst auch den für den Schienenverkehr SVK kritischen Bereich. The images BI FSB of the route area FSB contain an image area BIB with an image area excerpt BIB AS , which represents the used track GL and an area critical for rail traffic SVK, through which a critical radius for rail traffic SVK lies substantially to the left and right of the track GL is indicated in the part of the travel route area FSB shown by the image area BIB of the images BI FSB of the travel route area FSB. That is, the route area FSB also includes the area critical for rail traffic SVK.
Wie jetzt aufgrund der Bilder BI FSB des Fahrstreckenbereichs FSB mit dem darin enthaltenen Bildbereich BIB und dem Bildbereichsausschnitt BIBAS die Hinderniserkennung durchgeführt wird, wird nachfolgend mit der Beschreibung von FIGUR 2 erläutert . FIGUR 2 zeigt den prinzipiellen Aufbau der Hinderniserkennungsvorrichtung HEV für die gemäß der FIGUR 1 schienenfahrzeugbasierte Hinderniserkennung des Schienenfahrzeugs SFZ, das auf dem Gleis GL unterwegs ist und sich dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem umgestürzten Baum, nähert. As now based on the images BI FSB of the route range FSB with the image area contained therein BIB and the image area BIB AS the obstacle detection is performed, will be explained below with the description of FIGURE 2. FIG. 2 shows the basic structure of the obstacle detection device HEV for the obstacle detection of the rail vehicle SFZ according to FIG. 1, which travels on the track GL and approaches the obj object on the track GL, in the illustrated case the overturned tree.
Ausgangspunkt für die Hinderniserkennung bildet dabei gemäß den Ausführungen zu der FIGUR 1 das Bildaufzeichnungsgerät BAZG, das die Bilder BI FSB des Fahrstreckenbereichs FSB für die Hinderniserkennung erfasst. The starting point for the obstacle detection forms according to the comments on the FIGURE 1, the image recording device BAZG, which detects the images BI FSB of the route range FSB for obstacle detection.
Das Bildaufzeichnungsgerät BAZG ist dazu vorzugsweise für die Ausrichtung auf das Bildobjekt schwenkbar ausgebildet. Ferner ist es möglich und u.U. auch aus erfassungstechnischen Gründen sinnvoll, dass mehrere Bildaufzeichnungsgeräte BAZG gleicher Bauart, z.B. mehrere Videokameras, oder Geräte unterschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte , auf funkbasierte Ortung und Abstands- messung beruhende Sensoren, Infrarotkameras und/oder Wärmebildkameras, in der Hinderniserkennungsvorrichtung HEV enthalten sind, die die Bilder BI FSB aufnehmen. Eine derartige mehrfache Ausführung der Bildaufzeichnung bzw. Bildakquirie- rung ist kann u.a. für Redundanzzwecke relevant sein. The image recording device BAZG is preferably designed to be pivotable for alignment with the image object. Furthermore, it is possible and possibly also reasonable for acquisition-related reasons that several image recording devices BAZG the same design, eg multiple video cameras, or devices of different types, eg multiple video cameras, laser sensors, RADAR-based, based on radio-based location and distance measurement sensors, infrared cameras and or thermal imaging cameras containing obstacle detection device HEV that take the images BI FSB . Such a multiple execution of the image recording or Bildakquirie- tion may be relevant for redundancy purposes, among others.
Um die Qualität der mit dem Bildaufzeichnungsgerät BAZG aufgezeichneten oder akquirierten Bilder weiterhin zu verbes- sern, sind in dem Bildaufzeichnungsgerät BAZG vorzugsweise folgende Komponenten enthalten: To further improve the quality of images recorded or acquired with the BAZG imaging device preferably contain the following components in the image recording device BAZG:
1. Eine Korrekturkomponente KOK, mit der Wetter- und Hellig- keitsdaten für die Auswertung des Bildmaterials einbezogen werden. Mit dieser Komponente ist es z.B. möglich, bei starkem Nebel die Auswertung von Videobildern auf die ersten 50 Meter vor dem Schienenfahrzeug zu begrenzen und die Geschwindigkeit des Schienenfahrzeuges entsprechend zu drosseln. 1. A correction component KOK, with which weather and brightness data are included for the evaluation of the image material. With this component it is e.g. it is possible to limit the evaluation of video images to the first 50 meters in front of the rail vehicle in heavy fog and to throttle the speed of the rail vehicle accordingly.
2. Eine Brennweiteveränderungskomponente BVK, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstüt- zen. Dadurch können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zu- sätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche entlang der Schienenstrecke SST im Schienennetz SNE fokussiert werden, wie z.B. ein Bahnübergang . 3. Eine Beleuchtungskomponente BLK, die beispielsweise als ein Scheinwerfer ausgebildet ist, der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, und durch die sich die Qualität des von dem Bildaufzeichnungsgerät bzw. dem Bildakquisitionsgerät BAZG bei Nacht oder schlechter Witte- rung aufgenommenen Bildmaterials verbessert. 2. A focal length change component BVK that selects the correct shooting angle depending on the environment (e.g., railway station, city area, land, etc.) and the speed so as to optimally support the evaluation of the image. As a result, it is possible to suitably handle both recording situations on the open road (requiring images from a great distance in order to be able to react quickly due to the speed) and also recording situations in the station area (requiring images with a high width). In addition, by merging image data and route data, particularly interesting areas along the railway track SST can be focused in the rail network SNE, such as e.g. a railroad crossing. 3. An illumination component BLK, which is embodied, for example, as a headlight which operates inside or outside the human visible region, and through which the quality of the image material recorded by the image recording device or the image acquisition device BAZG at night or in bad weather improves ,
Die so aufgenommenen Bilder werden von dem Bildaufzeichnungsgerät BAZG in eine Bildspeichereinrichtung BSPE gespeichert. Diese Bildspeichereinrichtung BSPE ist entweder gemäß Option "A" als Komponente der Hinderniserkennungsvorrichtung HEV mit dem Bildaufzeichnungsgerät BAZG entsprechend verbunden oder gemäß Option "B" außerhalb der Hinderniserkennungs- vorrichtung HEV, z.B. als Speicherdatenbank, in dem Triebwa- gen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG zugeordnet bzw. mit diesem verbindbar. The images thus captured are stored by the image recording device BAZG in an image storage device BSPE. This image storage device BSPE is either connected according to option "A" as a component of the obstacle recognition device HEV with the image recording device BAZG or according to option "B" outside the obstacle recognition device HEV, eg as a storage database, in the power plant. gene or in a data cloud associated with the image recording device BAZG or connectable to this.
Für die Auswertung der aufgezeichneten bzw. akquirierten Bilder zum Erkennen von Objekten, die Hindernisse für denFor the evaluation of the recorded or acquired images for recognizing objects, the obstacles to the
Schienenverkehr entlang der Schienenstrecke darstellen, z.B. der auf das Gleis umgefallene Baum gemäß der FIGUR 1, ist das Bildaufzeichnungsgerät BAZG mit einer Berechnungs- /Auswerteeinrichtung BAWE verbunden, die ebenfalls eine Kom- ponente der Hinderniserkennungsvorrichtung HEV ist. Zu diesem Zweck ist die Berechnungs-/Auswerteeinrichtung BAWE, wie das Bildaufzeichnungsgerät BAZG, entweder gemäß der Option "A" mit der Bildspeichereinrichtung BSPE verbunden oder gemäß Option "B" der Bildspeichereinrichtung BSPE zugeordnet bzw. mit dieser verbindbar. Auf diese Weise entsteht eine Funktionsteileinheit aus der Berechnungs-/Auswerteeinrichtung BAWE, dem Bildaufzeichnungsgerät BAZG und der Bildspeichereinrichtung BSPE, bei der die genannten Komponenten der Hinderniserkennungsvorrichtung HEV für eine berechnungs- /auswertegestützte Hinderniserkennung teilfunktional zusammenwirken . Represent rail traffic along the railway line, e.g. the fallen tree on the track according to FIGURE 1, the image recording device BAZG is connected to a calculation / evaluation BAWE, which is also a component of the obstacle detection device HEV. For this purpose, the calculation / evaluation device BAWE, such as the image recording device BAZG, either according to the option "A" connected to the image storage device BSPE or assigned according to option "B" of the image storage device BSPE or connectable to this. In this way, a function subunit from the calculation / evaluation device BAWE, the image recording device BAZG and the image storage device BSPE, in which the components of the obstacle recognition device HEV cooperate in a partially functional manner for a calculation / evaluation-supported obstacle recognition, is created.
Für die Bildung einer vollständigen Funktionseinheit zur be- rechnungs-/auswertegestützten Hinderniserkennung, bei der die daran beteiligten Teileinheiten funktional zusammenwirken, wird die genannte Funktionsteileinheit durch eine weitere Teileinheit, eine Informationsdatenbank IDB, erweitert. Die Informationsdatenbank IDB kann dabei beispielsweise mit der Bildspeichereinrichtung BSPE als bauliche Einheit in ei- ner gemeinsamen Speichervorrichtung integriert sein. Diese in der FIGUR 2 nicht explizit dargestellte Speichervorrichtung kann ihrerseits wiederum, wie die Bildspeichereinrichtung BSPE, entweder gemäß Option "A" als Komponente der Hinderniserkennungsvorrichtung HEV mit dem Bildaufzeichnungsge- rät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE entsprechend verbunden oder gemäß Option "B" außerhalb der Hinderniserkennungsvorrichtung HEV in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG und der 5 For the formation of a complete functional unit for calculation / evaluation-based obstacle recognition, in which the subunits involved functionally cooperate, said functional subunit is extended by a further subunit, an information database IDB. The information database IDB can be integrated, for example, with the image storage device BSPE as a structural unit in a common storage device. This storage device, which is not explicitly shown in FIG. 2, can in turn, like the image storage device BSPE, either be connected according to option "A" as component of the obstacle recognition device HEV with the image recording device BAZG and the calculation / evaluation device BAWE or according to option "B" outside the obstacle detection device HEV in the railcar or in a data cloud the image recorder BAZG and the 5
Berechnungs- /Auswerteeinrichtung BAWE zugeordnet bzw. mit diesem verbindbar sein. In diesem Zusammenhang wird auf die Informationsspeichereinrichtung in der DE-Patentanmeldung (Anmeldung-Nr . 102016224355.1) und der dazu korrespondieren- den Internationalen Patentanmeldung (Anmeldung-Nr . PCT/... ; Veröffentlichungs-Nr . WO ...) zum alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, verwiesen. Calculation / evaluation BAWE assigned or connectable to this. In this connection, reference is made to the information storage device in DE patent application (application No. 102016224355.1) and the corresponding international patent application (application No. PCT / ...; publication No. WO ...) for alternative determination rail positions where conventional satellite positioning is inadequate or inadequate.
In der Informationsdatenbank IDB sind neben Bild-Metainformationen BMI, die dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bilder BIFSB erfassten Fahrstreckenbereichs FSB beinhalten, Zusatzinformationen ZI, wie z.B. Fahrstreckenplänen oder Kartenmaterial, etc., gespeichert.In the information database IDB, in addition to image meta information BMI, which in the literal sense include feature and property data of the route range FSB detected in the images BI FSB , additional information ZI, such as route maps or map material, etc., stored.
Gemäß der Darstellung in der FIGUR 2 ist die Informationsdatenbank IDB der Hinderniserkennungsvorrichtung HEV in der Weise zugeordnet bzw. mit dieser verbindbar, als die Berechnungs- /Auswerteeinrichtung BAWE für die berechnungs-/auswer- tegestützte Hinderniserkennung auf die in der Informationsdatenbank IDB gespeicherten Bild-Metainformationen BMI und Zusatzinformationen ZI zugreift. Die Informationsdatenbank IDB ist dazu vorzugsweise außerhalb der Hinderniserkennungs- vorrichtung HEV, z.B. als Datenbank, in dem Triebwagen ange- ordnet oder ist als Daten-Cloud ausgebildet. According to the illustration in FIG. 2, the information database IDB is assigned to the obstacle recognition device HEV in the manner or can be connected to it as the calculation / evaluation device BAWE for the calculation / evaluation-based obstacle recognition on the image meta information stored in the information database IDB BMI and additional information ZI accesses. The information database IDB is for this purpose preferably outside the obstacle detection device HEV, e.g. as a database, in which railcar is arranged or is designed as a data cloud.
Für die berechnungs-/auswertegestützte Hinderniserkennung weist die Berechnungs- /Auswerteeinrichtung BAWE vorzugsweise einen nicht-flüchtigen, lesbaren Speicher SP, in dem prozes- sorlesbare Steuerprogrammbefehle eines die Hinderniserkennung steuernden Programm-Moduls PGM gespeichert sind, und einen Prozessor PZ , der die Steuerprogrammbefehle des Programm-Moduls PGM zur berechnungs-/auswertegestützten Hinderniserkennung ausführt, auf. Dazu greift der Prozessor PZ zu- sätzlich - neben den Zugriffen auf die Bild-Metainformationen BMI und die Zusatzinformationen ZI in der Informationsdatenbank IDB - zu Steuerungszwecken und zum Auslesen von Daten auf das Bildaufzeichnungsgerät BAZG und die Bildspeichereinrichtung BSPE zu. For the calculation / evaluation-assisted obstacle recognition, the calculation / evaluation device BAWE preferably has a non-volatile, readable memory SP in which process-readable control program instructions of a program that detect the obstacle detection are stored PGM, and a processor PZ which stores the control program instructions of the Program module executes PGM for calculation / evaluation-based obstacle detection, on. For this purpose, the processor PZ additionally accesses - in addition to the accesses to the image meta information BMI and the additional information ZI in the information database IDB - for control purposes and for the readout of Data to the image recorder BAZG and the image storage device BSPE.
Die Berechnungs- /Auswerteeinrichtung BAWE bzw. das Programm- Modul PGM mit dem die Steuerprogrammbefehle des Programm- Moduls PGM zur berechnungs-/auswertegestützten Hinderniserkennung ausführenden Prozessor PZ sind jetzt bezüglich der berechnungs-/auswertegestützten Hinderniserkennung derart ausgebildet, dass in den Bildern BIFSB jeweils der Bildbe- reich BIB markiert wird, der das von dem SchienenfahrzeugThe calculation / evaluation device BAWE or the program module PGM with the control program instructions of the program module PGM for calculation / evaluation-based obstacle detection exporting processor PZ are now configured with respect to the calculation / evaluation-based obstacle detection such that in the images BI FSB respectively the image area BIB is marked, that of the rail vehicle
SFZ benutzte Gleis GL zeigt, wobei das durch die Markierung bildlich positionierte Gleis GL des Schienenfahrzeugs SFZ durch eine Bildanalyse erkannt und entweder mit den gespeicherten bekannten Bild-Metainformationen BMI oder mit den gespeicherten bekannten Bild-Metainformationen MMI und den Zusatzinformationen ZI abgeglichen wird. SFZ used track GL, wherein the image-positioned by the mark rail GL of the rail vehicle SFZ detected by an image analysis and adjusted either with the stored known image metadata BMI or with the stored known image metadata MMI and the additional information ZI.
Die Bildanalyse und somit die Markierung wird vorzugsweise mit Hilfe von Kantenerkennungsalgorithmen durchgeführt, bei der ausgehend von dem in dem Fahrstreckenbereich FSB erfass- ten Gleis GL in dem Bildbereich BIB der Verlauf der von dem Schienenfahrzeug SFZ benutzten Gleis GL durch einen sich im erfassten Bild ändernden Bildanteil des Gleises GL zum er- fassten Gesamtbild erkannt wird. The image analysis and thus the marking is preferably carried out with the aid of edge detection algorithms, starting from the track GL detected in the route area FSB in the image area BIB, the course of the track GL used by the rail vehicle SFZ by an image portion changing in the acquired image of the track GL is detected to the total image.
Darüber hinaus wird vorzugsweise, wenn die Bilder BIFSB mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse und somit die Markierung auf der Basis der Kenntnis des benutzten Gleises GL durchgeführt, weil der Verlauf des benutzten Gleises GL relativ zu einer geografischen Position bekannt ist. Moreover, if the images BI FSB are recorded with RADAR-based sensors based on radio-based location and distance measurement, the image analysis and hence the marking are preferably performed on the basis of the knowledge of the track GL in use, because the course of the track GL used is relative is known to a geographic location.
Ist das durch die Markierung bildlich positionierte Gleis GL des Schienenfahrzeugs SFZ durch die Bildanalyse erkannt und entweder mit den gespeicherten bekannten Bild-Metainformationen BMI oder mit den gespeicherten bekannten Bild- Metainformationen BMI und den Zusatzinformationen ZI abgeglichen, so wird für den Bildbereichsausschnitt BIBAS des mar- 7 Is figuratively positioned by the mark track GL of the rail vehicle SFZ recognized by image analysis, and either with the stored known image meta information BMI or with the stored known image meta BMI and the additional information ZI matched, then for the image area segment BIB AS of the mar - 7
kierten Bildbereichs BIB, der das benutzte Gleis GL sowie den für den Schienenverkehr SVK kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt, ob sich ein Objekt OBJ, wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf dem Gleis GL befindet, wobei ein Hindernis in dem Bildbereich BIB, so z.B. wenn sich dieses in dem Bildbereichsausschnitt BIBAS befindet und/oder wenn es ein potentielles Hindernis ist, markiert wird, wenn das Objekt OBJ durch die Objekterkennungsmethode erkannt wird. marked image area BIB, which represents the used track GL and the area that is critical for rail traffic SVK, detected by an object recognition method, whether an object OBJ, such as a person, an animal, a fallen tree, etc., is on the track GL, wherein an obstacle in the image area BIB, such as when it is in the image area section BIB AS and / or if it is a potential obstacle, is marked when the object OBJ is recognized by the object recognition method.
Mit der Objekterkennungsmethode wird ein Mustervergleich basierend auf einem Positiv-Vergleich und/oder Negativer- Vergleich durchgeführt, bei dem im Fall des Positiv- Vergleichs überprüft wird, ob in dem Bildbereichsausschnitt BIBAS objektspezifische Muster enthalten sind und im Fall des Negativ-Vergleichs überprüft wird, ob in dem Bildbereichsausschnitt BIBAS ein erwartetes Muster, das z.B. das durchgezogene, von dem Schienenfahrzeug SFZ benutzte Gleis GL oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur FS oder Gleisträger zwischen den parallel verlaufenden Gleisen GL gebildet wird, enthalten ist. With the object recognition method, a pattern matching is performed based on a positive comparison and / or a negative comparison in which, in the case of the positive comparison, it is checked whether object-specific patterns are included in the image area section BIB AS and checked in the case of the negative comparison whether in the image area section BIB AS an expected pattern, for example, the solid, used by the rail vehicle SFZ track GL or a regularity, which is formed by lane carrier of the lane FS or track carrier between the parallel tracks GL included.
Endet diese Überprüfung vom Ergebnis her beim Negativ- Vergleich mit einem "NEIN" , so wird die festgestellte Unre- gelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen, wobei, wenn die Unregelmäßigkeit nicht erwartet wurde, ein Hindernis in dem Bildbereich BIB, z.B. in dem Bildbereichsausschnitt BIBAs und/oder als potentielles Hindernis, markiert wird. If, in the negative comparison, this check ends with a "NO", then the determined irregularity is compared in terms of its expectation with path pictures used as reference information and previously recorded in route initialization runs, and if the irregularity was not expected, this is checked Obstacle in the image area BIB, for example, in the image area section BIB A s and / or as a potential obstacle is marked.
Die für sämtliche Bilder BI FSB jeweils in dem Bildbereich BIB respektive dem Bildbereichsausschnitt BIBAs erfolgten Hindernismarkierungen werden vorzugsweise im Hinblick auf eine die unterschiedlichen Bildquellen kombinierende Bildverarbeitung mit Hilfe von Bildverarbeitungsmethoden, wie z.B. Hidden- Markov-Modellen, zusammengeführt. Dadurch kann z.B. erreicht werden, dass die Wahrscheinlichkeit für eine fehlerhafte Er- kennung minimiert und das Auftreten von "false negatives", d.h. von fehlerhaften Annahmen, dass sich kein Objekt im Fahrspur-bzw . Gleisbereich befindet, obwohl es real vorhanden ist, verhindert wird. The obstacle markings made for all the images BI FSB in the image area BIB and the image area detail BIB A s, respectively, are preferably combined with the aid of image processing methods such as Hidden Markov Models with regard to image processing combining the different image sources. As a result, it can be achieved, for example, that the probability of a faulty Er- identifier and the occurrence of "false negatives", ie erroneous assumptions that no object in the lane or. Track area, although it is actually present, is prevented.
Darüber hinaus ist für die Hinderniserkennungsvorrichtung HEV mit der integrierten oder zugeordneten Bildspeichereinrichtung BSPE für solche Bilder in der Bildspeichereinrichtung BSPE, für die eine Auswertung nur mit hohem Unsicherheitsfak- tor möglich ist, eine landseitige Auswertestation AWS vorgesehen, die über Mobilfunk an die Bildspeichereinrichtung angebunden ist und von dieser die dort gespeicherten Bilder für eine modifizierte Auswertung entgegennimmt. Diese Bilder können dann von einem menschlichen Experten ausgewertet werden und diese Information kann dann wiederum in die Bildspeichereinrichtung BSPE zurückgespeist werden. In addition, for the obstacle recognition device HEV with the integrated or associated image storage device BSPE for those images in the image storage device BSPE for which an evaluation is possible only with a high uncertainty factor, a land-side evaluation station AWS is provided, which is connected via mobile radio to the image storage device and from this receives the images stored there for a modified evaluation. These images can then be evaluated by a human expert and this information can then be fed back into the image storage device BSPE.
1. Bei hinreichender Kommunikationsbandbreite und Verfügbarkeit menschlicher Experten kann dies sogar in Echtzeit erfol- gen derart, dass das Ergebnis der Auswertung zur Steuerung des Bahn-/Schienenfahrzeugs verwendet werden kann. 1. With sufficient communication bandwidth and availability of human experts, this can even be done in real time such that the result of the evaluation can be used to control the rail / rail vehicle.
2. Über die landseitige Auswertestation AWS kann darüber hinaus das Bildmaterial von Schienenfahrzeugen einer Flotte oder mehrere Flotten abgeglichen und verteilt werden. 2. In addition, the image material of rail vehicles of a fleet or several fleets can be compared and distributed via the onshore evaluation station AWS.
Alternativ zu der Auswertestation AWS für die modifizierte Auswertung von Bildern, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist, ist es auch möglich, dass ein Zugführer oder ein vergleichbarer Bahnbediensteten, der zwecks Passagierabfertigung ohnehin auf dem Schienenfahrzeug mitfährt, mit einem mobilen Gerät Bilder mit einem hohen Unsicherheitsfaktor bewertet, so wie dies der menschliche Experte bezüglich der Bilder in der Auswertestation AWS tut. As an alternative to the evaluation station AWS for the modified evaluation of images for which an evaluation is only possible with a high uncertainty factor, it is also possible for a train driver or a comparable rail employee, who is traveling along the rail vehicle anyway for the purpose of passenger handling, to take pictures with a mobile device evaluated with a high uncertainty factor, as the human expert does with respect to the images in the evaluation station AWS.
Mit der wie vorstehend beschriebenen Hinderniserkennungsvorrichtung HEV kann ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs BFZ bzw. des Schienenfahr- zeugs SFZ ohne zusätzliche Infrastruktur entlang einer Fahr strecke assistiert bzw. sogar realisiert werden. Dies ist insbesondere dann gegeben, wenn die Hinderniserkennungsvorrichtung HEV als eine virtuelle Maschine realisiert ist, di im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausgebildet ist und funktioniert. With the obstacle recognition device HEV as described above, an automated (autonomous) or assisted driving of the railway vehicle BFZ or of the rail vehicle can be achieved. It is possible to assist or even realize SFZ without additional infrastructure along a route. This is especially true if the obstacle recognition device HEV is realized as a virtual machine, which is designed and functions in the sense of a "software-defined signal recognition of rail traffic system".

Claims

Patentansprüche claims
1. Verfahren zur Hinderniserkennung im Bahnverkehr (BVK) , insbesondere im Schienenverkehr (SVK) , 1. A method for detecting obstacles in rail traffic (BVK), in particular in rail traffic (SVK),
dadurch gekennzeichnet , dass characterized in that
a) von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagenführers (FZF, TFS, TRW) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug (BFZ, SFZ), von einem dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten, insbesondere sich an die Geschwindigkeit des Bahnfahrzeuges (BFZ, SFZ) orientierenden, Fahrstreckenbereich (FSB) eine Vielzahl von den Fahrstreckenbereich (FSB) repräsentierenden Bildern (BI FSB) erfasst wird, a) from a railway vehicle (BFZ), in particular a rail vehicle (SFZ), in particular from the perspective of a railcar driver (FZF, TFS, TRW) and / or from a fixed, lane-based position in or on the vehicle (BFZ, SFZ), from a number of images (BI FSB ) representing the travel distance area ( FSB ) are detected in front of the railway vehicle (BFZ, SFZ) upstream of the railway vehicle (BFZ, SFZ), in particular on the speed of the railway vehicle (BFZ, SFZ),
b) in den Bildern (BI FSB) jeweils ein Bildbereich (BIB) markiert wird, der eine von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS) , insbesondere ein Gleis (GL) , zeigt, wobei die durch die Markierung bildlich positionierte Fahrspur (FS, GL) des Bahnfahrzeugs (BFZ, SFZ) durch eine Bildanalyse erkannt und entweder mit gespeicherten bekannten Bild-Metainformati- onen (BMI) oder mit gespeicherten bekannten Bild-Metainforma- tionen (BMI) und Zusatzinformationen (ZI), wie z.B. Fahrstreckenplänen oder Kartenmaterial, abgeglichen wird, b) in the images (BI FSB ) in each case an image area (BIB) is marked, which shows a lane (FS) used by the railway vehicle (BFZ, SFZ), in particular a track (GL), wherein the imagewise positioned by the marker Lane (FS, GL) of the railway vehicle (BFZ, SFZ) detected by an image analysis and either with stored known image meta-information (BMI) or with stored known image meta-information (BMI) and additional information (ZI), such Route plans or maps,
c) für ein Bildbereichsausschnitt (BIBAS) des markierten Bildbereichs (BIB) , der die genutzte Fahrspur (FS, GL) sowie einen für den Bahnverkehr (BVK, SVK) kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt wird, ob sich ein Objekt (OBJ), wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf der Fahrspur (FS, GL) befindet, wobei ein Hindernis in dem Bildbereich (BIB) , vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potentielles Hindernis, markiert wird, wenn das Objekt (OBJ) durch die Objekterkennungsmethode erkannt wird. c) for an image area excerpt (BIB AS ) of the marked image area (BIB), which represents the used traffic lane (FS, GL) and a railway traffic (BVK, SVK) critical area, is detected by an object recognition method, whether an object ( OBJ), such as a person, an animal, a fallen tree, etc., is located on the lane (FS, GL) with an obstacle in the image area (BIB), preferably in the image area excerpt (BIB AS ) and / or potential Obstacle, is marked when the object (OBJ) is detected by the object recognition method.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet , dass 2. The method according to claim 1, characterized in that
die Bilder (BI FSB) mit mehreren Bildaufzeichnungsgeräten the images (BI FSB ) with several image recording devices
(BAZG) unterschiedlicher Bauart, z.B. mit Videokameras, La- sersensoren, RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren, Infrarotkamera, und/oder Wärmebildkameras, aufgenommen werden. (BAZG) of different types, eg with video cameras, sensor, RADAR-based, radio-based location and distance-based sensors, infrared cameras, and / or thermal imagers.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass 3. The method according to claim 1 or 2, characterized in that
die Bildanalyse mit Hilfe von Kantenerkennungsalgorithmen durchgeführt wird, bei der ausgehend von der in dem Fahrstreckenbereich (FSB) erfassten Fahrspur (FS, GL) in dem Bildbe- reich (BIB) der Verlauf der von dem Bahnfahrzeug (BFZ , SFZ) benutzten Fahrspur (FS, GL) durch einen sich im erfassten Bild ändernden Bildanteil der Fahrspur (FS, GL) zum erfassten Gesamtbild erkannt wird. the image analysis is carried out with the aid of edge detection algorithms, in which, starting from the lane (FS, GL) detected in the route area (FSB) in the image area (BIB), the course of the traffic lane (FS) used by the railway vehicle (BFZ, SFZ) , GL) is recognized by an image portion of the traffic lane (FS, GL) changing in the captured image to form the captured overall image.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass 4. The method according to claim 2, characterized in that
wenn die Bilder (BIFSB) mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse auf der Basis der Kenntnis der be- nutzten Fahrspur (FS, GL) durchgeführt wird, weil der Verlauf der benutzten Fahrspur (FS, GL) relativ zu einer geografi- schen Position bekannt ist. if the images (BI FSB ) are taken with RADAR-based sensors based on radio-based location and distance measurement, the image analysis is carried out on the basis of the knowledge of the used traffic lane (FS, GL) because the course of the used traffic lane (FS , GL) is known relative to a geographic position.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass 5. The method according to any one of claims 1 to 4, characterized in that
mit der Objekterkennungsmethode ein Mustervergleich basierend auf einem Positiv-Vergleich und/oder Negativ-Vergleich durchgeführt wird, bei dem a pattern comparison based on a positive comparison and / or negative comparison is performed with the object recognition method, in which
a ) beim Positiv-Vergleich überprüft wird, ob in dem Bildbe- reichsausschnitt (BIBAS) objektspezifische Muster enthalten sind und a) in the positive comparison it is checked whether object-specific patterns are contained in the image area excerpt (BIB AS ) and
b ) beim Negativ-Vergleich b) in the negative comparison
bl ) überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) ein erwartetes Muster, vorzugsweise die durchgezogene, von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS, GL) oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur (FS) respektive Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet wird, enthalten ist, b2 ) für den Fall, dass die Überprüfung vom Ergebnis mit einem "NEIN" endet, wird die festgestellte Unregelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen, bl) is checked, whether in the image area section (BIB AS ) an expected pattern, preferably the solid, used by the railway vehicle (BFZ, SFZ) lane (FS, GL) or a regularity by lane carrier of the lane (FS) respectively track carrier formed between the parallel tracks (GL) is included, b2) in the event that the result of the check ends with a "NO", the detected irregularity is compared in terms of its expectation with distance maps used as reference information and previously recorded in route initialization runs;
b3 ) für den Fall, dass die Unregelmäßigkeit nicht erwartet wurde, wird ein Hindernis in dem Bildbereich (BIB) , vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potentielles Hindernis, markiert. b3) in the event that the irregularity was not expected, an obstacle is marked in the image area (BIB), preferably in the image area excerpt (BIB AS ) and / or as a potential obstacle.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass 6. The method according to any one of claims 1 to 5, characterized in that
die Hindernismarkierungen, die für sämtliche Bilder (BIFSB) jeweils in dem Bildbereich (BIB) respektive dem Bildbereichs- ausschnitt (BIBAS) vorgenommen worden sind, für eine die unterschiedlichen Bildquellen kombinierende Bildverarbeitung mit Hilfe von Bildverarbeitungsmethoden, wie z.B. Hidden- Markov-Modellen, zusammengeführt werden, um eine fehlerhafte Erkennung zu minimieren und "false negatives", d.h. fehler- hafte Annahmen, dass sich kein Objekt (OBJ) im Fahrspur-bzw . Gleisbereich befindet, obwohl es real vorhanden ist, auszuschließen . the obstacle markings which have been made for each image (BI FSB ) in the image area (BIB) and the image area detail (BIB AS ), respectively, for image processing combining the different image sources with the aid of image processing methods, such as Hidden Markov models , are merged to minimize misrecognition and false negatives, ie, erroneous assumptions that no object (OBJ) is in lane or track. Track area is, although it is real, exclude.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass 7. The method according to any one of claims 1 to 6, characterized in that
mit dem Verfahren ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs (BFZ, SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assistiert wird. with the method an automated (autonomous) or assisted driving of the railway vehicle (BFZ, SFZ) without additional infrastructure along a route is assisted.
8. Vorrichtung (HEV) zur Hinderniserkennung im Bahnverkehr (BVK) , insbesondere im Schienenverkehr (SVK) , 8. Device (HEV) for obstacle detection in rail transport (BVK), in particular in rail transport (SVK),
dadurch gekennzeichnet, dass characterized in that
a) mindestens ein Bildaufzeichnungsgerät (BAZG) , mit dem von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagenführers (FZF, TFS, TRW) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug (BFZ, SFZ), von einem dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten, insbe- sondere sich an die Geschwindigkeit des Bahnfahrzeuges (BFZ, SFZ) orientierenden, Fahrstreckenbereich (FSB) eine Vielzahl von den Fahrstreckenbereich (FSB) repräsentierenden Bildern (BI FSB) erfassbar und in einer Bildspeichereinrichtung (BSPE) speicherbar sind, a) at least one image recording device (BAZG) with which of a railway vehicle (BFZ), in particular a rail vehicle (SFZ), in particular from the perspective of a railcar driver (FZF, TFS, TRW) and / or from a fixed, lane-based position in or on the vehicle (BFZ, SFZ), off the rail vehicle (BFZ, SFZ), in particular a plurality of images (BI FSB ) representing the travel route area ( FSB ) can be detected and stored in an image storage device (BSPE), especially at the speed of the railway vehicle (BFZ, SFZ), the route distance area (FSB),
b ) eine Berechnungs-/Auswerteeinrichtung (BAWE) , die verbunden und funktional zusammenwirkend mit dem Bildaufzeichnungsgerät (BAZG) , der Bildspeichereinrichtung (BSPE) und einer Informationsdatenbank (IDB), wobei vorzugsweise beide, die Bildspeichereinrichtung (BSPE) und die Informationsdatenbank (IDB) , als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sind, derart, insbesondere mit einem nicht-flüchtigen, lesbaren Speicher (SP) , in dem prozessorlesbare Steuerprogrammbefehle eines die Hinderniserkennung steuernden Programm-Moduls (PGM) gespeichert sind, und einem Prozessor (PZ), der die Steuerprogrammbefehle des Programm- Moduls (PGM) zur berechnungs-/auswertegestützten Hinderniserkennung ausführt, ausgebildet ist, dass in den Bildern (BIFSB) jeweils ein Bildbereich (BIB) markiert wird, der eine von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS), insbesondere ein Gleis (GL) , zeigt, wobei die durch die Markierung bildlich positionierte Fahrspur (FS, GL) des Bahnfahrzeugs (BFZ, SFZ) durch eine Bildanalyse erkannt und entweder mit gespeicherten bekannten Bild-Metainformationen (BMI) oder mit ge- speicherten bekannten Bild-Metainformationen (BMI) und Zusatzinformationen (ZI), wie z.B. Fahrstreckenplänen oder Kartenmaterial, abgeglichen wird, b) a calculation / evaluation device (BAWE) connected and functionally cooperating with the image recording device (BAZG), the image storage device (BSPE) and an information database (IDB), preferably both the image storage device (BSPE) and the information database (IDB) , are integrated as a structural unit in a common memory device, in particular with a non-volatile, readable memory (SP), in which processor-readable control program instructions of an obstacle detection controlling program module (PGM) are stored, and a processor (PZ), which executes the control program instructions of the program module (PGM) for calculation / evaluation-based obstacle recognition, is configured such that in each case an image area (BIB) is marked in the images (BI FSB ) that contains a lane used by the railway vehicle (BFZ, SFZ) (FS), in particular a track (GL), shows, wherein the lane (FS , GL) of the railway vehicle (BFZ, SFZ) detected by an image analysis and adjusted either with stored known image meta-information (BMI) or with stored known image meta-information (BMI) and additional information (ZI), such as route maps or map material becomes,
c ) die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass für ein Bildbereichsausschnitt (BIBAS) des markierten Bildbereichs (BIB) , der die benutzte Fahrspur (FS, GL) sowie einen für den Bahnverkehr (BVK, SVK) kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt wird, ob sich ein Objekt (OBJ), wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf der Fahrspur (FS, GL) befindet, wobei ein Hindernis in dem Bildbereich (BIB) , vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potentielles Hindernis, markiert wird, wenn das Objekt (OBJ) durch die Objekterkennungsmethode erkannt wird. c) the calculation / evaluation device (BAWE) is designed such that for a Bildbereichsausschnitt (BIB AS ) of the marked image area (BIB), the lane used (FS, GL) as well as a railway traffic (BVK, SVK) critical area is detected by an object recognition method, whether an object (OBJ), such as a person, an animal, a fallen tree, etc., on the lane (FS, GL) is located, with an obstacle in the image area (BIB), preferably in the image area excerpt (BIB AS ) and / or as a potential obstacle, when the object (OBJ) is detected by the object recognition method.
9. Vorrichtung (HEV) nach Anspruch 8, dadurch gekennzeichnet, dass 9. Device (HEV) according to claim 8, characterized in that
mehrere Bildaufzeichnungsgeräte (BAZG) unterschiedlicher Bau- art, z.B. mehrere Videokameras, Lasersensoren, RADAR- basierte, auf funkbasierte Ortung und Abstandsmessung beruhende Sensoren, Infrarotkamera, und/oder Wärmebildkameras, enthalten sind, die die Bilder (BIFSB) aufnehmen. several image recording devices (BAZG) of different types, eg several video cameras, laser sensors, RADAR-based sensors based on radio-based location and distance measurement, infrared camera, and / or thermal imaging cameras, which record the images (BI FSB ).
10. Vorrichtung (HEV) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass 10. Device (HEV) according to claim 8 or 9, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass die Bildanalyse mit Hilfe von Kantenerkennungs- algorithmen durchgeführt wird, bei der ausgehend von der in dem Fahrstreckenbereich (FSB) erfassten Fahrspur (FS, GL) in dem Bildbereich (BIB) der Verlauf der von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) durch einen sich im erfassten Bild ändernden Bildanteil der Fahrspur (FS, GL) zum erfassten Gesamtbild erkannt wird. the calculation / evaluation device (BAWE) is designed in such a way that the image analysis is carried out with the aid of edge detection algorithms in which, starting from the lane (FS, GL) detected in the route area (FSB) in the image area (BIB) the lane (FS, GL) used by the railway vehicle (BFZ, SFZ) is recognized by the image part of the traffic lane (FS, GL) changing in the acquired image to form the captured overall image.
11. Vorrichtung (HEV) nach Anspruch 9, dadurch gekennzeichnet, dass 11. Device (HEV) according to claim 9, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass, wenn die Bilder (BIFSB) mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse auf der Basis der Kenntnis der benutzten Fahrspur (FS, GL) durchgeführt wird, weil der Verlauf der benutzten Fahrspur (FS, GL) relativ zu einer geografischen Position bekannt ist. the calculation / evaluation device (BAWE) is designed such that when the images (BI FSB ) are recorded with RADAR-based sensors based on radio-based location and distance measurement, the image analysis is based on the knowledge of the used traffic lane (FS, GL ) is performed because the used lane (FS, GL) is known relative to a geographical position.
12. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass 12. Device (HEV) according to one of claims 8 to 11, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass mit der Objekterkennungsmethode ein Musterver- gleich basierend auf einem Positiv-Vergleich und/oder Negati- ver-Vergleich durchgeführt wird, bei dem a) beim Positiv-Vergleich überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) objektspezifische Muster enthalten sind und the calculation / evaluation device (BAWE) is designed such that with the object recognition method a pattern comparison based on a positive comparison and / or a negative comparison is performed, in which a) is checked in the positive comparison, whether in the image area section (BIB AS ) object-specific patterns are included, and
b) beim Negativ-Vergleich b) in the negative comparison
bl) überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) ein erwartetes Muster, vorzugsweise die durchgezogene, von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS, GL) oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur (FS) respektive Gleisträger zwischen den parallel verlaufen- den Gleisen (GL) gebildet wird, enthalten ist, bl) is checked, whether in the image area section (BIB AS ) an expected pattern, preferably the solid, used by the railway vehicle (BFZ, SFZ) lane (FS, GL) or a regularity by lane carrier of the lane (FS) respectively track carrier is formed between the parallel tracks (GL) is included,
b2 ) für den Fall, dass die Überprüfung vom Ergebnis mit einem "NEIN" endet, wird die festgestellte Unregelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen, b2) in the event that the result of the check ends with a "NO", the detected irregularity is compared in terms of its expectation with distance maps used as reference information and previously recorded in route initialization runs;
b3 ) für den Fall, dass die Unregelmäßigkeit nicht erwartet wurde, wird ein Hindernis in dem Bildbereich (BIB) , vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potentielles Hindernis, markiert. b3) in the event that the irregularity was not expected, an obstacle is marked in the image area (BIB), preferably in the image area excerpt (BIB AS ) and / or as a potential obstacle.
13. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass 13. Device (HEV) according to one of claims 8 to 12, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass die Hindernismarkierungen, die für sämtliche Bilder (BIFSB) jeweils in dem Bildbereich (BIB) respektive dem Bildbereichsausschnitt (BIBAS) vorgenommen worden sind, werden für eine die unterschiedlichen Bildquellen kombinierende Bildverarbeitung mit Hilfe von Bildverarbeitungsmethoden, wie z.B. Hidden-Markov-Modellen, zusammengeführt, um eine fehler- hafte Erkennung zu minimieren und "false negatives", d.h. fehlerhafte Annahmen, dass sich kein Objekt (OBJ) im Fahr- spur-bzw. Gleisbereich befindet, obwohl es real vorhanden ist, auszuschließen. the calculation / evaluation device (BAWE) is designed in such a way that the obstacle markings which have been carried out for all images (BI FSB ) in each case in the image area (BIB) or the image area excerpt (BIB AS ) become image processing combining the different image sources using image processing methods, such as hidden Markov models, to minimize erroneous recognition and false negatives, ie erroneous assumptions that no object (OBJ) is in the lane or track. Track area is, although it is real, exclude.
14. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 13, dadurch gekennzeichnet, dass 14. Device (HEV) according to one of claims 8 to 13, characterized in that
das Bildaufzeichnungsgerät (BAZG) schwenkbar ausgebildet ist. the image recording device (BAZG) is designed to be pivotable.
15. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 14, dadurch gekennzeichnet, dass 15. Device (HEV) according to one of claims 8 to 14, characterized in that
das Bildaufzeichnungsgerät (BAZG) eine Korrekturkomponente (KOK) aufweist, die in die Auswertung des Bildmaterials Wet- ter- und Helligkeitsdaten mit einbezieht. the image recording device (BAZG) has a correction component (KOK), which includes weather and brightness data in the evaluation of the image material.
16. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 15, dadurch gekennzeichnet, dass 16. Device (HEV) according to one of claims 8 to 15, characterized in that
das Bildaufzeichnungsgerät (BAZG) eine Brennweiteverände- rungskomponente (BVK) aufweist, die in Abhängigkeit vom Abstand zur Fahrspur (FS, GL) den richtigen Aufnahmewinkel wählt, um so die mehrfache Auswertung optimal zu unterstützen . the image recording device (BAZG) has a focal length changeover component (BVK) which selects the correct recording angle as a function of the distance from the traffic lane (FS, GL) so as to optimally support the multiple evaluation.
17. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 16, dadurch gekennzeichnet, dass 17. Device (HEV) according to one of claims 8 to 16, characterized in that
das Bildaufzeichnungsgerät (BAZG) eine Beleuchtungskomponente (BLK) , insbesondere einen Scheinwerfer der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, aufweist. the image recording device (BAZG) has a lighting component (BLK), in particular a headlight which operates inside or outside the human visible region.
18. Vorrichtung (BAV) nach einem der Ansprüche 8 bis 17, gekennzeichnet durch 18. Device (BAV) according to one of claims 8 to 17, characterized by
eine virtuelle Maschine, die im Sinne eines "Software a virtual machine that is in the sense of a "software
Defined Signal Recognition of Rail Traffic Systems" ausge- bildet ist und funktioniert. Defined Signal Recognition of Rail Traffic Systems "is designed and works.
19. Vorrichtung (HEV) nach einem der Ansprüche 8 bis 13, dadurch gekennzeichnet, dass 19. Device (HEV) according to one of claims 8 to 13, characterized in that
mit der Vorrichtung (HEV) ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs (BFZ, SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assistiert wird. Automated (autonomous) or assisted driving of the railway vehicle (BFZ, SFZ) is assisted with the device (HEV) without additional infrastructure along a route.
20. Bahnfahrzeug (BFZ) zur Hinderniserkennung im Bahnverkehr (BVK), insbesondere Schienenfahrzeug (SFZ) zur Hinderniserkennung im Schienenverkehr (SVK), dadurch gekennzeichnet, dass eine Vorrichtung (HEV) zur Hinderniserkennung nach einem der Ansprüche 8 bis 19 in das Bahnfahrzeug (BFZ, SFZ) integriert ist . 20. Railway vehicle (BFZ) for obstacle detection in rail traffic (BVK), in particular rail vehicle (SFZ) for obstacle detection in rail traffic (SVK), characterized in that a device (HEV) for obstacle detection according to any one of claims 8 to 19 in the railway vehicle (BFZ, SFZ) is integrated.
PCT/EP2017/081834 2016-12-07 2017-12-07 Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic WO2018104454A2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17832743.3A EP3523177A2 (en) 2016-12-07 2017-12-07 Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic
CN201780075914.6A CN110087970A (en) 2016-12-07 2017-12-07 For method, equipment and the rolling stock of progress obstacle recognition, especially rail vehicle in railway traffic, especially in rail traffic
RU2019119851A RU2719499C1 (en) 2016-12-07 2017-12-07 Method, device and railway vehicle, in particular, rail vehicle, for recognition of obstacles in railway connection, in particular in rail connection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224344.6 2016-12-07
DE102016224344 2016-12-07

Publications (2)

Publication Number Publication Date
WO2018104454A2 true WO2018104454A2 (en) 2018-06-14
WO2018104454A3 WO2018104454A3 (en) 2018-08-23

Family

ID=61017881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/081834 WO2018104454A2 (en) 2016-12-07 2017-12-07 Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic

Country Status (4)

Country Link
EP (1) EP3523177A2 (en)
CN (1) CN110087970A (en)
RU (1) RU2719499C1 (en)
WO (1) WO2018104454A2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671256A1 (en) * 2018-12-19 2020-06-24 Elta Systems Ltd. System for obstacle detection
EP3756971A1 (en) * 2019-06-24 2020-12-30 Mitsubishi Electric R & D Centre Europe B.V. Method for transmitting obstacle detection enhancement data to a moving conveyance
WO2020231285A3 (en) * 2019-05-16 2021-01-07 Babic Milovan Universal device and procedure for safety management of railway vehicles / trains, based on the optoelectronic device day / night for recognizing facilities with assistence of rangefinder and device for geografical positioning of objects on the ground
RU2766936C1 (en) * 2021-10-19 2022-03-16 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» Locomotive control and driver vigilance control device
CN114739384A (en) * 2022-03-04 2022-07-12 净豹智能机器人(台州)有限公司 Unmanned vehicle positioning system and method for rapid feature estimation
WO2022161701A1 (en) * 2021-01-28 2022-08-04 Siemens Mobility GmbH Self-learning warning system for rail vehicles
EP4059805A2 (en) 2021-03-17 2022-09-21 Siemens Mobility Limited Real-time computer vision-based track monitoring
RU2780698C1 (en) * 2022-08-16 2022-09-29 Открытое Акционерное Общество "Российские Железные Дороги" Workplace-simulator for driver-operator of unmanned rolling stock
EP4124542A1 (en) * 2021-07-30 2023-02-01 Siemens Mobility GmbH Method and device for detecting obstacles on a route
WO2023109501A1 (en) * 2021-12-14 2023-06-22 卡斯柯信号有限公司 Train active obstacle detection method and apparatus based on positioning technology
US11827255B2 (en) 2019-12-09 2023-11-28 Thales Canada Inc System and method for vehicle control
EP4299411A1 (en) * 2022-06-29 2024-01-03 Siemens Mobility GmbH Method and device for detecting obstacles in a hazard area
US11945478B2 (en) 2019-11-20 2024-04-02 Ground Transportation Systems Canada Inc. High-integrity object detection system and method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889319A (en) * 2019-09-04 2020-03-17 昆山研祥智能科技有限公司 Road condition detection method and system
CN110435689B (en) * 2019-09-09 2020-12-08 中铁电气化局集团西安电气化工程有限公司 Detection method of intelligent obstacle detection vehicle based on modular control
CN111079827B (en) * 2019-12-13 2023-04-07 中国铁道科学研究院集团有限公司电子计算技术研究所 Railway data state evaluation method and system
RU2742960C1 (en) * 2020-09-25 2021-02-12 Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" Onboard information system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405128B1 (en) 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
WO2017174155A1 (en) 2016-04-08 2017-10-12 Siemens Aktiengesellschaft Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040056182A1 (en) * 2002-09-20 2004-03-25 Jamieson James R. Railway obstacle detection system and method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN201825066U (en) * 2010-10-20 2011-05-11 成都可益轨道技术有限公司 Automatic locomotive ground signal and obstacle recognition system
DE102014206473A1 (en) * 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatic assistance to a driver of a lane-bound vehicle, in particular a rail vehicle
JP6697797B2 (en) * 2014-09-08 2020-05-27 トランスポーテーション アイピー ホールディングス，エルエルシー Optical path survey system and method
CN105083324A (en) * 2015-07-28 2015-11-25 陕西西北铁道电子有限公司 Method and device for locomotive anticollision using on-board optical detection mechanism combining with auxiliary image pickup
CN105701844B (en) * 2016-01-15 2018-11-27 苏州大学 Barrier or shadow detection method based on color characteristic
CN205601869U (en) * 2016-05-18 2016-09-28 苏州华兴致远电子科技有限公司 On -vehicle operating environment safety monitoring system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405128B1 (en) 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
WO2017174155A1 (en) 2016-04-08 2017-10-12 Siemens Aktiengesellschaft Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671256A1 (en) * 2018-12-19 2020-06-24 Elta Systems Ltd. System for obstacle detection
WO2020231285A3 (en) * 2019-05-16 2021-01-07 Babic Milovan Universal device and procedure for safety management of railway vehicles / trains, based on the optoelectronic device day / night for recognizing facilities with assistence of rangefinder and device for geografical positioning of objects on the ground
EP3756971A1 (en) * 2019-06-24 2020-12-30 Mitsubishi Electric R & D Centre Europe B.V. Method for transmitting obstacle detection enhancement data to a moving conveyance
WO2020261714A1 (en) * 2019-06-24 2020-12-30 Mitsubishi Electric Corporation Method for obtaining and transmitting obstacle detection enhancement data
US11945478B2 (en) 2019-11-20 2024-04-02 Ground Transportation Systems Canada Inc. High-integrity object detection system and method
US11827255B2 (en) 2019-12-09 2023-11-28 Thales Canada Inc System and method for vehicle control
WO2022161701A1 (en) * 2021-01-28 2022-08-04 Siemens Mobility GmbH Self-learning warning system for rail vehicles
US11945479B2 (en) 2021-01-28 2024-04-02 Siemens Mobility GmbH Self-learning warning system for rail vehicles
EP4059805A2 (en) 2021-03-17 2022-09-21 Siemens Mobility Limited Real-time computer vision-based track monitoring
GB2604882A (en) * 2021-03-17 2022-09-21 Siemens Mobility Ltd Real-time computer vision-based track monitoring
EP4124542A1 (en) * 2021-07-30 2023-02-01 Siemens Mobility GmbH Method and device for detecting obstacles on a route
RU2766936C1 (en) * 2021-10-19 2022-03-16 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» Locomotive control and driver vigilance control device
WO2023109501A1 (en) * 2021-12-14 2023-06-22 卡斯柯信号有限公司 Train active obstacle detection method and apparatus based on positioning technology
CN114739384A (en) * 2022-03-04 2022-07-12 净豹智能机器人(台州)有限公司 Unmanned vehicle positioning system and method for rapid feature estimation
EP4299411A1 (en) * 2022-06-29 2024-01-03 Siemens Mobility GmbH Method and device for detecting obstacles in a hazard area
RU2780698C1 (en) * 2022-08-16 2022-09-29 Открытое Акционерное Общество "Российские Железные Дороги" Workplace-simulator for driver-operator of unmanned rolling stock
RU2790738C1 (en) * 2022-11-18 2023-02-28 Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" Locomotive control device
RU2804565C1 (en) * 2023-04-07 2023-10-02 Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" On-board technical vision system of rail vehicle

Also Published As

Publication number Publication date
EP3523177A2 (en) 2019-08-14
WO2018104454A3 (en) 2018-08-23
RU2719499C1 (en) 2020-04-20
CN110087970A (en) 2019-08-02

Similar Documents

Publication Publication Date Title
WO2018104454A2 (en) Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE112020004931T5 (en) SYSTEMS AND METHODS FOR DETERMINING ROAD SAFETY
EP3523175A1 (en) Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic
WO2018104477A1 (en) Method, device and track-bound vehicle, particularly a rail vehicle, for lane identification in a track-bound traffic system, particularly for rail identification in a railway traffic system
WO2018197122A1 (en) Method for automatically producing and updating a dataset for an autonomous vehicle
DE102017112024A1 (en) Transmission necessity determination device and route planning system
EP3429903A1 (en) Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic
DE19529986C2 (en) Procedure for locating track-guided vehicles and devices for carrying out the procedure
DE102012024873A1 (en) Method and control device for providing a road ahead
WO2018104460A1 (en) Method, device and track-bound vehicle, in particular a rail vehicle, for identifying dangerous situations in the track-bound traffic system, in particular in the railway traffic system
DE102008041679A1 (en) Method for environment recognition for navigation system in car, involves storing data of object or feature in storage, and classifying object or feature by comparison of data after visual inspection of object or feature
WO2018036751A1 (en) Controller, system having such a controller and method for operating such a system
DE102016213817A1 (en) A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane
DE102013104088A1 (en) Method for automatically detecting characteristic elements, in particular a level crossing, and device therefor
DE112022000380T5 (en) SYSTEMS AND METHODS FOR UNIFORM SPEED MAPPING AND NAVIGATION
DE112020005275T5 (en) SYSTEMS AND METHODS FOR SELECTIVE DECELERATION OF A VEHICLE
EP0795455B1 (en) Method for determining the position of a railborne vehicle and device for carrying out the method
WO2020224853A1 (en) Method and computer program product for identifying signal signs for the traffic control of track-guided vehicles, signal-sign identification system, and track-guided vehicle, in particular rail vehicle
EP3781906A1 (en) Method and device for determining a highly precise position of a vehicle
DE102018212219A1 (en) Check a geographic map
DE102005008359A1 (en) Detecting position of motor vehicles, for road charging or demoscopic surveys, by comparing parameter derived from position coordinates of vehicle with orientation of area
WO2018104427A1 (en) Method, system and rail vehicle for localization in rail traffic
DE102016207181A1 (en) Method and system for determining a position of a vehicle on a roadway
DE102019119001A1 (en) Determining a position of a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17832743

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase in:

Ref document number: 2017832743

Country of ref document: EP

Effective date: 20190508

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019119851

Country of ref document: RU