WO2018104462A1 - Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic - Google Patents

Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic Download PDF

Info

Publication number
WO2018104462A1
WO2018104462A1 PCT/EP2017/081845 EP2017081845W WO2018104462A1 WO 2018104462 A1 WO2018104462 A1 WO 2018104462A1 EP 2017081845 W EP2017081845 W EP 2017081845W WO 2018104462 A1 WO2018104462 A1 WO 2018104462A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
image
track
fsb
rail
Prior art date
Application number
PCT/EP2017/081845
Other languages
German (de)
French (fr)
Inventor
Andreas Schaefer-Enkeler
Andreas Schönberger
Christopher Drexler
Wolfgang Trumler
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to CN201780075716.XA priority Critical patent/CN110248858A/en
Priority to EP17829135.7A priority patent/EP3523175A1/en
Priority to RU2019117748A priority patent/RU2720303C1/en
Publication of WO2018104462A1 publication Critical patent/WO2018104462A1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0072On-board train data handling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/042Track changes detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or vehicle trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or vehicle trains
    • B61L25/025Absolute localisation, e.g. providing geodetic coordinates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or vehicle trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or vehicle trains
    • B61L25/026Relative localisation, e.g. using odometer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04Automatic systems, e.g. controlled by train; Change-over to manual control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/20Trackside control of safe travel of vehicle or vehicle train, e.g. braking curve calculation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/70Details of trackside communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Definitions

  • the invention relates to a method for lane-based image analysis in rail traffic, in particular for track-based image analysis in rail traffic according to the preamble of patent claim 1, an apparatus for lane-based image analysis in rail traffic, especially for track-based image analysis in rail traffic according to the preamble of claim 11 and a railway vehicle for lane-based image analysis in rail traffic, in particular rail vehicle for track-based image analysis in rail traffic, according to the preamble of claim 26.
  • Rail vehicles are part of a modern traffic infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move.
  • rail-bound transport and transport means are rail vehicles based on a wheel-rail system which are either pulled or pushed by their own traction drive (railcar) or by a locomotive and predominantly steel wheels with a wheel flange on two steel rails railways are the most widespread.
  • the underlying the invention object is to provide a method, a device and a railway vehicle, insbesonde ⁇ re rail vehicle, to specify the lane based image analysis in rail traffic, in particular for track-based image analysis in rail transport, with or automated (autonomous) or assisted driving the railway vehicles Rail vehicles without additional infrastructure along a route is improved.
  • the above-mentioned context-related object is achieved on the basis of the image analysis method defined in the preamble of patent claim 1 by the features specified in the characterizing part of patent claim 1.
  • the above-mentioned contextual object is achieved on the basis of the image analysis device defined in the preamble of patent claim 11 by the features specified in the characterizing part of claim 11.
  • Edge detection algorithms to recognize the course of a lane / track, which is used by the railway vehicle by a changing in the captured image portion of the lane / track to the entire picture captured and compared with stored known image metadata, these both lane-related or track ⁇ related primary metadata as well as railway-related res ⁇ pective rail-track related secondary metadata enthal ⁇ th.
  • the image meta information includes feature and characteristic data of the lane / track area recorded in the images.
  • the basic principle of the invention is, by means of an automated evaluation of the images, a part of the traffic lane / traffic lane that is visible in the respective image Identify tracks so that preferably (in advantageous developments) the following objectives are achieved:
  • a first step (a, for example, or more Rickak- quisitions confuse such as video cameras, laser sensors, Infrarotka ⁇ ra, thermal imaging cameras, radar devices, other Rickak- quisitions confuse, etc.) with the aid of at least one image recording apparatus a plurality of images from the web ⁇ vehicle from, for example, from the perspective of the railcar driver, he ⁇ summarized or recorded.
  • a first step (a, for example, or more Rickak- quisitionsetti such as video cameras, laser sensors, Infrarotka ⁇ ra, thermal imaging cameras, radar devices, other Schmak- quisitionstechnik, etc.) with the aid of at least one image recording apparatus a plurality of images from the web ⁇ vehicle from, for example, from the perspective of the railcar driver, he ⁇ summarized or recorded.
  • extension of the invention but also images of several image recording devices or image acquisition devices of the same type (eg, two video cameras) for mutual validation and synthesis of the results can be used.
  • extension of the invention but also images of a plurality of image recording devices and image acquisition devices of different type (eg, a video camera and a réelle brieflyka ⁇ ra) may be used for mutual validation and synthesis of the results.
  • non-imaging sensors such as radar, ultrasound or laser can be used to validate the image information.
  • the area at the near bottom of the screen is considered, because the lanes / tracks there are within We ⁇ sentlichen at the same location, while it is preferably the case that the image recording apparatus is fixedly mounted in the railway vehicle / rail vehicle.
  • edge detection algorithms which are used in a standard image processing, the profile of the lane traveled / busy of the track can be detected on the proportions lane / the track at the bottom of starting. a.
  • the maximum degree of bending of tracks / tracks can be taken into account in order to avoid false identifications of tracks).
  • the traveled lane / track can also be detected across points, in which the continuous guide rail of the track is detected.
  • metadata about the lane / track known is used, in particular the distance between the parallel laid rails and the width of the rail head.
  • Metadata about the route which are known, are used, for example at which geo ⁇ graphical positions railroad crossings, points or signal systems are.
  • Metadata about the distance of the signal system can then be used as follows.
  • the busy lane / the busy track is detected from step 2).
  • ii. An imaginary lane / a planned track GERADEAUS can easily be generated artificially, since the well-known busy lane / the well-known track at the bottom of the picture must be updated only linearly.
  • the busy lane / track LINKS is from the imaginary "STRAIGHT SEE lane” / the imaginary "STRAIGHT SEE track”, then it is a left turn. From the Ab ⁇ state of the traffic track of the intended "straight ahead lane” / a "STRAIGHT-track” and the distance from the vehicle (imaginary be calculated from the width of the lane / the track at the lower edge and the width of the lane / the track in each relevant image section), the degree of left curvature can be calculated.
  • the busy lane / track in the picture and a critical area to the left and right of the lane / track can be divided into several analysis sections with increasing distance from the vehicle.
  • the critical loading can ⁇ rich depending on the environment of the lane / the track (town ⁇ area vs. Country) different be broadly defined).
  • a standard for analysis section a standard for analysis section.
  • Pattern algorithm used to identify persons who ⁇ is a pattern algorithm used to identify persons who ⁇ .
  • the analysis sections of several consecutive images can be related to detect movement of persons and track their movement to predict potential collisions. IV. Detecting how far a railway vehicle is from an object
  • the distance to the object can be calculated.
  • the regular pattern of the lane / between the tracks is formed by a lane carrier / track carrier, used as a basis for the detection of irregularities. If an irregularity is detected (eg Beautyse or
  • the permissibility of the irregularity can take place by comparison with an image database. For example, In an initialization run, all irregularities can be recorded over all images of a route and then provided for adjustment.
  • the left or right curvature of a lane / a track can be detected.
  • the distance of a railway vehicle from objects / persons on a lane / track or in the critical area to the left or next to the lane / track can be calculated.
  • the following additional components - a) to c) for the image recording device may be used in relation to the image analysis device according to claim 11:
  • a correction component according to claim 21, weather ⁇ and brightness data for the evaluation of the photographic material with includes.
  • the evaluation of video images can be limited to the first 50 meters in front of the rail vehicle or rail vehicle and the speed of the vehicle can be throttled accordingly.
  • both shooting scenes on the open road can then (need pictures from a distance to view reagie ⁇ ren due to the speed to be able to) and shooting situations in Vietnamesesbe- rich (need images with a high width) be operated suitable.
  • a lighting component according to claim 23 ⁇ example, a headlight of the inside or outside of the human visible range lent operates, through which the Qua ⁇ formality of ons réelle from the image recording device or Profakquisiti- at night or in bad weather captured image material improves.
  • an image analysis device is formed as a virtual machine in the sense of "Software Defined signal recognition of Rail Traffic Systems" ⁇ and working.
  • FIG. 1 shows a lane-based image analysis for the recognition of route installations on a railway line and route
  • FIGURE 2 is a lane-based image analysis for object detection of a residing on a lane of a railway person
  • FIGURE 3 shows a basic structure of an image analysis device for the lane-based according to FIGS 1 and 2 ⁇ image analysis.
  • FIG. 1 shows a lane-based image analysis for the recognition of a route system SAL, such as e.g. a railroad crossing BÜG,
  • the lane ⁇ related railway line BST of the rail network BNE is a rail track SST of a rail network SNE, on which a rail vehicle SFZ on a rail GL and traveling in the rails ⁇ traffic SVK for a track-based image analysis to detect the track system SAL is the track system SAL on the track GL approaches.
  • a rail vehicle SFZ on a rail GL and traveling in the rails ⁇ traffic SVK for a track-based image analysis to detect the track system SAL is the track system SAL on the track GL approaches.
  • Rail network SNE moving rail vehicle SFZ is here again due to the discussion at the outset any other arbitrary short- or long-distance based rail transport system as a further embodiment of the invention conceivable and conceivable.
  • a maglev system (Stw .: Transrapid, Maglev, etc.) would also have a comparable infrastructure. consisting of railway network, railway line and railway vehicle, in question.
  • a picture analysis device BAV is provided in a railcar TRW of the rail vehicle SFZ with a driver's cab TFS and an integrated display device AZE, in which the workstation of the vehicle driver FZF is located, for the track-based image analysis for recognizing the route system SAL accommodated.
  • the image analysis device BAV includes for this purpose a preferably as a sensor formed image on ⁇ drawing device BAZG, which for example is formed as an ordinary video camera, laser sensor, thermal imager, radar equipment, infrared camera, etc., and because of acquisition of pic- tures is also referred to as an image acquisition device.
  • the rail vehicle SFZ traveling on the track GL approaches the signal system SI, AL, it starts from the rail vehicle SFZ, eg from the perspective of the railcar driver FZF in the driver's seat TFS of the railcar TRW and / or from a stationary, lane-based position in or on the vehicle SFZ, from a track of the rail vehicle SFZ, thereby preferably oriented to the speed of the rail vehicle SFZ, track area GLB a plurality of the track area GLB representing images BI GLB detectable.
  • a plurality of images BI FSB representing the traffic lane area FSB can be detected by a lane area FSB which is located upstream of the rail vehicle BFZ and preferably orientates itself to the speed of the rail vehicle BFZ.
  • the images BI FSB , BI GLB of the traffic lane area FSB, GLB each contain an image area BIB, in which lanes FS, GL detected in relation to the depicted traffic lane area FSB, GLB are substantially at the same location based on these portions of the detected lanes FS, GL with the aid of edge detection algorithms, the course of a lane FS, GL used by the railway vehicle BFZ, SFZ is detected by an image portion of the lane FS, GL changing in the acquired image to form the captured overall image.
  • a partial picture region BTB in the images BI FSB, BI GLB is for a currently determined geographical position of the railway vehicle BFZ, SFZ, in which the signal SI of the plant AL can be seen as a striking abutment feature of the routes ⁇ plant SAL.
  • this partial picture region BTB has a first image portion BAS1, by the used of the railway vehicle BFZ, SFZ lane FS, GL throughput leads, and a second image portion BAS2 wherein letz ⁇ more excellent for the route-detection, that is, the respective detecting a STRAIGHT-EAUS direction, LEFT-direction or
  • GL is relevant.
  • BI FSB BI glb of Fahrspurbe ⁇ richs FSB
  • GLB image area contained therein BIB
  • the image subregion BTB with the two image sections BAS 1, BAS 2
  • the image analysis for distance system detection and the detection of the signal system SI, AL and track detection is explained below with the description of FIG.
  • FIGURE 2 shows a lane-based image analysis for personnel ⁇ identifier in the rail BVK if on the off again cut as shown railway line BST of the rail network BNE the railway vehicle BFZ on the lane FS of the railway line BST at least one object OBJ, preferably a per ⁇ son, an animal, a movable or stationary object, is located in the area of the lane foreign and actually have to look for anything, so are there inadmissible.
  • object OBJ preferably a per ⁇ son, an animal, a movable or stationary object
  • the lane-related railway BST of the railway network BNE is here again the rail line SST of the rail network SNE, on which rail transport company SVK travels on track GL for rail-based image analysis for object recognition and approaches the object OGJ.
  • rail transport SVK illustrated with the vehicle running on the railway line SST of the rail network SNE rail vehicle SFZ any other x-any short or long distance based web transport system is here also conceivable as a white ⁇ teres embodiment of the invention, because of a ⁇ gangs guided discussion and imaginable.
  • a maglev system (Stw .: Transrapid, Maglev, etc.) with a correspondingly comparable infrastructure consisting of rail network, railway line and railway vehicle would also be suitable.
  • the image analysis device BAV is again provided in the railcar TRW of the rail vehicle SFZ with the driver's seat TFS and the integrated display device AZE, in which the workstation of the vehicle driver FZF is located, for the track-based image analysis for object recognition accommodated.
  • the image analysis apparatus includes BAV this again preferably formed as a sensor Bil ⁇ daufconces réelle BAZG which, for example as ordinary Videoka ⁇ ra, laser sensor, thermal imager, radar device Inf- rarotski etc., is formed.
  • the image area BIB is again contained, in which lanes FS, GL detected in relation to the depicted traffic lane area FSB, GLB lie substantially at the same location and starting from these proportions of the detected lanes FS, GL using the Kantenerkennungsalgo ⁇ algorithms of the course of the loading took advantage of the railway vehicle BFZ, SFZ lane FS, GL is detected by a changing in the captured image image portion of the lane FS, GL to the detected picture ,
  • a third image section BAS3 is contained in the images BI FSB , BI GLB , in which the object OBJ is ⁇ .
  • FIGURE 3 shows the basic structure of the Consul analysesvor- direction BAV for the lane-based image analysis for Stre ⁇ ckenstrom- and route-detection according to the FIGURE 1 and for object recognition according to the FIGURE 2, when the rail vehicle BFZ, SFZ, which on the lane FS , GL is on the road, according to the FIGURE 1 of the track system SAL or the signal giving or leading system AL on the railway line
  • the image recording device BAZG is preferably designed to be pivotable for alignment with the image object.
  • image recording devices BAZG the same design, eg multiple video cameras, or devices un ⁇ ferent type, eg multiple video cameras, laser sensors, RADAR-based, based on radio-based location and distance ⁇ measurement sensors, infrared cameras and / or thermal imaging cameras, are included in the image analysis device BAV, which receive the images BI FSB, BI GLB.
  • Such a multiple execution of the image recording or Profakquirie- tion may be relevant for redundancy purposes, among others.
  • a correction component KOK be included with the weather and Hellig ⁇ keitschal for the evaluation of the photographic material.
  • this component it is possible, for example, to limit the evaluation of video images to the first 50 meters in front of the rail vehicle in heavy fog and to throttle the speed of the rail vehicle accordingly.
  • a focal length variation component BVK in depen ⁇ dependence on the environment (eg station, city, country, etc.) and the speed chooses the right angle, so the evaluation of the image optimally under support alarm ⁇ zen.
  • ⁇ to additionally particularly interesting areas along the railway track in the rail network SST SNE can be focused by fusion of image data and link data, such as a railway crossing.
  • a lighting component BLK which is formed for example as a spotlight operating inside or outside the human visual range, and by which the quality of the captured from the image recording device or the image acquisition apparatus BAZG at night or in bad Witte ⁇ tion picture material improves .
  • the images thus captured are stored by the image recording device BAZG in an image storage device BSPE.
  • This image storage device BSPE is either connected according to option "A" as a component of the image analysis device BAV with the image recording device BAZG or according to option "B" outside the image analysis device BAV, eg as a storage database, in the railcar or in a data cloud associated with the image recording device BAZG or .with this connectable.
  • the image recorder BAZG is connected to a calculation / evaluation BAWE, which is also a component of the image analysis device BAV is.
  • the calculation / Ausenseeinrich- tung BAWE as the image recording apparatus BAZG either ge ⁇ Telss with said image memory means BSPE option "A" connected to or assigned according to option "B” of the image memory means BSPE or connectable therewith.
  • an information database IDB For the formation of a complete functional unit, in which the subunits involved functionally cooperate, said functional subunit is extended by a further subunit, an information database IDB.
  • the information database IDB can thereby be beispielswei ⁇ se integrated with the image storage device BSPE as a structural unit in a common storage device.
  • memory ⁇ apparatus may in turn, as the image storage device BSPE, either in accordance with option "A” as a component of the image analysis device BAV with the image recording apparatus BAZG and the calculation / evaluation BAWE connected accordingly or in accordance with option " B "outside the image analysis device BAV in the railcar or in a data cloud the image recording device BAZG and the calculation / evaluation device BAWE assigned to or be connected to this.
  • option "A" a component of the image analysis device BAV with the image recording apparatus BAZG and the calculation / evaluation BAWE connected accordingly
  • option " B outside the image analysis device BAV in the railcar or in a data cloud the image recording device BAZG and the calculation / evaluation device BAWE assigned to or be connected to this.
  • image meta information BMI which in the literal sense includes feature and property data of the traffic lane area FSB, GLB detected in the images BI FSB , BI GLB , is stored.
  • the Informationsda ⁇ tenbank IDB of the image analysis apparatus BAV is assigned in such a way and with this connected, as the calculation / evaluation BAWE ausensegeSysteme for the calculation / and lane-based image analysis for Streckenstrom- / Streckenverlauf- / Obj ect recognition accesses the image meta information BMI stored in the information database IDB.
  • the information database IDB is preferably outside the Marsh analysesvorrich ⁇ tion BAV, eg as a database, arranged in the railcar or is designed as a data cloud.
  • the calculation / evaluation device BAWE preferably has a non-volatile, readable memory SP in which processor-readable control program instructions of a picture analysis for route / route / Obj ect recognition-controlling program module PGM are stored, and a processor PZ, which executes the control program commands of the program module PGM for the calculation / evaluation-based and lane-based image analysis for track / route / Obj ekt recognition performs.
  • the processor accesses in addition - in addition to the accesses to the image-BMI meta information in the information database IDB - for control purposes and for reading out data to the image recording device and the image BAZG spoke pure Rich ⁇ tung BSPE to.
  • the lane-based image analysis in the calculation / evaluation BAWE advantageously such that in the image BI FSB , BI GLB is recognized where the Signaling system SI, AL or the track system SAL can be found by
  • BI FSB BI GLB is identified, in which a distinctive Anlagenmerk ⁇ times the track system SAL or the signal SI of the system AL can be seen, 2) the first image section BAS1 is determined in the image subregion BTB, through which the traffic lane FS, GL used by the railway vehicle BFZ, SFZ performs,
  • Meta information BMI and a standard edge detection algorithm is attempted to detect the outer edges of the track system SAL or the signal system SI, AL in the distance 3) determined by the lane FS, GL until the known and recognized outer edge substantially überde ⁇ bridges ,
  • the calculation / evaluation device BAWE in the lane-based image analysis continues to be such in an advantageous manner designed that in the image BI FSB / BI GLB is detected, in which direction, in particular LEFT, RIGHT or STRAIGHT ⁇ OFF, the railway vehicle BFZ, SFZ drives by for the detected from the detected course lane FS, GL
  • a pseudo-GERADEAUS lane in particular a pseudo-GERADEAUS track, is artificially generated by linear updating of the lane FS, GL used by the railway vehicle BFZ, SFZ in accordance with the image area BIB,
  • a LEFT direction eg a LEFT curve, is recognized when the used lane FS, GL is to the left of the pseudo-GERADEAUS lane,
  • a RIGHT direction e.g. a right-hand turn, is recognized when the used lane FS, GL is to the right of the pseudo-straight lane.
  • calculation / evaluation device BAWE in the case of lane-based image analysis is furthermore advantageously designed in such a way that in the image
  • BI FSB BI GLB is detected, whether at least one object OBJ, which may be, for example, a person, an animal, a movable or stationary object on the used lane FS, GL by
  • the calculation / evaluation device BAWE designed accordingly that in the image BI ⁇ SB ⁇ BI GLB is detected, how far the railway vehicle BFZ, SFZ is spaced from the object OBJ on the used lane FS, GL has been recognized by the one of a pixel width of the lane FS, G) in the image area BIB and a pixel width of the lane FS, GL in the third
  • Image section BAS3, in which the object OBJ is located are set in relation to each other, from this ratio and the obtained from the known third metadata width of the lane FS, GL of said distance is calculated.
  • image analyzing device BAV an automated (autonomous) or assisted driving of the railway vehicle or the railway vehicle BFZ SFZ without additional infrastructure along a route as may ⁇ be suspended or even realized. This is especially true if the image analysis device BAV is realized as a virtual machine which is designed and functions in the sense of a " software- defined signal recognition of rail traffic system".

Abstract

The aim of the invention is to improve the automatic (autonomous) or supported travel of track-bound vehicles (BFZ) or rail vehicles (SFZ) without additional infrastructure along a route. This is achieved in that on the basis of multiple images (BIFSB, BIGLB) that represent a track/rail region (FSB, GLB) in an image region (BIB), which is produced in each image and in which captured tracks/rails (FS, GL) lie substantially in the same location relative to the graphically displayed track/rail region (FSB, GLB), the course of a track/rail (FS, GL) used by the rail vehicle through a track/rail image section which changes in the captured image relative to the total captured image is detected on the basis of the sections of the captured tracks/rails in the image region (BIB) using edge detection algorithms and is compared with stored known meta-information (MI), wherein the meta-information contains both track-related or rail-related primary metadata as well as track route-related or rail route-related secondary metadata.

Description

Beschreibung description
Verfahren, Vorrichtung und Bahnfahrzeug, insbesondere Schie¬ nenfahrzeug, zur fahrspurbasierten Bildanalyse im Bahnver- kehr, insbesondere zur gleisbasierten Bildanalyse im Schie¬ nenverkehr Process, apparatus and rail vehicle, in particular sliding ¬ nenfahrzeug, the lane based image analysis in the dispatch rail traffic, in particular for track-based image analysis slide ¬ nenverkehr
Die Erfindung bezieht sich auf ein Verfahren zur fahrspurbasierten Bildanalyse im Bahnverkehr, insbesondere zur gleisba- sierten Bildanalyse im Schienenverkehr gemäß dem Oberbegriff des Patentanspruches 1, eine Vorrichtung zur fahrspurbasierten Bildanalyse im Bahnverkehr, insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr gemäß dem Oberbegriff des Patentanspruches 11 und ein Bahnfahrzeug zur fahrspurbasier- ten Bildanalyse im Bahnverkehr, insbesondere Schienenfahrzeug zur gleisbasierten Bildanalyse im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 26. The invention relates to a method for lane-based image analysis in rail traffic, in particular for track-based image analysis in rail traffic according to the preamble of patent claim 1, an apparatus for lane-based image analysis in rail traffic, especially for track-based image analysis in rail traffic according to the preamble of claim 11 and a Railway vehicle for lane-based image analysis in rail traffic, in particular rail vehicle for track-based image analysis in rail traffic, according to the preamble of claim 26.
Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrs- infrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen) , schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmit- tel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwagen) oder von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet. Rail vehicles are part of a modern traffic infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move. Among the mentioned rail-bound transport and transport means are rail vehicles based on a wheel-rail system which are either pulled or pushed by their own traction drive (railcar) or by a locomotive and predominantly steel wheels with a wheel flange on two steel rails railways are the most widespread.
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, eine Vorrichtung und ein Bahnfahrzeug, insbesonde¬ re Schienenfahrzeug, zur fahrspurbasierten Bildanalyse im Bahnverkehr, insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr, anzugeben, mit dem bzw. der das automatisierte (autonome) oder unterstützte Fahren der Bahnfahrzeuge bzw. Schienenfahrzeuge ohne zusätzliche Infrastruktur entlang einer Fahrstrecke verbessert wird. The underlying the invention object is to provide a method, a device and a railway vehicle, insbesonde ¬ re rail vehicle, to specify the lane based image analysis in rail traffic, in particular for track-based image analysis in rail transport, with or automated (autonomous) or assisted driving the railway vehicles Rail vehicles without additional infrastructure along a route is improved.
Das Durchführen einer fahrspurbasierten Bildanalyse im Bahn- verkehr, insbesondere einer gleisbasierten Bildanalyse imCarrying out a lane-based image analysis in railway traffic, in particular a track-based image analysis in railway traffic
Schienenverkehr, was Gegenstand der vorliegenden Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentli- chungs-Nr. WO ...) und der dazu prioritätsbegründenden DE- Patentanmeldung (Anmeldung-Nr. 102016224331.4) ist, ist im Hinblick auf ein zukünftiges automatisiertes (autonomes) oder unterstütztes Fahren von Bahnfahrzeugen im Bahnverkehr respektive Schienenfahrzeugen im Schienenverkehr eine für den besagten angestrebten Zweck sinnvolle Verbesserung. So ist es für das automatisierte oder unterstützte Fahren von Bahn-/Schienenfahrzeugen ohne zusätzliche Infrastruktur entlang der Strecke notwendig, Bilder vom Fahrzeug aus, insbe¬ sondere aus der Perspektive des Triebwagenführers, automati¬ siert auszuwerten. Diese Bilder können von mindestens einem Bildaufzeichnungsgerät, vorzugsweise aber mehreren Geräte, z.B. Videokameras, Lasersensoren, Radar-Einrichtungen Wärmebildkameras oder anderen Bildakquisitionsgeräten, stammen. Railway transport, which is the subject of the present International Patent Application (Application No. PCT / ...; Publication No. WO ...) and the priority patent application DE (Application No. 102016224331.4), is with regard to a future automated (autonomous) or assisted driving of rail vehicles in rail traffic or rail vehicles in rail transport meaningful improvement for the stated purpose. So it is necessary for automated or assisted driving of the train / rail vehicles without additional infrastructure along the route, evaluate images from the vehicle, in particular ¬ sondere from the perspective of railcars leader automatic ¬ Siert. These images may be from at least one imaging device, but preferably from multiple devices, such as video cameras, laser sensors, radar devices, thermal imaging cameras, or other image acquisition devices.
Das Problem des automatisierten Fahrens wurde bisher durch aufwändige Zusatzinvestitionen in die Streckeninfrastruktur wie Induktionsschleifen, Rechner entlang der Strecke und Kommunikationsanlagen zwischen Zug und Streckenkomponenten realisiert . Es ist aber nicht nur der Aspekt der fahrspur-/gleisbasierten Bildanalyse, der für das zukünftige automatisierte (autonome) oder unterstützte Fahren von Bedeutung ist, sondern auch die nachfolgenden technischen Aspekte, die allesamt mehr oder weniger in einem technischen Kontext mit der vorliegenden Pa- tentanmeldung stehen und deshalb aufgeführt und deren Inhalte vor diesem Hintergrund zu berücksichtigen und ggf. sogar zu inkludieren sind. Es handelt sich um die Aspekte: The problem of automated driving has so far been realized through costly additional investments in the route infrastructure such as induction loops, computers along the route and communication systems between train and route components. However, it is not only the aspect of lane / track-based image analysis that is important for future automated (autonomous) or assisted driving, but also the following technical aspects, all more or less in a technical context with the present invention. and therefore listed and their contents have to be taken into account against this background and may even be included. These are the aspects:
1) Das automatische Erkennen von Signalen im Bahn- /Schienenverkehr gemäß der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2016/057804 ; Veröffentlichungs-Nr . WO 2017/174155 AI) und der darin offenbarten technischen Lehre. 1) The automatic recognition of signals in rail / rail traffic according to International Patent Application (Application No. PCT / EP2016 / 057804, Publication No. WO 2017/174155 Al) and the technical teaching disclosed therein.
2) Das automatische Erkennen von Gefahrensituationen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224358.6) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 2) The automatic recognition of hazardous situations in rail / rail traffic according to DE patent application (application No. 102016224358.6) and International patent application (application No. PCT / ..., publication No. WO ...) and the therein respectively disclosed technical teaching.
3) Das automatische Erkennen von Hindernissen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224344.6) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 4) Das alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbe¬ stimmung versagt oder unzureichend ist, gemäß der DE- Patentanmeldung (Anmeldung-Nr. 102016224355.1) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentli- chungs-Nr. WO ...) und der darin jeweils offenbarten technischen Lehre. 3) The automatic detection of obstacles in rail / rail traffic according to DE patent application (application No. 102016224344.6) and International Patent Application (application No. PCT / ..., Publication No. WO ...) and the therein respectively disclosed technical teaching. 4) The alternative determining positions in the rail when a conventional satellite-based Positionsbe ¬ humor fails or is insufficient, (in accordance with the DE patent application Application No. 102016224355.1) and the International patent application (application number PCT / ...,.. Veröffentli - Chungs No. WO ...) and the technical teaching disclosed therein.
5) Das automatische Erkennen von Fahrspuren/Gleisen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224335.7) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre. 5) The automatic recognition of lanes / tracks in railway / rail traffic according to DE patent application (application No. 102016224335.7) and International patent application (application No. PCT / ...; publication No. WO ...) and the technical teaching disclosed therein.
Die vorstehend genannte kontextbezogene Aufgabe wird ausge- hend von dem im Oberbegriff des Patentanspruchs 1 definierten Bildanalyseverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst. Darüber hinaus wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von der im Oberbegriff des Patentanspruchs 11 definierten Bildanalysevorrichtung durch die im Kennzei- chen des Patentanspruches 11 angegebenen Merkmale gelöst. The above-mentioned context-related object is achieved on the basis of the image analysis method defined in the preamble of patent claim 1 by the features specified in the characterizing part of patent claim 1. In addition, the above-mentioned contextual object is achieved on the basis of the image analysis device defined in the preamble of patent claim 11 by the features specified in the characterizing part of claim 11.
Weiterhin wird die vorstehend genannte kontextbezogene Aufga¬ be ausgehend von dem im Oberbegriff des Patentanspruchs 26 definierten Bahnfahrzeug, insbesondere Schienenfahrzeug, durch die im Kennzeichen des Patentanspruches 26 angegebenen Merkmale gelöst. Furthermore, the above-mentioned contextual Aufga ¬ be, starting from the defined in the preamble of claim 26 railway vehicle, in particular rail vehicle, achieved by the features specified in characterizing portion of claim 26 features.
Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 11 und 26 zugrundeliegenden Idee besteht darin, auf Basis meh- rerer einen Fahrspur-/Gleisbereich repräsentierenden Bilder in einem in den Bildern jeweils ausgemachten Bildbereich, in dem in Bezug auf den bildlich dargestellten Fahrspur-/Gleis- bereich erfasste Fahrspuren/Gleise im Wesentlichen an einer gleichen Stelle liegen, ausgehend von den Anteilen der er- fassten Fahrspuren/Gleise in dem Bildbereich mit Hilfe vonThe idea underlying the invention according to the independent claims 1, 11 and 26 is based on several images representing a traffic lane / track area in an image area respectively identified in the images, in relation to the depicted lane / track Lanes / tracks detected in the area essentially lie in the same place, starting from the proportions of the detected lanes / tracks in the image area with the aid of
Kantenerkennungsalgorithmen den Verlauf einer Fahrspur/eines Gleises, welches von dem Bahnfahrzeug genutzt wird, durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur/des Gleises zum erfassten Gesamtbild zu erkennen und mit gespeicherten bekannten Bild-Metainformationen abzugleichen, wobei diese sowohl fahrspurbezogene respektive gleis¬ bezogene Primär-Metadaten als auch bahnstreckenbezogene res¬ pektive schienenstreckenbezogene Sekundär-Metadaten enthal¬ ten . Edge detection algorithms to recognize the course of a lane / track, which is used by the railway vehicle by a changing in the captured image portion of the lane / track to the entire picture captured and compared with stored known image metadata, these both lane-related or track ¬ related primary metadata as well as railway-related res ¬ pective rail-track related secondary metadata enthal ¬ th.
Die Bild-Metainformationen beinhalten dabei dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bildern erfassten Fahrspur-/Gleisbereiches . Das Grundprinzip der Erfindung ist es dabei, durch eine automatisierte Auswertung der Bilder einen in dem jeweiligen Bild sichtbaren Teil der befahrenen Fahrspur/des befahrenen Gleises zu erkennen, damit vorzugsweise (in vorteilhaften Weiterbildungen) die nachfolgenden Ziele erreicht werden: In the literal sense, the image meta information includes feature and characteristic data of the lane / track area recorded in the images. The basic principle of the invention is, by means of an automated evaluation of the images, a part of the traffic lane / traffic lane that is visible in the respective image Identify tracks so that preferably (in advantageous developments) the following objectives are achieved:
I. Erkennung, wo im Bild Vor- und Hauptsignale für einen Fahrbetrieb zu finden sind. I. Detection, where in the picture pre and main signals are to be found for a driving operation.
II. Erkennung, ob ein Fahrweg nach LINKS, GERADEAUS, RECHTS weiterführt .  II. Detection of whether a track continues to LEFT, STRAIGHT, RIGHT.
III. Erkennung, ob sich Personen auf einer Fahrspur/einem Gleis befinden.  III. Detecting if people are on a lane / track.
IV. Erkennung, wie weit ein Bahnfahrzeug von einem Objekt entfernt ist. IV. Detecting how far a railway vehicle is from an object.
V. Erkennung, ob unzulässige Objekte auf einer Fahrspur/einem Gleis liegen. Ziel dabei ist es jeweils, einen Beitrag zum vollautomati¬ sierten Fahren ohne zusätzliche Investitionen in die Streckeninfrastruktur zu ermöglichen. V. Detection of impermissible objects on a lane / track. The goal in each case is to allow a contribution to the fully automatic ¬ terraced driving without additional investment in the track infrastructure.
Die automatisierte Auswertung von Bildern, die vom Fahrzeug aus, insbesondere aus der Perspektive des Triebwagenführers und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug, erfasst werden, erfolgte bisher nur pauschal durch Analyse des "vor dem Fahrzeug liegenden Berei¬ ches" ohne detaillierten Bezug auf die Fahrspur/das Gleis im Bild. Sie lässt sich aber in vorteilhafter Weise zumindest teilweise durch folgende Schritten erreichen: The automated evaluation of images that are captured from the vehicle, particularly from the perspective of the motor car guide and / or of a stationary fahrspurobservierenden position in or on the vehicle, was performed, so far only rate by analysis of the "front of the vehicle lying preparation ¬ ches" without detailed reference to the lane / track in the picture. However, it can advantageously be achieved at least partially by the following steps:
1. In einem ersten Schritt werden mit Hilfe von mindestens einem Bildaufzeichnungsgerät (z.B. ein oder mehrere Bildak- quisitionsgeräte wie Videokameras, Lasersensoren, Infrarotka¬ mera, Wärmebildkameras, Radar-Einrichtungen, andere Bildak- quisitionsgeräte, etc.) eine Vielzahl von Bildern vom Bahn¬ fahrzeug aus, z.B. aus Perspektive des Triebwagenführers, er¬ fasst bzw. aufgenommen. 1. In a first step, (a, for example, or more Bildak- quisitionsgeräte such as video cameras, laser sensors, Infrarotka ¬ ra, thermal imaging cameras, radar devices, other Bildak- quisitionsgeräte, etc.) with the aid of at least one image recording apparatus a plurality of images from the web ¬ vehicle from, for example, from the perspective of the railcar driver, he ¬ summarized or recorded.
Die mehrfache Ausführung ist vor allem für Redundanzzwecke relevant . a. In einer Abwandlung oder Weiterbildung, Erweiterung der Erfindung können aber auch Bilder von mehreren Bildaufzeichnungsgeräten bzw. Bildakquisitionsgeräten der gleichen Art (z.B. zwei Videokameras) zur wechselseitigen Validierung und Synthese der Ergebnisse verwendet werden. b. In einer weiteren Abwandlung oder Weiterbildung, Erweiterung der Erfindung können aber auch Bilder von mehreren Bildaufzeichnungsgeräten bzw. Bildakquisitionsgeräten unter- schiedlicher Art (z.B. eine Videokamera und eine Wärmebildka¬ mera) zur wechselseitigen Validierung und Synthese der Ergebnisse verwendet werden. c. In einer weiteren Abwandlung oder Weiterbildung, Erweite- rung der Erfindung können nicht bildgebende Sensoren wie beispielsweise Radar, Ultraschall oder Laser zu Validierung der Bildinformation genutzt werden. The multiple execution is mainly relevant for redundancy purposes. a. In a modification or further development, extension of the invention but also images of several image recording devices or image acquisition devices of the same type (eg, two video cameras) for mutual validation and synthesis of the results can be used. b. In a further modification, or further, extension of the invention but also images of a plurality of image recording devices and image acquisition devices of different type (eg, a video camera and a Wärmebildka ¬ ra) may be used for mutual validation and synthesis of the results. c. In a further modification or development, extension of the invention, non-imaging sensors such as radar, ultrasound or laser can be used to validate the image information.
2. In einem zweiten Schritt wird der Bereich am nahen unteren Bildrand betrachtet, weil dort die Fahrspuren/Gleise im We¬ sentlichen an der gleichen Stelle liegen, Dabei ist es vorzugsweise der Fall, dass das Bildaufzeichnungsgerät fest in dem Bahnfahrzeug/Schienenfahrzeug montiert ist. Durch Kanten¬ erkennungsalgorithmen, die bei einer Standardbildverarbeitung verwendet werden, kann der Verlauf der befahren Fahrspur/des befahrenen Gleises ausgehend von den Anteilen Fahrspur/des Gleises am unteren Bildrand erkannt werden. a. In einer Optimierung kann der maximale Biegegrad von Fahr- spuren/Gleisen berücksichtigt werden, um Falscherkennungen von Gleisen zu vermeiden) . 2. In a second step, the area at the near bottom of the screen is considered, because the lanes / tracks there are within We ¬ sentlichen at the same location, while it is preferably the case that the image recording apparatus is fixedly mounted in the railway vehicle / rail vehicle. ¬ by edge detection algorithms, which are used in a standard image processing, the profile of the lane traveled / busy of the track can be detected on the proportions lane / the track at the bottom of starting. a. In an optimization, the maximum degree of bending of tracks / tracks can be taken into account in order to avoid false identifications of tracks).
b. In einer weiteren Optimierung kann die befahrene Fahrspur/das befahrene Gleis auch über Weichen hinweg erkannt werden, in dem die durchgehende Führungsschiene des Gleises erkannt wird. b. In a further optimization, the traveled lane / track can also be detected across points, in which the continuous guide rail of the track is detected.
3. In einem dritten Schritt werden Metadaten über die Fahrspur/das Gleis, die bekannt sind, herangezogen, insbesondere der Abstand der parallel verlegten Schienen sowie die Breite des Schienenkopfes. 3. In a third step, metadata about the lane / track known is used, in particular the distance between the parallel laid rails and the width of the rail head.
4. In einem dritten Schritt werden Metadaten über die Fahr- strecke, die bekannt sind, herangezogen, z.B. an welchen geo¬ graphischen Positionen sich Bahnübergänge, Weichen oder Signalanlagen befinden. 4. In a third step, metadata about the route, which are known, are used, for example at which geo ¬ graphical positions railroad crossings, points or signal systems are.
5. Auf Basis der vorgenannten Daten und Schritte lassen sich die vorstehend genannten fünf Ziele I...V. 5. On the basis of the above data and steps, the above five objectives I ... V.
I. Erkennung, wo im Bild Vor- und Hauptsignale für einen Fahrbetrieb zu finden sind I. Detection, where in the picture pre and main signals are to be found for a driving operation
i. Aufgrund der aktuellen geographischen Position [dem Bahn- fahrzeug/Schienenfahrzeug sind die diesbezüglichen Ortskoor¬ dinaten auf Basis von GPS-Daten oder Positionsbestimmungsda¬ ten gemäß der DE-Patentanmeldung (Anmeldung-Nr. ...) bekannt] lässt sich zunächst der Bereich im Bild erkennen, in dem ein Signal zu erkennen ist. i. Due to the current geographical position [for the railway vehicle / rail car are the relevant Ortskoor ¬ ordinates based on GPS data or Positionsbestimmungsda ¬ th according to the German patent application (application no. ...) known] can first of area Detect image in which a signal is detected.
ii . Dann wird bestimmt, wo in diesem Bereich das befahrene Gleis durchführt (Ergebnis der Daten aus Schritt 2) ii. Then it is determined, where in this area the busy track performs (result of the data from step 2)
iii . Metadaten über den Abstand der Signalanlage können dann wie folgt verwendet werden. iii. Metadata about the distance of the signal system can then be used as follows.
1. Im relevanten Bildabschnitt weiß man auf Basis der Fahr- spur-/Gleisbreite wie weit die Signalanlage horizontal und vertikal vom Gleis entfernt ist.  1. In the relevant section of the picture, it is possible to know on the basis of the lane / track width how far the signal system is horizontally and vertically away from the track.
2. Weiterhin sind die Außenkanten der Signalanlage bekannt. 2. Furthermore, the outer edges of the signal system are known.
3. Nun wird in kurzen Entfernungsabständen vom Fahrzeug mit Hilfe eines Standardkantenerkennungsalgorithmus versucht, die Außenkanten der Signalanlage im bekannten Abstand von der Fahrspur/vom Gleis zu erkennen und zwar so lange, bis eine gute Überdeckung gefunden wurde. Dort befindet sich dann die gesuchte Signalanlage. II. Erkennung, ob ein Fahrweg nach LINKS oder GERADEAUS oder RECHTS weiterführt 3. Now, at short distances from the vehicle using a standard edge detection algorithm, it is attempted to detect the outer edges of the signal system at a known distance from the lane / track, until a good coverage has been found. There is then the searched signal system. II. Detection of whether a route continues to the LEFT or STRAIGHT AHEAD or RIGHT
i. Die befahrene Fahrspur/das befahrene Gleis ist aus Schritt 2) erkannt. ii . Eine gedachte Fahrspur/ein gedachtes Gleis GERADEAUS kann leicht künstlich erzeugt werden, da die bekannte befahrene Fahrspur/das bekannte befahrene Gleis am unteren Bildrand nur linear fortgeschrieben werden muss. i. The busy lane / the busy track is detected from step 2). ii. An imaginary lane / a planned track GERADEAUS can easily be generated artificially, since the well-known busy lane / the well-known track at the bottom of the picture must be updated only linearly.
iii. Dann kann die befahrene Fahrspur/das befahrene Gleis mit der gedachten "GERADEAUS-Fahrspur" /mit dem gedachten "GERADE- AUS-Gleis" verglichen werden. iii. Then the traveled lane / track can be compared with the imaginary "STRAIGHT SEE lane" / with the imaginary "STRAIGHT OFF track".
1. Sind die befahrene Fahrspur/das befahrene Gleis und die gedachten "GERADEAUS-Fahrspur" /das gedachten "GERADEAUS-1. Are the traffic lane / track and the imaginary "STRAIGHT SEE lane" / imaginary "STRAIGHT ELEMENT"
Gleis" identisch, so führt die befahrene Fahrspur/das befah¬ rene Gleis GERADEAUS. Track "are identical, the traffic lane / the befah ¬ rene track leads straight.
2. Liegt die befahrene Fahrspur/das befahrene Gleis LINKS von der gedachten "GERADEAUS-Fahrspur" /dem gedachten "GERADEAUS- Gleis", so handelt es sich um eine Linkskurve. Aus dem Ab¬ stand des befahrenen Gleises von der gedachten "GERADEAUS- Fahrspur" /dem gedachten "GERADEAUS-Gleis " sowie dem Abstand vom Fahrzeug (errechenbar aus der Breite der Fahrspur/des Gleises am unteren Bildrand und der Breite der Fahrspur/des Gleises im jeweils relevanten Bildabschnitt) kann der Grad der Linkskrümmung berechnet werden. 2. If the busy lane / track LINKS is from the imaginary "STRAIGHT SEE lane" / the imaginary "STRAIGHT SEE track", then it is a left turn. From the Ab ¬ state of the traffic track of the intended "straight ahead lane" / a "STRAIGHT-track" and the distance from the vehicle (imaginary be calculated from the width of the lane / the track at the lower edge and the width of the lane / the track in each relevant image section), the degree of left curvature can be calculated.
3. Für den Fall, dass die befahrene Fahrspur/das befahrene Gleis RECHTS von der gedachten "GERADEAUS-Fahrspur" /dem gedachten "GERADEAUS-Gleis" liegt, siehe vorhergehenden Punkt.  3. In the event that the traffic lane / track is located RIGHT from the imaginary "STRAIGHT SEA Lane" / imaginary "STRAIGHT EAST track", see previous point.
Neben der Erkennung, ob ein Fahrweg nach LINKS oder GERADEAUS oder RECHTS weiterführt, gibt es auch noch den Fall, dass Weichen im Bild sind und diese natürlich den weiteren Fahrweg beeinflussen. In diesem Zusammenhang wird auf das Durchführen einer automatische Erkennung von Fahrspuren/Gleisen im Bahn- /Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224335.7) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröffentlichungs-Nr . WO ...) und der darin jeweils offenbarten technischen Lehre verwiesen. In addition to detecting whether a track continues to LEFT or STRAIGHT or RIGHT, there is also the case that switches are in the picture and these, of course, influence the further track. In this connection, reference is made to performing automatic recognition of lanes / tracks in rail / rail traffic according to German Patent Application (Application No. 102016224335.7) and International Patent Application (Application No. PCT / ...; Publication no. WO ...) and the technical teaching disclosed therein.
III. Erkennung, ob sich Personen auf einer Fahrspur/einem Gleis befinden i . Die übliche Größe eines Menschen (von Kleinkind (70 cm) bis großer Mann (220 cm)) kann ins Verhältnis zur Fahrspur- /Gleisbreite gesetzt werden. III. Detecting if people are on a lane / track i. The usual height of a human (from toddler (70 cm) to tall man (220 cm)) can be related to the lane / track width.
ii . Dann kann die befahrene Fahrspur/das befahrene Gleis im Bild sowie ein kritischer Bereich links und rechts der Fahrspur/des Gleises in mehrere Analyseabschnitte mit steigendem Abstand vom Fahrzeug eingeteilt werden. (Der kritische Be¬ reich kann je nach Umgebung der Fahrspur/des Gleises (Stadt¬ gebiet vs . Land) unterschiedliche breit definiert werden). Dann kann im jeweiligen Analyseabschnitt ein Standard-ii. Then the busy lane / track in the picture and a critical area to the left and right of the lane / track can be divided into several analysis sections with increasing distance from the vehicle. (The critical loading can ¬ rich depending on the environment of the lane / the track (town ¬ area vs. Country) different be broadly defined). Then, in the respective analysis section, a standard
Pattern-Algorithmus zur Erkennung von Personen verwendet wer¬ den . Pattern algorithm used to identify persons who ¬ .
1. In einer weiteren Optimierung können die Analyseabschnitte von mehreren aufeinanderfolgenden Bildern in Beziehung gesetzt werden, um Bewegung von Personen zu erkennen und deren Bewegung zu verfolgen um potentielle Kollisionen voraus zu berechnen . IV. Erkennung, wie weit ein Bahnfahrzeug von einem Objekt entfernt ist 1. In a further optimization, the analysis sections of several consecutive images can be related to detect movement of persons and track their movement to predict potential collisions. IV. Detecting how far a railway vehicle is from an object
i . Nehmen wir an, ein Objekt wird auf einer Fahrspur/einem Gleis oder im kritischen Bereich neben der Fahrspur/dem Gleis erkannt . i. Suppose an object is detected on a lane / track or in the critical area next to the lane / track.
ii . Dann muss die Pixelbreite der Fahrspur/des Gleises aufii. Then the pixel width of the lane / track has to
Höhe des Objekts zur Pixelbreite der Fahrspur/des Gleises am unteren Bildrand in Beziehung gesetzt werden. Aus dem Verhältnis und der bekannten Breite der Fahrspur/des Gleises lässt sich der Abstand zum Objekt berechnen. Height of the object to the pixel width of the lane / track at the bottom of the image. From the ratio and the known width of the lane / track, the distance to the object can be calculated.
V . Erkennung, ob unzulässige Objekte auf einer Fahrspur/einem Gleis liegen V. Detecting if prohibited objects are on a lane / track
Objekte, die auf der Fahrspur/Gleis liegen können dadurch er¬ kannt werden, dass bei Schritt 2 der Kantenerkennungsalgo- rithmus für Fahrspuren/Gleise fehlschlägt. Objects that can be characterized ¬ he recognized that in Step 2 of the algorithm for Kantenerkennungsalgo- lanes / tracks fails lying on the lane / track.
In einer Abwandlung oder Weiterbildung, Erweiterung kann das regelmäßige Muster der Fahrspur/zwischen den Gleisen, das durch einen Fahrspurträger/Gleisträger gebildet wird, als Grundlage für die Erkennung von Unregelmäßigkeiten verwendet werden . Wird eine Unregelmäßigkeit erkannt (z.B. Balise oder In a modification or extension, the regular pattern of the lane / between the tracks, the is formed by a lane carrier / track carrier, used as a basis for the detection of irregularities. If an irregularity is detected (eg Balise or
spielendes Kind) , so kann in einem zweiten Schritt die Zuläs- sigkeit der Unregelmäßigkeit durch einen Abgleich mit einer Bilddatenbank erfolgen. Z.B. können in einem Initialisierungslauf über alle Bilder einer Strecke alle Unregelmäßig- keiten erfasst und danach zum Abgleich bereitgestellt werden. playing child), then in a second step the permissibility of the irregularity can take place by comparison with an image database. For example, In an initialization run, all irregularities can be recorded over all images of a route and then provided for adjustment.
Durch vorstehend skizzierte Erkennung der Fahrspur/des Glei¬ ses kann erreicht werden, dass: By outlined above recognition of the lane / Glei ¬ ses can be achieved that:
- Vor- und Hauptsignale leichter erkannt werden.  - Pre and main signals are more easily detected.
- Die Links- oder Rechtskrümmung einer Fahrspur/eines Gleises erkannt werden kann. - The left or right curvature of a lane / a track can be detected.
- Die Erkennung von Personen auf einer Fahrspur/einem Gleis erleichtert wird.  - The detection of people on a lane / track is facilitated.
- Der Abstand eine Bahnfahrzeugs von Objekten/Personen auf einer Fahrspur/einem Gleis oder im kritischen Bereich links oder neben der Fahrspur/dem Gleis berechnet werden kann.  - The distance of a railway vehicle from objects / persons on a lane / track or in the critical area to the left or next to the lane / track can be calculated.
- Die Verfolgung der Objekte/Personen (Tracking) im kritischen Bildbereich die Berechnung möglicher Kollisionen vereinfacht wird.  - The tracking of objects / people (tracking) in the critical image area the calculation of possible collisions is simplified.
- Analysegegenstände bei ungünstigen Sichtbedingungen zuverlässiger erkannt werden können als durch Triebfahrzeugführer.- Analysis objects under unfavorable visibility conditions can be detected more reliably than by train drivers.
- Triebfahrzeugführer nicht mehr für das Erkennen der beschriebenen Analysegegenstände benötigt werden, so dass unab¬ hängig von deren Verfügbarkeit gefahren werden kann. - driver no longer needed for the recognition of analysis items described so that it can be driven by the availability inde ¬ pending.
Im Zuge einer vorteilhaften Weiterbildung der Erfindung können in Bezug auf die Bildanalysevorrichtung nach Anspruch 11 noch folgende zusätzlichen Komponenten - a) bis c ) für das Bildaufzeichnungsgerät (z.B. das Bildakquisitionsgerät ) - verwendet werden: a . Eine Korrekturkomponente gemäß Anspruch 21, die Wetter¬ und Helligkeitsdaten für die Auswertung des Bildmaterials mit einbezieht. Damit kann beispielsweise bei starkem Nebel, die Auswertung von Videobildern auf die ersten 50 Meter vor dem Bahnfahrzeug bzw. Schienenfahrzeug begrenzt werden und die Geschwindigkeit des Fahrzeuges entsprechend gedrosselt wer- den . b . Eine Brennweiteveränderungskomponente gemäß Anspruch 22, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtge¬ biet, Land, etc.) und der Geschwindigkeit den richtigen Auf- nahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Zum Beispiel können dann sowohl Aufnahmesitua- tionen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagie¬ ren zu können) als auch Aufnahmesituationen im Bahnhofsbe- reich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. c . Eine Beleuchtungskomponente gemäß Anspruch 23, beispiels¬ weise ein Scheinwerfer der inner- oder außerhalb des mensch- lieh sichtbaren Bereichs arbeitet, durch welche sich die Qua¬ lität des von dem Bildaufzeichnungsgerät bzw. Bildakquisiti- onsgerät bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert. Darüber hinaus ist es möglich, dass eine Bildanalysevorrichtung als eine virtuelle Maschine im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausge¬ bildet ist und funktioniert. Weitere Vorteile der Erfindung ergeben sich aus der nachfol¬ genden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUREN 1 bis 3. Diese zeigen: In the course of an advantageous development of the invention, the following additional components - a) to c) for the image recording device (eg the image acquisition device) - may be used in relation to the image analysis device according to claim 11: a. A correction component according to claim 21, weather ¬ and brightness data for the evaluation of the photographic material with includes. Thus, for example, in heavy fog, the evaluation of video images can be limited to the first 50 meters in front of the rail vehicle or rail vehicle and the speed of the vehicle can be throttled accordingly. b. A focal length variation component according to claim 22, depending on the environment (eg station, urban history ¬ Biet, country, etc.) and the speed selector right up acceptance angle, so as to support the evaluation of the image perfectly. For example, both shooting scenes on the open road can then (need pictures from a distance to view reagie ¬ ren due to the speed to be able to) and shooting situations in Bahnhofsbe- rich (need images with a high width) be operated suitable. c. A lighting component according to claim 23, ¬ example, a headlight of the inside or outside of the human visible range lent operates, through which the Qua ¬ formality of onsgerät from the image recording device or Bildakquisiti- at night or in bad weather captured image material improves. Moreover, it is possible that an image analysis device is formed as a virtual machine in the sense of "Software Defined signal recognition of Rail Traffic Systems" ¬ and working. Other advantages of the invention will be apparent from the nachfol ¬ constricting description of an embodiment of the invention with reference to FIGS 1 to 3. These show:
FIGUR 1 eine fahrspurbasierte Bildanalyse zur Erkennung von Streckenanlagen an einer Bahnstrecke und Streckenverläufen, FIGUR 2 eine fahrspurbasierte Bildanalyse zur Objekterkennung einer sich auf einer Fahrspur einer Bahnstrecke befindenden Person, FIGUR 3 einen prinzipiellen Aufbau einer Bildanalysevorrichtung für die gemäß den FIGUREN 1 und 2 fahrspurbasierte Bild¬ analyse . FIG. 1 shows a lane-based image analysis for the recognition of route installations on a railway line and route, FIGURE 2 is a lane-based image analysis for object detection of a residing on a lane of a railway person, FIGURE 3 shows a basic structure of an image analysis device for the lane-based according to FIGS 1 and 2 ¬ image analysis.
FIGUR 1 zeigt eine fahrspurbasierte Bildanalyse zur Erkennung einer Streckenanlage SAL, wie z.B. einen Bahnübergang BÜG,FIG. 1 shows a lane-based image analysis for the recognition of a route system SAL, such as e.g. a railroad crossing BÜG,
Weichen oder eine ein Signal SI gebende oder führende Anlage AL im Bahnverkehr BVK, wenn auf einer abschnittsweise dargestellten Bahnstrecke BST eines Bahnnetzes BNE ein Bahnfahr¬ zeug BFZ sich auf einer Fahrspur FS der Bahnstrecke BST der Signalanlage SI, AL nähert. Bei dieser fahrspurbasierte Bild¬ analyse zur Erkennung der Streckenanlage SAL bzw. der das Signal SI gebenden oder führenden Anlage AL ist es auch, wenngleich in der FIGUR 1 nicht explizit dargestellt, einen Streckenverlauf, d.h. den Verlauf der Fahrspur FS, was Rich- tungen der Fahrspur FS, wie GERADEAUS, LINKS, RECHTS, anbe¬ trifft, zu erkennen. Turnouts or a signal AL giving or leading system AL in railway traffic BVK, when on a railway section BST shown in sections of a railway network BNE a Bahnfahr ¬ tool BFZ on a lane FS of the railway line BST of the signal system SI, AL approaches. In this lane based image ¬ analysis for detection of the path system SAL and the signal SI-giving or leading plant AL, it is also, although not explicitly shown in FIGURE 1, a route, that the course of the lane FS what obligations RICH the Lane FS, as GERADEAUS, LEFT, RIGHT, anbe ¬ applies to recognize.
Gemäß dem vorliegenden Ausführungsbeispiel ist die fahrspur¬ bezogene Bahnstrecke BST des Bahnnetzes BNE eine Schienen- strecke SST eines Schienennetzes SNE, auf dem im Schienen¬ verkehr SVK für eine gleisbasierte Bildanalyse zur Erkennung der Streckenanlage SAL ein Schienenfahrzeug SFZ auf einem Gleis GL unterwegs ist und sich der Streckenanlage SAL auf dem Gleis GL nähert. An die Stelle des dargestellten Schie- nenverkehrs SVK mit dem auf der Schienenstrecke SST des According to the present embodiment, the lane ¬ related railway line BST of the rail network BNE is a rail track SST of a rail network SNE, on which a rail vehicle SFZ on a rail GL and traveling in the rails ¬ traffic SVK for a track-based image analysis to detect the track system SAL is the track system SAL on the track GL approaches. In place of the illustrated rail traffic SVK with that on the railway line SST of
Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der eingangs geführten Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte Bahnverkehrssystem als weiteres Ausführungsbeispiel der Er- findung denk- und vorstellbar. So käme ebenso z.B. ein Magnetschwebebahn-Verkehrssystem (Stw.: Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage . Rail network SNE moving rail vehicle SFZ is here again due to the discussion at the outset any other arbitrary short- or long-distance based rail transport system as a further embodiment of the invention conceivable and conceivable. For example, a maglev system (Stw .: Transrapid, Maglev, etc.) would also have a comparable infrastructure. consisting of railway network, railway line and railway vehicle, in question.
In dem in der FIGUR 1 dargestellten Schienenverkehrssystem ist in einem Triebwagen TRW des Schienenfahrzeugs SFZ mit einem Triebführerstand TFS und einer integrierter Anzeige¬ einrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die gleisbasierte Bildanalyse zur Erkennung der Streckenanlage SAL eine Bildanalysevorrichtung BAV untergebracht. Die Bildanalysevorrichtung BAV beinhaltet hierfür ein vorzugsweise als Sensor ausgebildetes Bildauf¬ zeichnungsgerät BAZG, das z.B. als gewöhnliche Videokamera, Lasersensor, Wärmebildkamera, Radar-Einrichtung, Infrarotkamera etc., ausgebildet ist und wegen Akquirierung von Bil- dern auch als Bildakquisitionsgerät bezeichnet wird. In the rail transport system shown in FIG. 1, a picture analysis device BAV is provided in a railcar TRW of the rail vehicle SFZ with a driver's cab TFS and an integrated display device AZE, in which the workstation of the vehicle driver FZF is located, for the track-based image analysis for recognizing the route system SAL accommodated. The image analysis device BAV includes for this purpose a preferably as a sensor formed image on ¬ drawing device BAZG, which for example is formed as an ordinary video camera, laser sensor, thermal imager, radar equipment, infrared camera, etc., and because of acquisition of pic- tures is also referred to as an image acquisition device.
Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ der Signalanlage SI, AL nähert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspektive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Schienenfahrzeugs SFZ orientierenden, Gleisbereich GLB eine Vielzahl von den Gleisbereich GLB repräsentierenden Bildern B I GLB erfassbar. With the image recording device BAZG, when the rail vehicle SFZ traveling on the track GL approaches the signal system SI, AL, it starts from the rail vehicle SFZ, eg from the perspective of the railcar driver FZF in the driver's seat TFS of the railcar TRW and / or from a stationary, lane-based position in or on the vehicle SFZ, from a track of the rail vehicle SFZ, thereby preferably oriented to the speed of the rail vehicle SFZ, track area GLB a plurality of the track area GLB representing images BI GLB detectable.
Allgemeiner formuliert: In Bezug auf das auf der Fahrspur FS fahrende Bahnfahrzeug BFZ sind von einem dem Bahnfahrzeug BFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Bahnfahrzeugs BFZ orientierenden, Fahrspurbereich FSB eine Vielzahl von den Fahrspurbereich FSB repräsentierenden Bildern B I FSB erfassbar. In den Bildern B I FSB , B I GLB des Fahrspurbereichs FSB, GLB ist jeweils ein Bildbereich B I B enthalten, in dem in Bezug auf den bildlich dargestellten Fahrspurbereich FSB, GLB erfasste Fahrspuren FS, GL im Wesentlichen an einer gleichen Stelle liegen und ausgehend von diesen Anteilen der erfassten Fahrspuren FS, GL mit Hilfe von Kantenerkennungsalgorithmen der Verlauf einer von dem Bahnfahrzeug BFZ, SFZ benutzten Fahrspur FS, GL durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur FS, GL zum erfassten Gesamtbild erkannt wird. Formulated more generally: With regard to the rail vehicle BFZ traveling on the lane FS, a plurality of images BI FSB representing the traffic lane area FSB can be detected by a lane area FSB which is located upstream of the rail vehicle BFZ and preferably orientates itself to the speed of the rail vehicle BFZ. The images BI FSB , BI GLB of the traffic lane area FSB, GLB each contain an image area BIB, in which lanes FS, GL detected in relation to the depicted traffic lane area FSB, GLB are substantially at the same location based on these portions of the detected lanes FS, GL with the aid of edge detection algorithms, the course of a lane FS, GL used by the railway vehicle BFZ, SFZ is detected by an image portion of the lane FS, GL changing in the acquired image to form the captured overall image.
Darüber hinaus ist für eine aktuell ermittelte geografische Position des Bahnfahrzeugs BFZ, SFZ ein Bildteilbereich BTB in den Bildern BIFSB, B I GLB enthalten, in dem das Signal SI der Anlage AL als ein markantes Anlagenmerkmal der Strecken¬ anlage SAL zu erkennen ist. Dieser Bildteilbereich BTB weist wiederum einen ersten Bildabschnitt BAS1, durch den die von dem Bahnfahrzeug BFZ, SFZ genutzte Fahrspur FS, GL durch- führt, und einen zweiten Bildabschnitt BAS2 auf, wobei letz¬ terer für die Streckenverlauf-Erkennung, d.h. das jeweilige Erkennen einer GERADEAUS-Richtung, LINKS-Richtung oder In addition, a partial picture region BTB in the images BI FSB, BI GLB is for a currently determined geographical position of the railway vehicle BFZ, SFZ, in which the signal SI of the plant AL can be seen as a striking abutment feature of the routes ¬ plant SAL. Again, this partial picture region BTB has a first image portion BAS1, by the used of the railway vehicle BFZ, SFZ lane FS, GL throughput leads, and a second image portion BAS2 wherein letz ¬ more excellent for the route-detection, that is, the respective detecting a STRAIGHT-EAUS direction, LEFT-direction or
RECHTS-Richtung der Fahrspur FS, GL relevant ist. Wie jetzt aufgrund der Bilder B I FSB , B Iglb des Fahrspurbe¬ reichs FSB, GLB mit dem darin enthaltenen Bildbereich BIB und dem Bildteilbereich BTB mit den beiden Bildabschnitten BAS 1, BAS 2 die Bildanalyse zur Streckenanlage-Erkennung bzw. der Erkennung der Signalanlage SI, AL und zur Strecken- verlauf-Erkennung durchgeführt wird, wird nachfolgend mit der Beschreibung von FIGUR 3 erläutert. RIGHT direction of the lane FS, GL is relevant. As now based on the images BI FSB , BI glb of Fahrspurbe ¬ richs FSB, GLB with the image area contained therein BIB and the image subregion BTB with the two image sections BAS 1, BAS 2, the image analysis for distance system detection and the detection of the signal system SI, AL and track detection is explained below with the description of FIG.
FIGUR 2 zeigt eine fahrspurbasierte Bildanalyse zur Objekter¬ kennung in dem Bahnverkehr BVK, wenn auf der wieder ab- schnittsweise dargestellten Bahnstrecke BST des Bahnnetzes BNE das Bahnfahrzeug BFZ sich auf der Fahrspur FS der Bahnstrecke BST mindestens ein Objekt OBJ, vorzugsweise eine Per¬ son, ein Tier, ein bewegbarer oder ortsfester Gegenstand, befindet, die im Bereich der Fahrspur fremd und eigentlich nichts zu suchen haben, sich also unzulässiger dort befinden. FIGURE 2 shows a lane-based image analysis for Objekter ¬ identifier in the rail BVK if on the off again cut as shown railway line BST of the rail network BNE the railway vehicle BFZ on the lane FS of the railway line BST at least one object OBJ, preferably a per ¬ son, an animal, a movable or stationary object, is located in the area of the lane foreign and actually have to look for anything, so are there inadmissible.
Die fahrspurbezogene Bahnstrecke BST des Bahnnetzes BNE ist auch hier wieder die Schienenstrecke SST des Schienennetzes SNE, auf dem im Schienenverkehr SVK für eine gleisbasierte Bildanalyse zur Objekterkennung das Schienenfahrzeug SFZ auf dem Gleis GL unterwegs ist und sich dem Objekt OGJ nähert. An die Stelle des dargestellten Schienenverkehrs SVK mit dem auf der Schienenstrecke SST des Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der ein¬ gangs geführten Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte Bahnverkehrssystem als wei¬ teres Ausführungsbeispiel der Erfindung denk- und vorstell- bar. So käme ebenso z.B. ein Magnetschwebebahn- Verkehrssystem (Stw.: Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage. In dem in der FIGUR 2 dargestellten Schienenverkehrssystem ist auch hier wieder in dem Triebwagen TRW des Schienenfahrzeugs SFZ mit dem Triebführerstand TFS und der integrierten Anzeigeeinrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die gleisbasierte Bildana- lyse zur Objekterkennung die Bildanalysevorrichtung BAV untergebracht. Die Bildanalysevorrichtung BAV beinhaltet hierfür wieder das vorzugsweise als Sensor ausgebildetes Bil¬ daufzeichnungsgerät BAZG, das z.B. als gewöhnliche Videoka¬ mera, Lasersensor, Wärmebildkamera, Radar-Einrichtung, Inf- rarotkamera etc., ausgebildet ist. The lane-related railway BST of the railway network BNE is here again the rail line SST of the rail network SNE, on which rail transport company SVK travels on track GL for rail-based image analysis for object recognition and approaches the object OGJ. In place of rail transport SVK illustrated with the vehicle running on the railway line SST of the rail network SNE rail vehicle SFZ any other x-any short or long distance based web transport system is here also conceivable as a white ¬ teres embodiment of the invention, because of a ¬ gangs guided discussion and imaginable. For example, a maglev system (Stw .: Transrapid, Maglev, etc.) with a correspondingly comparable infrastructure consisting of rail network, railway line and railway vehicle would also be suitable. In the rail transport system shown in FIG. 2, the image analysis device BAV is again provided in the railcar TRW of the rail vehicle SFZ with the driver's seat TFS and the integrated display device AZE, in which the workstation of the vehicle driver FZF is located, for the track-based image analysis for object recognition accommodated. The image analysis apparatus includes BAV this again preferably formed as a sensor Bil ¬ daufzeichnungsgerät BAZG which, for example as ordinary Videoka ¬ ra, laser sensor, thermal imager, radar device Inf- rarotkamera etc., is formed.
Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ dem Objekt OBJ nä¬ hert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspek- tive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus der ortsfesten, fahrspurob¬ servierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Schienenfahrzeugs SFZ orientieren- den, Gleisbereich GLB eine Vielzahl von den Gleisbereich GLB repräsentierenden Bildern B I GLB erfassbar. Allgemeiner formuliert: In Bezug auf das auf der Fahrspur FS fahrende Bahnfahrzeug BFZ sind wieder von einem dem Bahnfahrzeug BFZ vorgelagerten, sich dabei vorzugsweise an die Ge¬ schwindigkeit des Bahnfahrzeugs BFZ orientierenden, Fahrspur- bereich FSB eine Vielzahl von den Fahrspurbereich FSB repräsentierenden Bilder BIFSB erfassbar. Are connected to the image recording apparatus BAZG when the running on the track GL rail vehicle SFZ nä ¬ Hert the OBJ object of the rail vehicle SFZ from, for example, from the perspectives tive of the railcar leader FZF in the engine cab TFS the railcar TRW and / or from the fixed, lane ¬ servierenden ¬ position in or on the vehicle SFZ, of a the rail vehicle SFZ upstream, thereby preferably to the speed of the rail vehicle SFZ oriented, track area GLB a plurality of the track area GLB representing images BI GLB detectable. More generally, are back in relation to the traveling on the lane FS railway vehicle BFZ from an upstream the railway vehicle BFZ, is preferably orienting the Ge ¬ speed of the railway vehicle BFZ, lane area FSB a plurality of the lane area FSB representing images BI FSB detectable.
In den Bildern B I FSB , B I GLB des Fahrspurbereichs FSB, GLB ist jeweils wieder der Bildbereich B I B enthalten, in dem in Be- zug auf den bildlich dargestellten Fahrspurbereich FSB, GLB erfasste Fahrspuren FS, GL im Wesentlichen an einer gleichen Stelle liegen und ausgehend von diesen Anteilen der erfass- ten Fahrspuren FS, GL mit Hilfe der Kantenerkennungsalgo¬ rithmen der Verlauf der von dem Bahnfahrzeug BFZ, SFZ be- nutzten Fahrspur FS, GL durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur FS, GL zum erfassten Gesamtbild erkannt wird. In the images BI FSB , BI GLB of the traffic lane area FSB, GLB, the image area BIB is again contained, in which lanes FS, GL detected in relation to the depicted traffic lane area FSB, GLB lie substantially at the same location and starting from these proportions of the detected lanes FS, GL using the Kantenerkennungsalgo ¬ algorithms of the course of the loading took advantage of the railway vehicle BFZ, SFZ lane FS, GL is detected by a changing in the captured image image portion of the lane FS, GL to the detected picture ,
Darüber hinaus ist ein dritter Bildabschnitt BAS3 in den Bildern B I FSB , B I GLB enthalten, in dem sich das Objekt OBJ be¬ findet . In addition, a third image section BAS3 is contained in the images BI FSB , BI GLB , in which the object OBJ is ¬ .
Wie jetzt aufgrund der Bilder B I FSB , B Iglb des Fahrspurbe¬ reichs FSB, GLB mit dem darin enthaltenen Bildbereich B I B und des Bildabschnittes BAS 3 die Bildanalyse zur Objekter¬ kennung durchgeführt wird, wird nachfolgend mit der Be¬ schreibung von FIGUR 3 erläutert. As now based on the pictures BI FSB, BI glb of Fahrspurbe ¬ Reich FSB, GLB image analysis Objekter ¬ detection is carried out with the contained image area BIB, and the image portion BAS 3, is explained below with the Be ¬ scription of FIG. 3
FIGUR 3 zeigt den prinzipiellen Aufbau der Bildanalysevor- richtung BAV für die fahrspurbasierte Bildanalyse zur Stre¬ ckenanlage- und Streckenverlauf-Erkennung gemäß der FIGUR 1 und zur Objekt-Erkennung gemäß der FIGUR 2, wenn das Bahnfahrzeug BFZ, SFZ, das auf der Fahrspur FS, GL unterwegs ist, sich gemäß der FIGUR 1 der Streckenanlage SAL bzw. der das Signal gebenden oder führenden Anlage AL an der BahnstreckeFIGURE 3 shows the basic structure of the Bildanalysevor- direction BAV for the lane-based image analysis for Stre ¬ ckenanlage- and route-detection according to the FIGURE 1 and for object recognition according to the FIGURE 2, when the rail vehicle BFZ, SFZ, which on the lane FS , GL is on the road, according to the FIGURE 1 of the track system SAL or the signal giving or leading system AL on the railway line
BST, SST bzw. sich gemäß der FIGUR 2 dem auf der Fahrspur FS, GL befindlichen Objekt OBJ nähert. Ausgangspunkt für die jeweilige Erkennung bildet dabei gemäß den Ausführungen zu den FIGUREN 1 und 2 das Bildaufzeichnungsgerät BAZG, das die Bilder B I FSB , B Iglb des Fahrspurbe¬ reichs FSB, GLB für diese jeweilige Erkennung erfasst. BST, SST or, according to FIG. 2, approaches the object OBJ located on the lane FS, GL. The starting point for the respective detection forms according to the embodiments of FIGS 1 and 2, the image recording apparatus BAZG that captures the images BI FSB, BI glb of Fahrspurbe ¬ Reich FSB, GLB for these respective recognition.
Das Bildaufzeichnungsgerät BAZG ist dazu vorzugsweise für die Ausrichtung auf das Bildobjekt schwenkbar ausgebildet. The image recording device BAZG is preferably designed to be pivotable for alignment with the image object.
Ferner ist es möglich und u.U. auch aus erfassungstechnischen Gründen sinnvoll, dass mehrere Bildaufzeichnungsgeräte BAZG gleicher Bauart, z.B. mehrere Videokameras, oder Geräte un¬ terschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstands¬ messung beruhende Sensoren, Infrarotkameras und/oder Wärme- bildkameras, in der Bildanalysevorrichtung BAV enthalten sind, die die Bilder B I FSB , B I GLB aufnehmen. Eine derartige mehrfache Ausführung der Bildaufzeichnung bzw. Bildakquirie- rung ist kann u.a. für Redundanzzwecke relevant sein. Um die Qualität der mit dem Bildaufzeichnungsgerät BAZG auf¬ gezeichneten oder akquirierten Bilder weiterhin zu verbessern, sind in dem Bildaufzeichnungsgerät BAZG vorzugsweise folgende Komponenten enthalten: 1. Eine Korrekturkomponente KOK, mit der Wetter- und Hellig¬ keitsdaten für die Auswertung des Bildmaterials einbezogen werden. Mit dieser Komponente ist es z.B. möglich, bei starkem Nebel die Auswertung von Videobildern auf die ersten 50 Meter vor dem Schienenfahrzeug zu begrenzen und die Geschwin- digkeit des Schienenfahrzeuges entsprechend zu drosseln. Furthermore, it is possible and possibly also useful for detection reasons that several image recording devices BAZG the same design, eg multiple video cameras, or devices un ¬ ferent type, eg multiple video cameras, laser sensors, RADAR-based, based on radio-based location and distance ¬ measurement sensors, infrared cameras and / or thermal imaging cameras, are included in the image analysis device BAV, which receive the images BI FSB, BI GLB. Such a multiple execution of the image recording or Bildakquirie- tion may be relevant for redundancy purposes, among others. To further improve the quality of the image recording device BAZG drawn on ¬ or acquired images, preferably following items are included in the image recording device BAZG: 1. A correction component KOK be included with the weather and Hellig ¬ keitsdaten for the evaluation of the photographic material. With this component it is possible, for example, to limit the evaluation of video images to the first 50 meters in front of the rail vehicle in heavy fog and to throttle the speed of the rail vehicle accordingly.
2. Eine Brennweiteveränderungskomponente BVK, die in Abhän¬ gigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstüt¬ zen. Dadurch können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zu¬ sätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche entlang der Schienenstrecke SST im Schienennetz SNE fokussiert werden, wie z.B. ein Bahnübergang . 2. A focal length variation component BVK, in depen ¬ dependence on the environment (eg station, city, country, etc.) and the speed chooses the right angle, so the evaluation of the image optimally under support alarm ¬ zen. This allows both recording situations on the open road (need images from a long distance to respond in time due to the speed) as well as recording situations in the station area (need images with a high width) are suitably operated. ¬ to additionally particularly interesting areas along the railway track in the rail network SST SNE can be focused by fusion of image data and link data, such as a railway crossing.
3. Eine Beleuchtungskomponente BLK, die beispielsweise als ein Scheinwerfer ausgebildet ist, der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, und durch die sich die Qualität des von dem Bildaufzeichnungsgerät bzw. dem Bildakquisitionsgerät BAZG bei Nacht oder schlechter Witte¬ rung aufgenommenen Bildmaterials verbessert. Die so aufgenommenen Bilder werden von dem Bildaufzeichnungsgerät BAZG in eine Bildspeichereinrichtung BSPE gespeichert. Diese Bildspeichereinrichtung BSPE ist entweder gemäß Option "A" als Komponente der Bildanalysevorrichtung BAV mit dem Bildaufzeichnungsgerät BAZG entsprechend verbunden oder gemäß Option "B" außerhalb der Bildanalysevorrichtung BAV, z.B. als Speicherdatenbank, in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG zugeordnet bzw. mit diesem verbindbar. Für die fahrspurbasierte Bildanalyse der aufgezeichneten bzw. akquirierten Bilder zur Streckenanlage- und Streckenverlauf-Erkennung gemäß der FIGUR 1 und zur Objekt-Erkennung gemäß der FIGUR 2 ist das Bildaufzeichnungsgerät BAZG mit einer Berechnungs-/Auswerteeinrichtung BAWE verbunden, die ebenfalls eine Komponente der Bildanalysevorrichtung BAV ist. Zu diesem Zweck ist die Berechnungs-/Auswerteeinrich- tung BAWE, wie das Bildaufzeichnungsgerät BAZG, entweder ge¬ mäß der Option "A" mit der Bildspeichereinrichtung BSPE verbunden oder gemäß Option "B" der Bildspeichereinrichtung BSPE zugeordnet bzw. mit dieser verbindbar. Auf diese Weise entsteht eine Funktionsteileinheit aus der Berechnungs- /Auswerteeinrichtung BAWE, dem Bildaufzeichnungsgerät BAZG und der Bildspeichereinrichtung BSPE, bei der die genannten Komponenten der Bildanalysevorrichtung BAV für die berech- nungs-/auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt-Erkennung teilfunktional zusammenwirken. 3. A lighting component BLK, which is formed for example as a spotlight operating inside or outside the human visual range, and by which the quality of the captured from the image recording device or the image acquisition apparatus BAZG at night or in bad Witte ¬ tion picture material improves , The images thus captured are stored by the image recording device BAZG in an image storage device BSPE. This image storage device BSPE is either connected according to option "A" as a component of the image analysis device BAV with the image recording device BAZG or according to option "B" outside the image analysis device BAV, eg as a storage database, in the railcar or in a data cloud associated with the image recording device BAZG or .with this connectable. For the lane-based image analysis of the recorded or acquired images for distance system and route detection according to FIGURE 1 and for object detection according to FIGURE 2, the image recorder BAZG is connected to a calculation / evaluation BAWE, which is also a component of the image analysis device BAV is. For this purpose, the calculation / Auswerteeinrich- tung BAWE as the image recording apparatus BAZG either ge ¬ Mäss with said image memory means BSPE option "A" connected to or assigned according to option "B" of the image memory means BSPE or connectable therewith. In this way, a functional subunit of the calculation / evaluation BAWE, the image recording device BAZG and the image storage device BSPE, in which the Components of the image analysis device BAV for the calculation- / evaluation-assisted and lane-based image analysis for track system / Streckenverlauf- / Obj ect recognition partially functional co-operate.
Für die Bildung einer vollständigen Funktionseinheit, bei der die daran beteiligten Teileinheiten funktional zusammenwirken, wird die genannte Funktionsteileinheit durch eine weitere Teileinheit, eine Informationsdatenbank IDB, erwei- tert. Die Informationsdatenbank IDB kann dabei beispielswei¬ se mit der Bildspeichereinrichtung BSPE als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sein. Diese in der FIGUR 3 nicht explizit dargestellte Speicher¬ vorrichtung kann ihrerseits wiederum, wie die Bildspeicher- einrichtung BSPE, entweder gemäß Option "A" als Komponente der Bildanalysevorrichtung BAV mit dem Bildaufzeichnungsgerät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE entsprechend verbunden oder gemäß Option "B" außerhalb der Bildanalysevorrichtung BAV in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG und der Berech- nungs-/Auswerteeinrichtung BAWE zugeordnet bzw. mit diesem verbindbar sein. In diesem Zusammenhang wird auf die Informationsspeichereinrichtung in der DE-Patentanmeldung (Anmeldung-Nr. 102016224355.1) und der dazu korrespondierenden In- ternationalen Patentanmeldung (Anmeldung-Nr. PCT/...; Veröf- fentlichungs-Nr . WO ...) zum alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, verwiesen . For the formation of a complete functional unit, in which the subunits involved functionally cooperate, said functional subunit is extended by a further subunit, an information database IDB. The information database IDB can thereby be beispielswei ¬ se integrated with the image storage device BSPE as a structural unit in a common storage device. This is not explicitly shown in the Figure 3 memory ¬ apparatus may in turn, as the image storage device BSPE, either in accordance with option "A" as a component of the image analysis device BAV with the image recording apparatus BAZG and the calculation / evaluation BAWE connected accordingly or in accordance with option " B "outside the image analysis device BAV in the railcar or in a data cloud the image recording device BAZG and the calculation / evaluation device BAWE assigned to or be connected to this. In this context, reference is made to the information storage device in DE patent application (application No. 102016224355.1) and the corresponding international patent application (application no. PCT / ...; publication No. WO alternatively determining positions in rail traffic when conventional satellite positioning is failing or inadequate.
In der Informationsdatenbank IDB sind Bild-Metainformationen BMI, die dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bilder B I FSB , B I GLB erfassten Fahrspurbereichs FSB, GLB beinhalten, gespeichert. In the information database IDB, image meta information BMI, which in the literal sense includes feature and property data of the traffic lane area FSB, GLB detected in the images BI FSB , BI GLB , is stored.
In diesen Bild-Metainformationen BMI sind sowohl zur Fahrspur FS, GL bezogene Primär-Metadaten, die vorzugsweise den Abstand von parallel verlaufenden Fahrspuren FS, GL sowie die Breite eines Fahrspurkopfes, insbesondere eines Schie¬ nenkopfes angeben, als auch zu der Bahnstrecke BST, SST be¬ zogene Sekundär-Metadaten enthalten, die vorzugsweise angeben, an welchen geografischen Positionen oder Ortskoordina- ten sich Anlagen an der Bahnstrecke BST, SST, die sogenannten Streckenanlagen SAL, wie z.B. der Bahnübergang BÜG in den FIGUREN 1 und 2, Weichen oder die das Signal SI gebende oder führende Anlage AL befinden. Gemäß der Darstellung in der FIGUR 3 ist die Informationsda¬ tenbank IDB der Bildanalysevorrichtung BAV in der Weise zugeordnet bzw. mit dieser verbindbar, als die Berechnungs- /Auswerteeinrichtung BAWE für die berechnungs- /auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt-Erkennung auf die in der Informationsdatenbank IDB gespeicherten Bild- Metainformationen BMI zugreift. Die Informationsdatenbank IDB ist dazu vorzugsweise außerhalb der Bildanalysevorrich¬ tung BAV, z.B. als Datenbank, in dem Triebwagen angeordnet oder ist als Daten-Cloud ausgebildet. In this image meta-information BMI, primary metadata related both to the traffic lane FS, GL, and preferably the distance from parallel traffic lanes FS, GL and the width of a lane head, in particular a sliding ¬ nenkopfes specify, as well as to the railway line BST, SST contain be ¬ plated secondary metadata preferably specify which geographical positions or Ortskoordina- to plants th on the railway line BST, SST, the so-called track systems SAL, such as the level crossing BÜG in Figures 1 and 2, points or the signal SI giving or leading system AL are. As shown in FIGURE 3, the Informationsda ¬ tenbank IDB of the image analysis apparatus BAV is assigned in such a way and with this connected, as the calculation / evaluation BAWE auswertegestützte for the calculation / and lane-based image analysis for Streckenanlage- / Streckenverlauf- / Obj ect recognition accesses the image meta information BMI stored in the information database IDB. The information database IDB is preferably outside the Bildanalysevorrich ¬ tion BAV, eg as a database, arranged in the railcar or is designed as a data cloud.
Für die berechnungs-/auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt- Erkennung weist die Berechnungs-/Auswerteeinrichtung BAWE vorzugsweise einen nicht-flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines die Bildanalyse zur Streckenanlage-/Streckenverlauf-/Obj ekt- Erkennung steuernden Programm-Moduls PGM gespeichert sind, und einen Prozessor PZ, der die Steuerprogrammbefehle des Programm-Moduls PGM für die berechnungs-/auswertegestützte und fahrspurbasierte Bildanalyse zur Streckenanlage- /Streckenverlauf-/Obj ekt-Erkennung ausführt, auf. Dazu greift der Prozessor PZ zusätzlich - neben den Zugriffen auf die Bild-Metainformationen BMI in der Informationsdatenbank IDB - zu Steuerungszwecken und zum Auslesen von Daten auf das Bildaufzeichnungsgerät BAZG und die Bildspeichereinrich¬ tung BSPE zu. Die Berechnungs-/Auswerteeinrichtung BAWE bzw. das Programm- Modul PGM mit dem die Steuerprogrammbefehle des Programm- Moduls PGM für die berechnungs-/auswertegestützte und fahr¬ spurbasierte Bildanalyse zur Streckenanlage-/Streckenver- lauf-/Obj ekt-Erkennung ausführenden Prozessor PZ ist für die berechnungs-/auswertegestützte und fahrspurbasierte Bildana¬ lyse zur Streckenanlage-/Streckenverlauf-/Obj ekt-Erkennung zunächst im Umfang der gebildeten Funktionsteileinheit der¬ art ausgebildet, dass in den Bildern B I FSB , B Iglb jeweils der Bildbereich BIB ausgemacht wird, in dem in Bezug auf den bildlich dargestellten Fahrspurbereich FSB, GLB die erfasste Fahrspuren FS, GL im Wesentlichen an einer gleichen Stelle liegen . Zusätzlich ist die Berechnungs-/Auswerteeinrichtung BAWE bzw. das Programm-Modul PGM mit dem die Steuerprogrammbefehle des Programm-Moduls PGM ausführenden Prozessor PZ im Umfang der gebildeten Funktionseinheit derart ausgebildet, dass ausgehend von den Anteilen der erfassten Fahrspuren FS, GL in dem Bildbereich BIB mit Hilfe von Kantenerkennungsal¬ gorithmen der Verlauf einer von dem Bahnfahrzeug BFZ, SFZ benutzten Fahrspur FS, GL durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur FS, GL zum erfassten Gesamtbild erkannt und mit in der Informationsdatenbank IDB gespeicherten bekannten Bild-Metainformationen BMI abgeglichen wird. For the calculation / evaluation-based and lane-based image analysis for route / route / object recognition, the calculation / evaluation device BAWE preferably has a non-volatile, readable memory SP in which processor-readable control program instructions of a picture analysis for route / route / Obj ect recognition-controlling program module PGM are stored, and a processor PZ, which executes the control program commands of the program module PGM for the calculation / evaluation-based and lane-based image analysis for track / route / Obj ekt recognition performs. PZ, the processor accesses in addition - in addition to the accesses to the image-BMI meta information in the information database IDB - for control purposes and for reading out data to the image recording device and the image BAZG spoke pure Rich ¬ tung BSPE to. The calculation / evaluation device BAWE or the program module PGM with which the control program commands of the program module PGM for the calculation / evaluation-based and driving ¬ track-based image analysis for Streckenanlage- / Streckenverlauf- / Obj ect-executing processor PZ is auswertegestützte for the calculation / and lane based Bildana ¬ analysis for Streckenanlage- / Streckenverlauf- / Obj first formed ect-detection in the circumference of the functional part of the unit formed of the ¬ art that in the images BI FSB, BI glb each of the image area BIB is identified, in with respect to the illustrated lane area FSB, GLB the detected lanes FS, GL lie substantially in the same place. In addition, the calculation / evaluation device BAWE or the program module PGM with the control program instructions of the program module PGM executing processor PZ within the scope of the functional unit formed such that, starting from the proportions of the detected lanes FS, GL in the image area BIB detected with the aid of Kantenerkennungsal ¬ algorithms the course of a lane FS, GL used by the rail vehicle BFZ, SFZ by a changing in the captured image image portion of the lane FS, GL to the detected picture and compared with data stored in the information database IDB known image meta information BMI becomes.
Zur Streckenanlage-Erkennung der Streckenanlage SAL bzw. der das Signal SI gebenden oder führenden Anlage AL erfolgt die fahrspurbasierte Bildanalyse in der Berechnungs-/Auswerteein- richtung BAWE in vorteilhafter Weise derart, dass in dem Bild B I FSB , B I GLB erkannt wird, wo die Signalanlage SI, AL bzw. die Streckenanlage SAL zu finden ist, indem For trackside detection of the track system SAL or the signal SI giving or leading system AL the lane-based image analysis in the calculation / evaluation BAWE advantageously such that in the image BI FSB , BI GLB is recognized where the Signaling system SI, AL or the track system SAL can be found by
1) für eine aktuell ermittelte geografische Position des Bahnfahrzeugs BFZ, SFZ der Bildteilbereich BTB in dem Bild 1) for a currently determined geographical position of the railway vehicle BFZ, SFZ the image subregion BTB in the image
B I FSB , B I GLB ausgemacht wird, in dem ein markantes Anlagenmerk¬ mal der Streckenanlage SAL bzw. das Signal SI der Anlage AL zu erkennen ist, 2) der erste Bildabschnitt BAS1 in dem Bildteilbereich BTB bestimmt wird, durch den die von dem Bahnfahrzeug BFZ, SFZ benutzte Fahrspur FS, GL durchführt, BI FSB , BI GLB is identified, in which a distinctive Anlagenmerk ¬ times the track system SAL or the signal SI of the system AL can be seen, 2) the first image section BAS1 is determined in the image subregion BTB, through which the traffic lane FS, GL used by the railway vehicle BFZ, SFZ performs,
3) mit Hilfe eines ersten bekannten Metadatums über den Ab- stand der Streckenanlage SAL bzw. der Signalanlage SI, AL der Sekundär-Metadaten in den gespeicherten Bild- Metainformationen BMI ermittelt wird wie weit auf der Basis einer Breite der Fahrspur FS, GL in dem Bildabschnitt BAS1 Streckenanlage SAL bzw. der Signalanlage SI, AL von der Fahr- spur FS, GS beabstandet ist,  3) is determined by means of a first known metadata about the distance of the route installation SAL or the signal installation SI, AL of the secondary metadata in the stored image meta information BMI, as far as on the basis of a width of the traffic lane FS, GL in the Image section BAS1 line system SAL or the signal system SI, AL is separated from the lane FS, GS,
4) mit Hilfe eines zweiten bekannten Metadatums über die Au¬ ßenkanten der Streckenanlage SAL bzw. der Signalanlage SI, AL der Sekundär-Metadaten in den gespeicherten Bild-4) by means of a second known metadata item on the Au ¬ ßenkanten the track system SAL or the signal conditioning Si, Al secondary metadata in the stored image
Metainformationen BMI und eines Standardkantenerkennungsalgo- rithmus versucht wird, die Außenkanten Streckenanlage SAL bzw. der Signalanlage SI, AL in dem unter 3) ermittelten Abstand von der Fahrspur FS, GL so lange zu erkennen bis sich die bekannte und erkannte Außenkante im Wesentlichen überde¬ cken . Meta information BMI and a standard edge detection algorithm is attempted to detect the outer edges of the track system SAL or the signal system SI, AL in the distance 3) determined by the lane FS, GL until the known and recognized outer edge substantially überde ¬ bridges ,
Zur Streckenverlauf-Erkennung, ob ein Fahrweg nach links oder rechts oder geradeaus weiterführt, also in welche Richtung die aus dem erkannten Verlauf erkannte Fahrspur FS, GL führt, ist die Berechnungs-/Auswerteeinrichtung BAWE bei der fahr- spurbasierten Bildanalyse in vorteilhafter Weise weiterhin derart ausgebildet, dass in dem Bild B I FSB / B I GLB erkannt wird, in welche Richtung, insbesondere LINKS, RECHTS oder GERADE¬ AUS, das Bahnfahrzeug BFZ, SFZ fährt, indem für die aus dem erkannten Verlauf erkannte Fahrspur FS, GL For route course recognition, whether a travel path leads to the left or right or straight ahead, that is to say in which direction the traffic lane FS, GL recognized from the recognized route leads, the calculation / evaluation device BAWE in the lane-based image analysis continues to be such in an advantageous manner designed that in the image BI FSB / BI GLB is detected, in which direction, in particular LEFT, RIGHT or STRAIGHT ¬ OFF, the railway vehicle BFZ, SFZ drives by for the detected from the detected course lane FS, GL
1) eine Pseudo-GERADEAUS-Fahrspur , insbesondere ein Pseudo- GERADEAUS-Gleis , durch lineare Fortschreibung der gemäß dem Bildbereich BIB von dem Bahnfahrzeug BFZ, SFZ benutzten Fahrspur FS, GL künstlich erzeugt wird, 1) a pseudo-GERADEAUS lane, in particular a pseudo-GERADEAUS track, is artificially generated by linear updating of the lane FS, GL used by the railway vehicle BFZ, SFZ in accordance with the image area BIB,
2) die Pseudo-GERADEAUS-Fahrspur mit der benutzten Fahrspur FS, GL in der Weise verglichen wird, dass  2) the pseudo-straight-ahead lane is compared with the used lane FS, GL in such a way that
2.1) eine GERADEAUS-Richtung erkannt ist, wenn die vergliche¬ nen Fahrspuren FS, GL identisch sind, 2.2) eine LINKS-Richtung, z.B. eine LINKS-Kurve, erkannt ist, wenn die benutzte Fahrspur FS, GL links von der Pseudo- GERADEAUS-Fahrspur liegt, 2.1) is detected a straight-ahead direction when the lanes were comparing ¬ NEN FS, GL are identical, 2.2) a LEFT direction, eg a LEFT curve, is recognized when the used lane FS, GL is to the left of the pseudo-GERADEAUS lane,
2.3) eine RECHTS-Richtung, z.B. eine RECHTS-Kurve, erkannt ist, wenn die benutzte Fahrspur FS, GL rechts von der Pseudo- GERADEAUS-Fahrspur liegt.  2.3) a RIGHT direction, e.g. a right-hand turn, is recognized when the used lane FS, GL is to the right of the pseudo-straight lane.
Dabei ist es insbesondere möglich und die Berechnungs- /Auswerteeinrichtung BAWE entsprechend ausgebildet, dass aus dem Abstand der benutzten Fahrspur FS, GL von der Pseudo-In this case, it is possible in particular and the calculation / evaluation device BAWE designed accordingly that from the distance of the used lane FS, GL from the pseudo
GERADEAUS-Fahrspur sowie vom Bahnfahrzeug BFZ, SFZ, der aus einer Breite der Fahrspur FS, GL im Bildbereich BIB und einer Breite der Fahrspur FS, GL jeweils in dem für das jeweilige Erkennen der GERADEAUS-Richtung, LINKS-Richtung oder RECHTS- Richtung relevanten zweiten Bildabschnittes BAS2 berechnet wird, ein Krümmungsgrad der LINKS-Richtung/Kurve respektive der RECHTS-Richtung/Kurve berechnet wird. STRAIGHT LEVEL lane and from the railway vehicle BFZ, SFZ, which consists of a width of the lane FS, GL in the image area BIB and a width of the lane FS, GL respectively in the relevant for the respective detection of the direction straight direction, LEFT direction or RIGHT direction the second image section BAS2 is calculated, a degree of curvature of the LEFT direction / curve or the RIGHT direction / curve is calculated.
Zur Objekt-Erkennung ist Berechnungs-/Auswerteeinrichtung BAWE bei der fahrspurbasierten Bildanalyse darüber hinaus in vorteilhafter Weise derart ausgebildet, dass in dem Bild For object recognition, calculation / evaluation device BAWE in the case of lane-based image analysis is furthermore advantageously designed in such a way that in the image
BIFSB, BIGLB erkannt wird, ob sich mindestens ein Objekt OBJ, das beispielsweise eine Person, ein Tier, ein bewegbarer oder ortsfester Gegenstand sein kann, auf der benutzten Fahrspur FS, GL befinden, indem BI FSB , BI GLB is detected, whether at least one object OBJ, which may be, for example, a person, an animal, a movable or stationary object on the used lane FS, GL by
1) eine personenbezogene Größe der Person und/oder eine ge¬ genstandbezogene Größe des bewegbaren Gegenstandes im Ver¬ hältnis zu einer bekannten Breite der Fahrspur FS, GL gesetzt wird, die aus einem dritten bekannten Metadatum über die Breite der Fahrspur FS, GL der Primär-Metadaten in den gespeicherten Bild-Metainformationen BMI gewonnen wird, 1) a personal size of the person and / or a ge ¬ genstandbezogen size of the movable object in the Ver ¬ ratio to a known width of the lane FS, GL is set from a third known metadata on the width of the lane FS, GL of the primary Metadata is obtained in the stored image meta information BMI,
2) in dem Bild BIFSB, BIGLB die benutzte Fahrspur FS, GL sowie ein kritischer Bereich, der z.B. nach einer Umgebung der Fahrspur FS, GL, als da sind Land oder Stadt, unterschiedlich breit bemessen ist, links und rechts von der benutzten Fahrspur FS, GL in mehrere Analyseabschnitte mit steigendem Ab¬ stand zum Bahnfahrzeug BFZ, SFZ eingeteilt werden, 3) für jeden Analyseabschnitt ein umgebungsspezifischer Mustererkennungsalgorithmus zum Erkennen des Objektes OBJ be¬ nutzt wird. Dabei ist es insbesondere möglich und die Berechnungs-2) in the image BI FSB , BI GLB the used lane FS, GL and a critical area, for example, according to an environment of the lane FS, GL, as there are country or city, of different widths, left and right of the used Lane FS, GL are divided into several analysis sections with increasing Ab ¬ stand for railway vehicle BFZ, SFZ, ¬ uses will be 3) for each analysis section an environment-specific pattern recognition algorithm to detect the object OBJ. In particular, it is possible and the calculation
/Auswerteeinrichtung BAWE entsprechend ausgebildet, dass bei sich einem bewegenden Objekt OBJ, z.B. eine Person, ein Tier, andere entgegenkommende oder vorausfahrende Bahnfahrzeuge etc., die Analyseabschnitte von mehreren aufeinanderfolgenden Bildern BIFSB, B I GLB in Beziehung zueinander gesetzt werden, um die Bewegung für die Vorausberechnung einer möglichen Kollision mit dem Objekt OBJ zu erkennen und zu verfolgen. / Evaluation device BAWE trained accordingly that when a moving object OBJ, for example, a person, an animal, other oncoming or preceding train vehicles, etc., the analysis sections of several successive images BI FSB , BI GLB be set to the movement for to recognize and to follow the precalculation of a possible collision with the object OBJ.
Darüber hinaus ist es vorzugsweise möglich und die Berech- nungs-/Auswerteeinrichtung BAWE entsprechend ausgebildet, dass in dem Bild B I ^SB ^ B I GLB erkannt wird, wie weit das Bahn— fahrzeug BFZ, SFZ von dem Objekt OBJ beabstandet ist, das auf der benutzten Fahrspur FS, GL erkannt worden ist, indem der aus einer Pixelbreite der Fahrspur FS, G) im Bildbereich BIB und einer Pixelbreite der Fahrspur FS, GL in dem drittenIn addition, it is preferably possible and the calculation / evaluation device BAWE designed accordingly that in the image BI ^ SB ^ BI GLB is detected, how far the railway vehicle BFZ, SFZ is spaced from the object OBJ on the used lane FS, GL has been recognized by the one of a pixel width of the lane FS, G) in the image area BIB and a pixel width of the lane FS, GL in the third
Bildabschnittes BAS3, in dem sich das Objekt OBJ befindet, in Beziehung zueinander gesetzt werden, wobei aus diesem Verhältnis und der aus dem bekannten dritten Metadatum gewonnenen Breite der Fahrspur FS, GL der besagte Abstand berechnet wird. Image section BAS3, in which the object OBJ is located, are set in relation to each other, from this ratio and the obtained from the known third metadata width of the lane FS, GL of said distance is calculated.
Mit der wie vorstehend beschriebenen Bildanalysevorrichtung BAV kann ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs BFZ bzw. des Schienenfahrzeugs SFZ ohne zusätzliche Infrastruktur entlang einer Fahrstrecke as¬ sistiert bzw. sogar realisiert werden. Dies ist insbesondere dann gegeben, wenn die Bildanalysevorrichtung BAV als eine virtuelle Maschine realisiert ist, die im Sinne eines "Soft¬ ware Defined Signal Recognition of Rail Traffic Systems" aus- gebildet ist und funktioniert. With the above-described image analyzing device BAV an automated (autonomous) or assisted driving of the railway vehicle or the railway vehicle BFZ SFZ without additional infrastructure along a route as may ¬ be suspended or even realized. This is especially true if the image analysis device BAV is realized as a virtual machine which is designed and functions in the sense of a " software- defined signal recognition of rail traffic system".

Claims

Patentansprüche claims
1. Verfahren zur fahrspurbasierten Bildanalyse im Bahnverkehr (BVK) , insbesondere zur gleisbasierten Bildanalyse im Schie- nenverkehr (SVK) , 1. A method for lane-based image analysis in railway traffic (BVK), in particular for track-based image analysis in rail traffic (SVK),
dadurch gekennzeichnet, dass characterized in that
a) von einem Bahnfahrzeug (BFZ) , insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagenführers (FZF, TFS, TRW) und/oder aus einer ortsfes- ten, fahrspurobservierenden Position im oder am Fahrzeuga) from a railway vehicle (BFZ), in particular a rail vehicle (SFZ), in particular from the perspective of a railcar driver (FZF, TFS, TRW) and / or from a stationary, lane-servicing position in or on the vehicle
(BFZ, SFZ) , eine Vielzahl von einen Fahrspurbereich (FSB) , insbesondere einen Gleisbereich (GLB) , repräsentierenden Bildern (BIFSB, BIglb) erfasst wird, (BFZ, SFZ), a plurality of a lane area (FSB), in particular a track area (GLB), representing images (BI FSB , BI glb ) is detected,
b) in den Bildern (BIFSB, BIGLB) jeweils ein Bildbereich (BIB) ausgemacht wird, in dem in Bezug auf den bildlich dargestell¬ ten Fahrspurbereich (FSB, GLB) erfasste Fahrspuren (FS) , insbesondere Gleise (GL) , im Wesentlichen an einer gleichen Stelle liegen, b) in the images (BI FSB , BI GLB ) in each case an image area (BIB) is identified, in which in relation to the pictured ¬ lane area (FSB, GLB) detected lanes (FS), in particular tracks (GL), im Essentially in the same place,
c ) ausgehend von den Anteilen der erfassten Fahrspuren (FS, GL) in dem Bildbereich (BIB) mit Hilfe von Kantenerkennungs¬ algorithmen der Verlauf einer von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur (FS, GL) zum erfass¬ ten Gesamtbild erkannt und mit gespeicherten bekannten Bild- Metainformationen (BMI) abgeglichen wird, die zu der Fahrspur (FS, GL) bezogene Primär-Metadaten, insbesondere den Abstand von parallel verlaufenden Fahrspuren (FS, GL) sowie die Breite eines Fahrspurkopfes, insbesondere eines Schienenkopfes, oder als auch zu einer Bahnstrecke (BST) , insbesondere zu ei- ner Schienenstrecke (SST) , bezogene Sekundär-Metadaten, ins¬ besondere an welchen geografischen Positionen oder Ortskoordinaten sich Anlagen an der Bahnstrecke (BST, SST) , sogenannte Streckenanlagen (SAL) , wie Bahnübergänge, Weichen oder Signal gebende oder führende Anlagen, befinden, enthalten. c) starting (the proportions of the detected lanes FS, GL) (in the image region BIB) used with the aid of edge detection ¬ algorithms the course of a (of the railway vehicle BFZ, SFZ) lane (FS, GL) by a in the captured image detected changing image portion of the lane (FS, GL) for sensing ¬ th picture and having stored known picture meta information (BMI) is matched to the traffic lane (FS, GL) related primary metadata, in particular the distance of parallel lanes ( FS, GL) and the width of a lane head, in particular a rail head, or as well as to a railway line (BST), in particular to a rail line (SST), related secondary metadata, in particular ¬ at which geographical positions or location coordinates are plants on the railway line (BST, SST), so-called track systems (SAL), such as railroad crossings, switches or signaling or leading facilities, are included.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Bild (BIFSB, BIGLB) erkannt wird, wo die Streckenanlage (SAL) zu finden ist, indem 2. The method according to claim 1, characterized in that in the image (BI FSB , BI GLB ) is detected where the track system (SAL) can be found by
a) für eine aktuell ermittelte geografische Position des Bahnfahrzeugs (BFZ , SFZ) ein Bildteilbereich (BTB) in dem Bild (BIFSB, BIGLB) ausgemacht wird, in dem ein markantes Anla¬ genmerkmal, insbesondere ein Signal (SI) der Signalanlage, zu erkennen ist, a) for a currently determined geographical position of the railway vehicle (BFZ, SFZ) an image subregion (BTB) in the image (BI FSB , BI GLB ) is identified, in which a distinctive feature ¬ genmerkmal, in particular a signal (SI) of the signaling system, it can be seen
b) ein erster Bildabschnitt (BAS1) in dem Bildteilbereich (BTB) bestimmt wird, durch den die von dem Bahnfahrzeug (BFZ, SFZ) genutzte Fahrspur (FS, GL) durchführt, b) a first image section (BAS1) is determined in the image subregion (BTB) through which the traffic lane (FS, GL) used by the railway vehicle (BFZ, SFZ),
c ) mit Hilfe eines ersten bekannten Metadatums über den Ab¬ stand der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) ermittelt wird wie weit auf der Basis einer Breite der Fahrspur (FS, GL) in dem Bildabschnitt (BAS1) die Streckenanlage (SAL) von der Fahr¬ spur (FS, GL) beabstandet ist, c) is determined using a first known metadata about the Ab ¬ stand of the track system (SAL) of the secondary metadata in the stored image meta-information (BMI) how far on the basis of a width of the lane (FS, GL) in the image section (BAS1) the track system (SAL) from the Fahr ¬ track (FS, GL) is spaced,
d) mit Hilfe eines zweiten bekannten Metadatums über die Au¬ ßenkanten der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) und eines Standardkantenerkennungsalgorithmus versucht wird, die Außen¬ kanten der Streckenanlage (SAL) in dem in c ) ermittelten Abstand von der Fahrspur (FS, GL) so lange zu erkennen bis sich die bekannte und erkannte Außenkante im Wesentlichen überde¬ cken . d) using a second known metadata item on the Au ¬ ßenkanten the track system (SAL) of the secondary metadata (in the stored image meta information BMI) and a standard edge detection algorithm is attempted, the outer ¬ edges of the path system (SAL) in the in c ) detected distance from the lane (FS, GL) so long until the known and recognized outer edge substantially überde ¬ bridges.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass 3. The method according to claim 1 or 2, characterized in that
in dem Bild (BIFSB, BIGLB) erkannt wird, in welche Richtung, insbesondere LINKS, RECHTS oder GERADEAUS, das Bahnfahrzeug (BFZ, SFZ) fährt, indem für die aus dem erkannten Verlauf erkannte Fahrspur (FS, GL) in the image (BI FSB , BI GLB ) it is detected in which direction, in particular LEFT, RIGHT or STRAIGHT, the railway vehicle (BFZ, SFZ) travels, by checking the lane (FS, GL) identified from the detected course
a) eine Pseudo-GERADEAUS-Fahrspur, insbesondere ein Pseudo- GERADEAUS-Gleis , durch lineare Fortschreibung der gemäß dem Bildbereich (BIB) von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) künstlich erzeugt wird, a) a pseudo-GERADEAUS lane, in particular a pseudo-GERADEAUS track, is artificially generated by linear updating of the lane (FS, GL) used in accordance with the image area (BIB) by the railway vehicle (BFZ, SFZ),
b) die Pseudo-GERADEAUS-Fahrspur mit der benutzten Fahrspur (FS, GL) in der Weise verglichen wird, dass bl) eine GERADEAUS-Richtung erkannt ist, wenn die vergliche¬ nen Fahrspuren (FS, GL) identisch sind, b) the pseudo-straight-ahead lane is compared with the used lane (FS, GL) in such a way that bl) is detected a straight-ahead direction when the lanes were comparing ¬ NEN (FS, GL) are identical,
b2) eine LINKS-Richtung, insbesondere eine LINKS-Kurve, er¬ kannt ist, wenn die benutzte Fahrspur (FS, GL) links von der Pseudo-GERADEAUS-Fahrspur liegt, b2) a LEFT direction, in particular a LEFT curve, it is ¬ known is when the used lane (FS, GL) is to the left of the pseudo-GERADEAUS lane,
b3) eine RECHTS-Richtung, insbesondere eine RECHTS-Kurve, er¬ kannt ist, wenn die benutzte Fahrspur (FS, GL) rechts von der Pseudo-GERADEAUS-Fahrspur liegt. b3) a RIGHT direction, in particular a RIGHT curve, it is ¬ known is when the used lane (FS, GL) to the right of the pseudo-GERADEAUS lane.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, d a s s 4. The method according to claim 3, characterized in d a s s
aus dem Abstand der benutzten Fahrspur (FS, GL) von der Pseudo-GERADEAUS-Fahrspur sowie vom Bahnfahrzeug (BFZ , SFZ) , der aus einer Breite der Fahrspur (FS, GL) im Bildbereich (BIB) und einer Breite der Fahrspur (FS, GL) in jeweils einem für das jeweilige Erkennen der GERADEAUS-Richtung, LINKS-Richtung oder RECHTS-Richtung relevanten zweiten Bildabschnittes from the distance of the used lane (FS, GL) from the pseudo-GERADEAUS lane and from the railway vehicle (BFZ, SFZ), which consists of a width of the lane (FS, GL) in the image area (BIB) and a width of the lane (FS , GL) in each case for a respective second image section relevant for the respective recognition of the STRAIGHT-EAUS direction, LEFT-direction or RIGHT-direction
(BAS2) berechnet wird, ein Krümmungsgrad der LINKS- Richtung/Kurve respektive der RECHTS-Richtung/Kurve berechnet wird .  (BAS2) is calculated, a degree of curvature of the LEFT direction / curve or the RIGHT direction / curve is calculated.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass 5. The method according to any one of claims 1 to 4, characterized in that
in dem Bild ( B I FSB , B I GLB) erkannt wird, ob sich mindestens ein Objekt (OBJ), vorzugsweise eine Person, ein Tier, ein beweg¬ barer oder ortsfester Gegenstand, auf der benutzten Fahrspur (FS, GL) befindet, indem is recognized in the image (BI FSB, BI G LB) whether at least one object (OBJ), preferably a person, an animal, a Move ¬ Barer or fixed object on the used driving lane (FS, GL) is by
a) eine personenbezogene Größe der Person und/oder eine ge¬ genstandbezogene Größe des bewegbaren Gegenstandes im Ver- hältnis zu einer bekannten Breite der Fahrspur (FS, GL) gesetzt wird, die aus einem dritten bekannten Metadatum über die Breite der Fahrspur (FS, GL) der Primär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) gewonnen wird, b) in dem Bild (BIFSB, BIGLB) die benutzte Fahrspur (FS, GL) sowie ein kritischer Bereich, der vorzugsweise nach einer Umgebung der Fahrspur (FS, GL), z.B. Land oder Stadt, unterschiedlich breit bemessen ist, links und rechts von der be¬ nutzten Fahrspur (FS, GL) in mehrere Analyseabschnitte mit steigendem Abstand zum Bahnfahrzeug (BFZ, SFZ) eingeteilt werden, a) a personal size of the person and / or a ge ¬ genstandbezogen size of the movable object in relation to a known width of the lane (FS, GL) is set, from a third known metadata across the width of the lane (FS, GL) of the primary metadata is obtained in the stored image meta-information (BMI), b) in the image (BI FSB , BI GLB ) the used lane (FS, GL) as well as a critical area, preferably according to an environment of the traffic lane (FS, GL), for example country or city is different widths sized left and right of the ¬ be used lane (FS, GL) into several sections with analysis increasing distance to the railway vehicle (BFZ, SFZ),
c ) für jeden Analyseabschnitt ein umgebungsspezifischer Mustererkennungsalgorithmus zum Erkennen des Objektes (OBJ) be- nutzt wird. c) an environment-specific pattern recognition algorithm for recognizing the object (OBJ) is used for each analysis section.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, d a s s 6. The method according to claim 5, characterized in that a s s
bei einem sich bewegenden Objekt (OBJ), z.B. sich bewegende Person, sich bewegendes Tier, andere entgegenkommende oder vorausfahrende Bahnfahrzeuge etc., die Analyseabschnitte von mehreren aufeinanderfolgenden Bildern (BI FSB / BIGLB) in Bezie hung zueinander gesetzt werden, um die Bewegung für die Vorausberechnung einer möglichen Kollision mit dem Objekt (OBJ) zu erkennen und zu verfolgen. at a moving object (OBJ), e.g. Moving person, moving animal, other oncoming or preceding train vehicles, etc., the analysis sections of several successive images (BI FSB / BIGLB) are related to each other in order to calculate the movement for the precalculation of a possible collision with the object (OBJ). to recognize and pursue.
7. Verfahren nach Anspruch 5 der 6, dadurch gekennzeichnet, dass 7. The method according to claim 5 of 6, characterized in that
in dem Bild (BIFSB, BIGLB) erkannt wird, wie weit das Bahnfahr- zeug (BFZ, SFZ) von dem Objekt (OBJ) beabstandet ist, das auf der benutzten Fahrspur (FS, GL) erkannt worden ist, indem der aus einer Pixelbreite der Fahrspur (FS, GL) im Bildbe¬ reich (BIB) und einer Pixelbreite der Fahrspur (FS, GL) in einem dritten Bildabschnittes (BAS3) , in dem sich das Objekt (OBJ) befindet, in Beziehung zueinander gesetzt werden, wobei aus diesem Verhältnis und der aus dem bekannten dritten Metadatum gewonnenen Breite der Fahrspur (FS, GL) der besagte Abstand berechnet wird. in the image (BI FSB , BI GLB ) it is detected how far the railway vehicle (BFZ, SFZ) is from the object (OBJ), which has been recognized on the used lane (FS, GL), by the a pixel width of the lane (FS, GL) in the Bildbe ¬ rich (BIB) and a pixel width of the lane (FS, GL) in a third image section (BAS3), in which the object (OBJ) is located in relation to each other, wherein from said ratio and the width of the lane (FS, GL) obtained from the known third metadata, said distance is calculated.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass 8. The method according to any one of claims 1 to 7, characterized in that
in dem Bild (BIFSB, BIGLB) erkannt wird, ob auf der benutzten Fahrspur (FS, GL) der Bahnstrecke (BST, SST) mindestens ein fremdes Objekt (OBJ) liegt, indem in the image (BI FSB , BI GLB ) is detected, whether on the used lane (FS, GL) of the railway line (BST, SST) is at least one foreign object (OBJ) by
a) das Erkennen des Verlaufs der von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) mit Hilfe der Kantenerkennungsalgorithmen fehlschlägt oder b) eine Unregelmäßigkeitserkennung anhand von regelmäßigen Mustern, die durch Fahrspurträger der Fahrspur (FS) respektive Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet werden, in der Weise durchgeführt wird, dass beim Erkennen einer Unregelmäßigkeit, vorzugsweise wenn ein Objekt (OBJ), z.B. eine Balise oder ein spielendes Kind, sich auf der benutzten Fahrspur (FS, GL) befindet, diese Unregel¬ mäßigkeit mit als Referenzinformationen genutzte und in Fahr- strecken-Initialisierungsläufen zuvor aufgenommene Strecken- bildern abgeglichen wird. a) the detection of the course of the lane (FS, GL) used by the railway vehicle (BFZ, SFZ) using the edge detection algorithms fails or b) an irregularity detection is carried out on the basis of regular patterns formed by lane markers of the traffic lane (FS) or track carriers between the parallel tracks (GL) in such a way that when an irregularity is detected, preferably when an object (OBJ), for example, a beacon or a playing child, on the lane used (FS, GL), this irregu ¬ temperance is compared with reference information used previously recorded and in driving stretch-Initialisierungsläufen route images.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass 9. The method according to any one of claims 1 to 8, characterized in that
die Bilder ( B I FSB , B I GLB) mit mehreren Bildaufzeichnungsgeräten (BAZG) gleicher Bauart, z.B. mit Videokameras, oder unter¬ schiedlicher Bauart, z.B. mit Videokameras, Lasersensoren, RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren, Infrarotkameras und/oder Wärmebildkame¬ ras, aufgenommen werden. the images (BI FSB, BI G LB) having a plurality of image recording devices (BAZG) of the same type, for example with video cameras, or ¬ schiedlicher type, such as video cameras, laser sensors, RADAR-based, based on radio-based positioning and distance measuring sensors, infrared cameras and / or Thermal Imaging ¬ ras, are recorded.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass 10. The method according to any one of claims 1 to 9, characterized in that
mit dem Verfahren ein automatisiertes (autonomes) oder unter¬ stütztes Fahren des Bahnfahrzeugs (BFZ, SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assistiert wird. is assisted by an automated process (autonomous) or assisted ¬ driving the railway vehicle (BFZ, SFZ) without additional infrastructure along a route.
11. Vorrichtung (BAV) zur fahrspurbasierten Bildanalyse im Bahnverkehr (BVK) , insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr (SVK) , 11. Apparatus (BAV) for lane-based image analysis in rail traffic (BVK), in particular for track-based image analysis in rail traffic (SVK),
gekennzeichnet durch marked by
a) mindestens ein Bildaufzeichnungsgerät (BAZG) , mit dem von einem Bahnfahrzeug (BFZ) , insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagen¬ führers (FZF, TFS, TRW) und/oder aus einer ortsfesten, fahr- spurobservierenden Position im oder am Fahrzeug (BFZ, SFZ) , eine Vielzahl von einen Fahrspurbereich (FSB) , insbesondere einen Gleisbereich (GLB) , repräsentierenden Bildern (BIFSB, B I GLB) erfassbar und in einer Bildspeichereinrichtung (BSPE) speicherbar sind, a) at least one image recording device (BAZG) with which of a railway vehicle (BFZ), in particular a rail vehicle (SFZ), in particular from the perspective of a railcar ¬ driver (FZF, TFS, TRW) and / or from a stationary, driving track-occupying position in or on the vehicle (BFZ, SFZ), a plurality of images representing a traffic lane area (FSB), in particular a track area (GLB), (BI FSB , BI GLB ) can be detected and stored in an image storage device (BSPE),
b) eine Berechnungs-/Auswerteeinrichtung (BAWE) , die verbunden und funktional zusammenwirkend mit dem Bildaufzeichnungs- gerät (BAZG) und der Bildspeichereinrichtung (BSPE) derart, insbesondere mit einem nicht-flüchtigen, lesbaren Speicher (SP) , in dem prozessorlesbare Steuerprogrammbefehle eines die fahrspurbasierte Bildanalyse steuernden Programm-Moduls (PGM) gespeichert sind, und einem Prozessor (PZ) , der die Steuer- programmbefehle des Programm-Moduls (PGM) zur berechnungs- /auswertegestützten und fahrspurbasierten Bildanalyse ausführt, ausgebildet ist, dass in den Bildern (BIFSB, BIGLB) je¬ weils ein Bildbereich (BIB) ausgemacht wird, in dem in Bezug auf den bildlich dargestellten Fahrspurbereich (FSB, GLB) er- fasste Fahrspuren (FS, GL) im Wesentlichen an einer gleichen Stelle liegen, b) a calculation / evaluation device (BAWE) connected and functionally cooperating with the image recording device (BAZG) and the image memory device (BSPE) in such a way, in particular with a non-volatile, readable memory (SP), in the processor-readable control program instructions the lane-based image analysis controlling program module (PGM) are stored, and a processor (PZ), which executes the programmer module (PGM) control program instructions for calculation / evaluation-assisted and lane-based image analysis, that in the images ( BI FSB , BI GLB ) je ¬ Weils an image area (BIB) is identified, in which in relation to the illustrated lane area (FSB, GLB) detected lanes (FS, GL) are located substantially in the same place,
c) die Berechnungs-/Auswerteeinrichtung (BAWE) , die verbunden und funktional zusammenwirkend mit einer Informationsdaten¬ bank (IDB), wobei vorzugsweise beide, die Bildspeicherein- richtung (BSPE) und die Informationsdatenbank (IDB), als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sind, derart ausgebildet ist, dass ausgehend von den Anteilen der erfassten Fahrspuren (FS, GL) in dem Bildbereich (BIB) mit Hilfe von Kantenerkennungsalgorithmen der Verlauf einer von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) durch einen sich im erfassten Bild ändernden Bildanteils der Fahrspur (FS, GL) zum erfassten Gesamtbild erkannt und mit in der Informationsdatenbank (IDB) gespeicherten bekannten Bild-Metainformationen (BMI) abgeglichen wird, die sowohl zur Fahrspur (FS, GL) bezogene Primär-Metadaten, insbesondere den Abstand von parallel verlaufenden Fahrspuren (FS, GL) sowie die Breite eines Fahrspurkopfes, insbesondere eines c) the calculation / evaluation device (BAWE), the connected and functionally cooperating with a Informationsdaten ¬ bank (IDB), preferably both, the image storage device (BSPE) and the information database (IDB), as a structural unit in a shared memory device are integrated, is formed such that, starting from the proportions of the detected lanes (FS, GL) in the image area (BIB) by means of edge detection algorithms of a lane used by the railway vehicle (BFZ, SFZ) lane (FS, GL) by a in the detected image changing image portion of the lane (FS, GL) is detected to the captured total image and compared with stored in the information database (IDB) known image meta-information (BMI), both the lane (FS, GL) related primary metadata, in particular the distance from parallel running lanes (FS, GL) and the width of a lane head, in particular one
Schienenkopfes, als auch zu einer Bahnstrecke (BST) , insbe¬ sondere zu einer Schienenstrecke (SST) , bezogene Sekundär- Metadaten, insbesondere an welchen geografischen Positionen oder Ortskoordinaten sich Anlagen an der Bahnstrecke (BST, SST) , sogenannte Streckenanlagen (SAL) , wie Bahnübergänge, Weichen oder Signal gebende oder führende Anlagen befinden, enthalten . Railhead, as well as to a railway line (BST), in particular ¬ special rail line (SST), related secondary metadata, in particular at which geographical positions or location coordinates are facilities on the railway line (BST, SST), so-called track systems (SAL), like railroad crossings, Contain diverters or signaling or leading installations.
12. Vorrichtung (BAV) nach Anspruch 11, dadurch gekenn- zeichnet, dass 12. Device (BAV) according to claim 11, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild (BIFSB/ BIGLB) erkannt wird, wo die Streckenanlage (SAL) zu finden ist, indem the calculation / evaluation device (BAWE) is designed in such a way that in the image (BI FSB / BI GLB ) it is recognized where the track system (SAL) can be found by
a) für eine aktuell ermittelte geografische Position des Bahnfahrzeugs (BFZ , SFZ) ein Bildteilbereich (BTB) in dema) for a currently determined geographical position of the railway vehicle (BFZ, SFZ) an image subsection (BTB) in the
Bild (BIFSB, BIGLB) ausgemacht wird, in dem ein markantes Anla¬ genmerkmal, insbesondere ein Signal (SI) der Signalanlage, zu erkennen ist, Image (BI FSB , BI GLB ), in which a striking feature ¬ genmerkmal, in particular a signal (SI) of the signal system can be seen,
b) ein erster Bildabschnitt (BAS1) in dem Bildteilbereich (BTB) bestimmt wird, durch den die von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS, GL) durchführt, b) a first image section (BAS1) is determined in the image subregion (BTB) through which the traffic lane (FS, GL) used by the railway vehicle (BFZ, SFZ),
c ) mit Hilfe eines ersten bekannten Metadatums über den Ab¬ stand der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) ermittelt wird wie weit auf der Basis einer Breite der Fahrspur (FS, GL) in dem Bildabschnitt (BAS1) die Streckenanlage (SAL) von der Fahr¬ spur (FS, GS) beabstandet ist, c) is determined using a first known metadata about the Ab ¬ stand of the track system (SAL) of the secondary metadata in the stored image meta-information (BMI) how far on the basis of a width of the lane (FS, GL) in the image section (BAS1) the track system (SAL) from the Fahr ¬ track (FS, GS) is spaced,
d) mit Hilfe eines zweiten bekannten Metadatums über die Au¬ ßenkanten der Streckenanlage (SAL) der Sekundär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) und einesd) on the Au ¬ ßenkanten the track system (by means of a second known metadata item SAL) of the secondary metadata (in the stored image meta-BMI) and a
Standardkantenerkennungsalgorithmus versucht wird, die Außen¬ kanten der Streckenanlage (SAL) in dem in c ) ermittelten Abstand von der Fahrspur (FS, GL) so lange zu erkennen bis sich die bekannte und erkannte Außenkante im Wesentlichen überde- cken. Standard edge detection algorithm is attempted to recognize the outer ¬ edges of the track system (SAL) in the distance determined in c) from the lane (FS, GL) until the known and recognized outer edge substantially covers.
13. Vorrichtung (BAV) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass 13. Device (BAV) according to claim 11 or 12, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebil- det ist, dass in dem Bild (BIFSB/ BIGLB) erkannt wird, in wel¬ che Richtung, insbesondere LINKS, RECHTS oder GERADEAUS, das Bahnfahrzeug (BFZ, SFZ) fährt, indem für die aus dem erkannten Verlauf erkannte Fahrspur (FS, GL) a) eine Pseudo-GERADEAUS-Fahrspur , insbesondere ein Pseudo- GERADEAUS-Gleis , durch lineare Fortschreibung der gemäß dem Bildbereich (BIß) von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) künstlich erzeugt wird, the calculation / evaluation device (BAWE) is such trained det that is recognized in the image (BI FSB / BI GLB), runs in wel ¬ che direction, in particular left, right or straight on the rail vehicle (BFZ, SFZ), by identifying the lane (FS, GL) identified from the detected course a) a pseudo-GERADEAUS lane, in particular a pseudo-GERADEAUS track, is artificially generated by linear updating of the lane (FS, GL) used by the railway vehicle (BFZ, SFZ) according to the image area (BI);
b) die Pseudo-GERADEAUS-Fahrspur mit der benutzten Fahrspur (FS, GL) in der Weise verglichen wird, dass b) the pseudo-straight-ahead lane is compared with the used lane (FS, GL) in such a way that
bl) eine GERADEAUS-Richtung erkannt ist, wenn die vergliche¬ nen Fahrspuren (FS, GL) identisch sind, bl) is detected a straight-ahead direction when the lanes were comparing ¬ NEN (FS, GL) are identical,
b2) eine LINKS-Richtung, insbesondere eine LINKS-Kurve, er- kannt ist, wenn die benutzte Fahrspur (FS, GL) links von der Pseudo-GERADEAUS-Fahrspur liegt, b2) a LEFT direction, in particular a LEFT curve, is recognized when the used lane (FS, GL) is to the left of the pseudo-STRAIGHT-EASE lane,
b3) eine RECHTS-Richtung, insbesondere eine RECHTS-Kurve, er¬ kannt ist, wenn die benutzte Fahrspur (FS, GL) rechts von der Pseudo-GERADEAUS-Fahrspur liegt. b3) a RIGHT direction, in particular a RIGHT curve, it is ¬ known is when the used lane (FS, GL) to the right of the pseudo-GERADEAUS lane.
14. Vorrichtung (BAV) nach Anspruch 13, dadurch gekennzeichnet, dass 14. Device (BAV) according to claim 13, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass aus dem Abstand der benutzten Fahrspur (FS, GL) von der Pseudo-GERADEAUS-Fahrspur sowie vom Bahnfahrzeug (BFZ, SFZ) , der aus einer Breite der Fahrspur (FS, GL) im Bildbereich (BIB) und einer Breite der Fahrspur (FS, GL) in jeweils einem für das jeweilige Erkennen der GERADEAUS- Richtung, LINKS-Richtung oder RECHTS-Richtung relevanten zweiten Bildabschnittes (BAS2) berechnet wird, ein Krümmungs¬ grad der LINKS-Richtung/Kurve respektive der RECHTS- Richtung/Kurve berechnet wird. the calculation / evaluation device (BAWE) is designed such that from the distance of the used lane (FS, GL) from the pseudo-GERADEAUS lane and from the railway vehicle (BFZ, SFZ), which consists of a width of the lane (FS, GL ) in the image area (BIB) and a width of the lane (FS, GL) is calculated in each case (a relevant for the respective detection of the straight-ahead direction, left direction or right direction second image portion BAS2), a curve ¬ degree of LINKS Direction / curve respectively the RIGHT direction / curve is calculated.
15. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass 15. Device (BAV) according to one of claims 11 to 14, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild (B I FSB / B I GLB) erkannt wird, ob sich mindestens ein Objekt (OBJ), vorzugsweise eine Person, ein Tier, ein bewegbarer oder ortsfester Gegenstand, auf der be- nutzten Fahrspur (FS, GL) befinden, indem the calculation / evaluation device (BAWE) is designed such that it is recognized in the image (BI FSB / BI GLB ) whether at least one object (OBJ), preferably a person, an animal, a movable or stationary object, on which used lane (FS, GL) by
a) eine personenbezogene Größe der Person und/oder eine ge¬ genstandbezogene Größe des bewegbaren Gegenstandes im Ver¬ hältnis zu einer bekannten Breite der Fahrspur (FS, GL) ge- setzt wird, die aus einem dritten bekannten Metadatum über die Breite der Fahrspur (FS, GL) der Primär-Metadaten in den gespeicherten Bild-Metainformationen (BMI) gewonnen wird, b) in dem Bild ( B I FSB , BIGLB) die benutzte Fahrspur (FS, GL) sowie ein kritischer Bereich, der vorzugsweise nach einer Umgebung der Fahrspur (FS, GL), z.B. Land oder Stadt, unterschiedlich breit bemessen ist, links und rechts von der be¬ nutzten Fahrspur (FS, GL) in mehrere Analyseabschnitte mit steigendem Abstand zum Bahnfahrzeug (BFZ, SFZ) eingeteilt werden, a) a personal size of the person and / or a ge ¬ genstandbezogene size of the movable object in the Ver ¬ ratio (to a known width of the lane FS, GL) Sex is set, which is obtained from a third known metadata about the width of the lane (FS, GL) of the primary metadata in the stored image meta-information (BMI), b) in the image (BI FSB , BI GLB ) the lane used (FS, GL) as well as a critical region, which preferably after an environment of the lane (FS, GL), for example, country or city, different width dimensions, left and right of the be ¬ used lane (FS, GL) into a plurality of analysis portions be classified with increasing distance to the railway vehicle (BFZ, SFZ),
c) für jeden Analyseabschnitt ein umgebungsspezifischer Mustererkennungsalgorithmus zum Erkennen des Objektes (OBJ) be¬ nutzt wird. c) an environment-specific pattern recognition algorithm to detect the object (for each analysis section uses ¬ be OBJ) is.
16. Vorrichtung (BAV) nach Anspruch 15, dadurch gekennzeichnet, dass 16. Device (BAV) according to claim 15, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass bei sich einem bewegenden Objekt (OBJ), z.B. eine Person, ein Tier, andere entgegenkommende oder voraus- fahrende Bahnfahrzeuge etc., die Analyseabschnitte von mehre¬ ren aufeinanderfolgenden Bildern ( B I FSB , B I GLB) in Beziehung zueinander gesetzt werden, um die Bewegung für die Vorausberechnung einer möglichen Kollision mit dem Objekt (OBJ) zu erkennen und zu verfolgen. the calculation / evaluation device (BAWE) is designed such that with them a moving object (OBJ) such as a person, an animal, other oncoming or forward-propelled railway vehicles, etc., the analysis of sections of several ¬ ren successive images (BI FSB , BI G LB) are set in relation to one another in order to recognize and track the movement for the precalculation of a possible collision with the object (OBJ).
17. Vorrichtung (BAV) nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass 17. Device (BAV) according to claim 15 or 16, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild ( B I FSB / B I GLB) erkannt wird, wie weit das Bahnfahrzeug (BFZ, SFZ) von dem Objekt (OBJ) beabstandet ist, das auf der benutzten Fahrspur (FS, GL) erkannt worden ist, indem the calculation / evaluation device (BAWE) is designed in such a way that in the image (BI FSB / BI GLB) it is detected how far the rail vehicle (BFZ, SFZ) is from the object (OBJ) that is located on the used lane ( FS, GL) has been recognized by
der aus einer Pixelbreite der Fahrspur (FS, GL) im Bildbe¬ reich (BIB) und einer Pixelbreite der Fahrspur (FS, GL) in einem dritten Bildabschnittes (BAS3) , in dem sich das Objekt (OBJ) befindet, in Beziehung zueinander gesetzt werden, wobei aus diesem Verhältnis und der aus dem bekannten dritten Meta- datum gewonnenen Breite der Fahrspur (FS, GL) der besagte Abstand berechnet wird. the group consisting of a pixel width of the lane (FS, GL) in Bildbe ¬ rich (BIB) and a pixel width of the lane (FS, GL) in a third image section (BAS3), in which the object (OBJ) is set in relation to each other from this ratio and from the known third meta- Date obtained width of the lane (FS, GL) of said distance is calculated.
18. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass 18. Device (BAV) according to one of claims 11 to 17, characterized in that
die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass in dem Bild ( B I FSB / B I GLB) erkannt wird, ob auf der benutzten Fahrspur (FS, GL) der Bahnstrecke (BST, SST) mindestens ein fremdes Objekt (OBJ) liegt, indem the calculation / evaluation device (BAWE) is designed in such a way that in the image (BI FSB / BI GLB) it is detected whether at least one foreign object (OBJ) is present on the used lane (FS, GL) of the railway line (BST, SST) lies by
a) das Erkennen des Verlaufs der von dem Bahnfahrzeug (BFZ, SFZ) benutzten Fahrspur (FS, GL) mit Hilfe der Kantenerkennungsalgorithmen fehlschlägt oder a) the detection of the course of the lane (FS, GL) used by the railway vehicle (BFZ, SFZ) using the edge detection algorithms fails or
b) eine Unregelmäßigkeitserkennung anhand von regelmäßigen Mustern, die durch Fahrspurträger der Fahrspur (FS) respekti- ve Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet werden, in der Weise durchgeführt wird, dass beim Erkennen einer Unregelmäßigkeit, vorzugsweise wenn ein Objekt (OBJ), z.B. eine Balise oder ein spielendes Kind, sich auf der genutzten Fahrspur (FS) respektive dem benutzten Gleis (GL) befindet, diese Unregelmäßigkeit mit als Referenz¬ informationen genutzte und in Fahrstrecken-Initialisierungs- läufen zuvor aufgenommene Streckenbildern abgeglichen wird. b) an irregularity detection is carried out on the basis of regular patterns formed by lane markers of the lane (FS) or track carriers between the parallel tracks (GL) in such a way that when an irregularity is detected, preferably when an object (OBJ ), for example is a beacon or a playing child, on the shared lane (FS) respectively (the track used GL), this irregularity used as a reference ¬ information and traveling route initialization runs previously recorded track images is adjusted.
19. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 18, dadurch gekennzeichnet, dass 19. Device (BAV) according to one of claims 11 to 18, characterized in that
mehrere Bildaufzeichnungsgeräte (BAZG) gleicher Bauart, z.B. mehrere Videokameras, oder unterschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstandsmessung beruhende Sensoren, Infrarotkameras und/oder Wärmebildkameras, enthalten sind, die die Bilder ( B I FSB , BIGLB) aufnehmen. several image recording devices (BAZG) of the same design, eg several video cameras, or of different types, eg several video cameras, laser sensors, RADAR-based sensors based on radio-based location and distance measurement, infrared cameras and / or thermal imaging cameras, which contain the images (BI FSB , BI GLB ) record.
20. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 19, dadurch gekennzeichnet, dass 20. Device (BAV) according to one of claims 11 to 19, characterized in that
das Bildaufzeichnungsgerät (BAZG) schwenkbar ausgebildet ist. the image recording device (BAZG) is designed to be pivotable.
21. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 20, dadurch gekennzeichnet, dass das Bildaufzeichnungsgerät (BAZG) eine Korrekturkomponente (KOK) aufweist, die in die Auswertung des Bildmaterials Wet¬ ter- und Helligkeitsdaten mit einbezieht. 21. Device (BAV) according to one of claims 11 to 20, characterized in that the image recording apparatus (BAZG) a correction component (COC), which includes in the evaluation of the photographic material Wet ¬ ter- and brightness data.
22. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 21, dadurch gekennzeichnet, dass 22. Device (BAV) according to one of claims 11 to 21, characterized in that
das Bildaufzeichnungsgerät (BAZG) eine Brennweiteverände¬ rungskomponente (BVK) aufweist, die in Abhängigkeit vom Ab¬ stand zur Fahrspur (FS, GL) den richtigen Aufnahmewinkel wählt, um so die mehrfache Auswertung optimal zu unterstüt¬ zen . the image recorder (BAZG) has a focal length Variegated ¬ insurance component (BVK), which depending on the From ¬ stood for lane (FS, GL) chooses the right angle, so the multiple evaluation optimally under support alarm ¬ zen.
23. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 22, dadurch gekennzeichnet, dass 23. Device (BAV) according to one of claims 11 to 22, characterized in that
das Bildaufzeichnungsgerät (BAZG) eine Beleuchtungskomponente (BLK) , insbesondere einen Scheinwerfer der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, aufweist. the image recording device (BAZG) has a lighting component (BLK), in particular a headlight which operates inside or outside the human visible region.
24. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 23, gekennzeichnet durch 24. Device (BAV) according to one of claims 11 to 23, characterized by
eine virtuelle Maschine, die im Sinne eines "Software a virtual machine that is in the sense of a "software
Defined Signal Recognition of Rail Traffic Systems" ausge¬ bildet ist und funktioniert. Is defined signal recognition of Rail Traffic Systems out forms ¬ "and working.
25. Vorrichtung (BAV) nach einem der Ansprüche 11 bis 24, dadurch gekennzeichnet, dass 25. Device (BAV) according to one of claims 11 to 24, characterized in that
mit der Vorrichtung (BAV) ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs (BFZ, SFZ) ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assist- ierbar ist. Automated (autonomous) or assisted driving of the railway vehicle (BFZ, SFZ) without additional infrastructure along a route can be assisted with the device (BAV).
26. Bahnfahrzeug (BFZ) zur fahrspurbasierten Bildanalyse im Bahnverkehr (BVK) , insbesondere zur gleisbasierten Bildanalyse im Schienenverkehr (SVK), dadurch gekennzeichnet, dass 26. Railway vehicle (BFZ) for the lane-based image analysis in railway traffic (BVK), in particular for track-based image analysis in rail traffic (SVK), characterized in that
eine Vorrichtung (BAV) zur fahrspurbasierten Bildanalyse respektive zur gleisbasierten Bildanalyse, nach einem der An- Sprüche 11 bis 25 in das Bahnfahrzeug (BFZ, SFZ) integriert ist . A device (BAV) for lane-based image analysis or for track-based image analysis, according to one of the Proverbs 11 to 25 in the railway vehicle (BFZ, SFZ) is integrated.
PCT/EP2017/081845 2016-12-07 2017-12-07 Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic WO2018104462A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780075716.XA CN110248858A (en) 2016-12-07 2017-12-07 For in rail traffic the image analysis based on track, in particular for method, equipment and the rail vehicle of the image analysis based on rail in railway traffic, especially rolling stock
EP17829135.7A EP3523175A1 (en) 2016-12-07 2017-12-07 Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic
RU2019117748A RU2720303C1 (en) 2016-12-07 2017-12-07 Method, device and railway vehicle, in particular, rail vehicle, for analysis of images on basis of track in railway communication, in particular for analysis of images on basis of rail track in rail communication

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224331.4 2016-12-07
DE102016224331 2016-12-07

Publications (1)

Publication Number Publication Date
WO2018104462A1 true WO2018104462A1 (en) 2018-06-14

Family

ID=60972170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/081845 WO2018104462A1 (en) 2016-12-07 2017-12-07 Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic

Country Status (4)

Country Link
EP (1) EP3523175A1 (en)
CN (1) CN110248858A (en)
RU (1) RU2720303C1 (en)
WO (1) WO2018104462A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109720381A (en) * 2018-12-28 2019-05-07 深圳华侨城卡乐技术有限公司 A kind of railcar avoiding collision and its system
DE102019206348A1 (en) * 2019-05-03 2020-07-23 Siemens Mobility GmbH Method and computer program product for recognizing signal signs for traffic control of track-bound vehicles as well as signal sign recognition system and track-bound vehicle, in particular rail vehicle
US10919546B1 (en) 2020-04-22 2021-02-16 Bnsf Railway Company Systems and methods for detecting tanks in railway environments
CN112810669A (en) * 2020-07-17 2021-05-18 周慧 Intercity train operation control platform and method
CN112839857A (en) * 2018-09-14 2021-05-25 西门子交通有限公司 Automated vehicle-side control system for a rail vehicle
US20210155274A1 (en) * 2018-09-26 2021-05-27 Hitachi, Ltd. Train control device and train control system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112319552A (en) * 2020-11-13 2021-02-05 中国铁路哈尔滨局集团有限公司 Rail car operation detection early warning system
RU2766936C1 (en) * 2021-10-19 2022-03-16 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» Locomotive control and driver vigilance control device
CN115610479B (en) * 2022-09-23 2023-09-15 北京京天威科技发展有限公司 Railway line state inspection system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2779518A1 (en) * 1998-06-09 1999-12-10 Thomson Csf OPTICAL METHOD FOR RECONSTRUCTING THE TRACK OF A TRACK ALONG WHICH A GUIDED VEHICLE MOVES
DE102006007788A1 (en) * 2006-02-20 2007-08-30 Siemens Ag Computer-assisted driverless railway train monitoring system, to show its travel behavior, has train-mounted sensors and track position markers for position data to be compared with a stored model
DE102014217954A1 (en) * 2014-09-09 2016-03-10 Robert Bosch Gmbh Method and device for determining a desired inclination angle of a rail vehicle
WO2017174155A1 (en) 2016-04-08 2017-10-12 Siemens Aktiengesellschaft Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101108627A (en) * 2007-08-30 2008-01-23 桂林市思奇通信设备有限公司 Automatic monitored control system for railway driving safety and operation method thereof
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US9810533B2 (en) * 2011-04-27 2017-11-07 Trimble Inc. Railway track monitoring
CN104386092B (en) * 2014-10-21 2017-02-22 卡斯柯信号有限公司 Automatic train protection system and method based on image identification and multi- perception fusion
CN105701844B (en) * 2016-01-15 2018-11-27 苏州大学 Barrier or shadow detection method based on color characteristic

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2779518A1 (en) * 1998-06-09 1999-12-10 Thomson Csf OPTICAL METHOD FOR RECONSTRUCTING THE TRACK OF A TRACK ALONG WHICH A GUIDED VEHICLE MOVES
DE102006007788A1 (en) * 2006-02-20 2007-08-30 Siemens Ag Computer-assisted driverless railway train monitoring system, to show its travel behavior, has train-mounted sensors and track position markers for position data to be compared with a stored model
DE102014217954A1 (en) * 2014-09-09 2016-03-10 Robert Bosch Gmbh Method and device for determining a desired inclination angle of a rail vehicle
WO2017174155A1 (en) 2016-04-08 2017-10-12 Siemens Aktiengesellschaft Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839857A (en) * 2018-09-14 2021-05-25 西门子交通有限公司 Automated vehicle-side control system for a rail vehicle
US20210155274A1 (en) * 2018-09-26 2021-05-27 Hitachi, Ltd. Train control device and train control system
EP3858705A4 (en) * 2018-09-26 2022-07-06 Hitachi, Ltd. Train control device and train control system
CN109720381A (en) * 2018-12-28 2019-05-07 深圳华侨城卡乐技术有限公司 A kind of railcar avoiding collision and its system
DE102019206348A1 (en) * 2019-05-03 2020-07-23 Siemens Mobility GmbH Method and computer program product for recognizing signal signs for traffic control of track-bound vehicles as well as signal sign recognition system and track-bound vehicle, in particular rail vehicle
US10919546B1 (en) 2020-04-22 2021-02-16 Bnsf Railway Company Systems and methods for detecting tanks in railway environments
US11884310B2 (en) 2020-04-22 2024-01-30 Bnsf Railway Company Systems and methods for detecting tanks in railway environments
CN112810669A (en) * 2020-07-17 2021-05-18 周慧 Intercity train operation control platform and method

Also Published As

Publication number Publication date
EP3523175A1 (en) 2019-08-14
RU2720303C1 (en) 2020-04-28
CN110248858A (en) 2019-09-17

Similar Documents

Publication Publication Date Title
WO2018104462A1 (en) Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic
EP3523177A2 (en) Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic
EP1176569B1 (en) Method for monitoring the condition of traffic for a traffic network comprising effective narrow points
DE69731009T2 (en) System for detecting obstacles
WO2018104460A1 (en) Method, device and track-bound vehicle, in particular a rail vehicle, for identifying dangerous situations in the track-bound traffic system, in particular in the railway traffic system
DE19529986C2 (en) Procedure for locating track-guided vehicles and devices for carrying out the procedure
WO2018104477A1 (en) Method, device and track-bound vehicle, particularly a rail vehicle, for lane identification in a track-bound traffic system, particularly for rail identification in a railway traffic system
EP3429903A1 (en) Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic
DE102005024558A1 (en) Method for determining the geometry of a section of road
DE102012024873A1 (en) Method and control device for providing a road ahead
DE102012107918A1 (en) Rail vehicle location system for rail vehicle, has digital data base with route data of rail vehicle of traveling track section, where evaluation device is adapted to current location of rail vehicle using current data of ambient sensor
DE102013104088A1 (en) Method for automatically detecting characteristic elements, in particular a level crossing, and device therefor
EP1297309B1 (en) Method for detecting travel information
EP3052963A1 (en) Method for correcting position data, and motor vehicle
DE102011106345B4 (en) path validation
EP0795455B1 (en) Method for determining the position of a railborne vehicle and device for carrying out the method
WO2020224853A1 (en) Method and computer program product for identifying signal signs for the traffic control of track-guided vehicles, signal-sign identification system, and track-guided vehicle, in particular rail vehicle
DE102015214425A1 (en) Method for detecting a course of rails
DE102021101958B3 (en) Method and system for determining the distance or the current relative speed of at least two route-bound, in particular rail-bound, mobile objects
EP3781906A1 (en) Method and device for determining a highly precise position of a vehicle
DE10018562C1 (en) Traffic data provision method for traffic network uses data signaling vehicles which circulate with traffic flow for providing data for each regulated network node
DE102006029845B4 (en) Device and method for securing track sections of a segmented track for a rail-bound vehicle body
WO2018104427A1 (en) Method, system and rail vehicle for localization in rail traffic
EP2439123B1 (en) Method, apparatus and arrangement for determining information coded in the railway track
DE10133001A1 (en) Procedure for determining traffic situation information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17829135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017829135

Country of ref document: EP

Effective date: 20190509

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019117748

Country of ref document: RU