WO2019197328A1 - Object recognition in areas reserved for means of locomotion in rail vehicles - Google Patents

Object recognition in areas reserved for means of locomotion in rail vehicles Download PDF

Info

Publication number
WO2019197328A1
WO2019197328A1 PCT/EP2019/058790 EP2019058790W WO2019197328A1 WO 2019197328 A1 WO2019197328 A1 WO 2019197328A1 EP 2019058790 W EP2019058790 W EP 2019058790W WO 2019197328 A1 WO2019197328 A1 WO 2019197328A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
lsd
rsd
reserved area
features
Prior art date
Application number
PCT/EP2019/058790
Other languages
German (de)
French (fr)
Inventor
Hamed Ketabdar
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of WO2019197328A1 publication Critical patent/WO2019197328A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Definitions

  • the invention relates to a method for detecting Objek th in reserved for means of transport areas in rail vehicles.
  • the invention relates to a monitoring device.
  • the invention relates to a
  • Special areas in rail vehicles are reserved for special means of transportation, such as wheelchairs, bicycles and prams of passengers. Such marked areas are usually present in several wagons of a train. Persons using these means of locomotion should be able to position themselves on the platform at a favorable location before the train arrives in order to be able to climb it where the special areas for their means of locomotion are located. In this way, they are spared a longer search for a suitable parking space, which is both for the users of Fortbewe gungsstoff a relief and for the other passengers, where the bulky means of transport otherwise have to be pushed past, to the intended position on the train to get.
  • One problem may be that such a reserved area is already reserved by other special means of transportation.
  • This object is achieved by a method for detecting objects in an area reserved for means of locomotion in a rail vehicle according to claim 1, an over monitoring device according to claim 12 and a rail vehicle according to claim 13.
  • an image is taken of the reser fourth area with a camera, wherein image data are detected. Furthermore, a scanning of the reserved Be rich using a radar sensor, wherein radar sensor data is detected. The reserved area is also scanned with the aid of a laser sensor, detecting laser sensor data. Subsequently, features from the data collected by the different sensor types are extracted. Further, an automated detection is made as to whether an object is in the reserved area based on a data combination based on the extracted characteristics of the data acquired by the different sensor types.
  • weight sensors for detecting the weight of persons or sonar sensors can also be used.
  • the detected sensor data BD, RSD, LSD of the different sensor types can be used for identification and detection purposes.
  • the results obtained can then be transmitted by radio to persons waiting on a platform.
  • Notification of the waiting persons can be made via a mobile app or via an electronic announcement board located on the platform.
  • the detection accuracy of objects in a service area reserved for specific vehicles can be improved by the multimodal approach. Thereby, the number of false alarms in the detection of objects in the reser fourth area can be reduced.
  • the proposed method can be easily transferred to areas with other objects.
  • the monitoring device comprises a Kame ra for performing an image capture of the reserved area, a radar sensor for sensing the reserved Be rich and a laser sensor for scanning the reserved area.
  • Part of the monitoring device according to the invention is also an extraction unit for extracting features from the data acquired by the different sensor types.
  • the monitoring device according to the invention also comprises a detection unit for automatically detecting whether an object is in the reserved area, based on a combination of data based on the extracted features of the data acquired by the different types of sensors, and an automated identification determining unit Type of object is located in the reserved area, based on the combination of data based on the extracted features of the data acquired by the different sensor types.
  • the monitoring device according to the invention shares the advantages of the method according to the invention for detecting objects in a reserved for means of transport Be rich in a rail vehicle.
  • the rail vehicle according to the invention has the monitoring device according to the invention as well as a data transmission unit for transmitting information about the status of an area reserved for special vehicles in the rail. on vehicle.
  • the rail vehicle according to the invention shares the advantages of the monitoring device according to the invention.
  • Parts of the monitoring device according to the invention can be formed predominantly in the form of software components. This concerns in particular parts of the extraction unit, the detection unit and the identification unit. In principle, however, these components can also be partially realized, in particular when it comes to particularly fast calculations, in the form of software-supported hardware, for example FPGAs or the like.
  • the required interfaces for example, if it is only about a transfer of data from other software components, be designed as software interfaces. However, they can also be designed as hardware-based interfaces, which are controlled by suitable software.
  • a partial software realization has the advantage that even previously used in a measuring device or a Messein direction of a rail vehicle computer systems can be retrofitted in a simple way by a software update to work on the inventive way.
  • the task is also solved by a corresponding computer program product with a computer program, which is directly loaded into a memory device of such Rechnersys system, with program sections to perform all the steps of the method for estimating the Messge accuracy of different sensors for the same parameter, if the computer program is executed in a computer system.
  • Such a computer program product in addition to the computer program optionally additional components, such as documentation and / or additional components, including hardware components, such as hardware keys (dongles, etc.) for using the software
  • additional components such as documentation and / or additional components, including hardware components, such as hardware keys (dongles, etc.) for using the software
  • a compu terlesbares medium such as a memory stick, a hard disk or other portable or fixed Clarker disk serve, on which the unit readable by a computer and executable program sections of the computer program are stored.
  • the computer unit may, for example, have one or more cooperating microprocessors or the like.
  • the object is a person.
  • persons can be distinguished from objects for which a special area is reserved. In this case, it can be assumed that a person will make room for a specific vehicle for which the special area is reserved. Thus, passengers can be notified that the particular reserved area in question is free.
  • a model can be adapted to a specific situation and specific objects with the aid of a machine learning method in a training phase, so that the reliability of the detection and identification of an object is improved.
  • the method according to the invention for detecting objects in a locomotive for locomotion range in a rail vehicle are extracted from the data of the radar sensor 13 characteristics and the features are compared with a model trained on the basis of a machine learning method.
  • a machine learning procedure an artificial system learns from examples and can generalize them after completion of the learning phase or training phase.
  • a system based thereon can also assess previously unknown situations.
  • a trained model is superior to a rigid model in which only parameters can be adjusted.
  • the radar sensor determines on the basis of the data from the radar sensor whether and to what extent a detected object has metal. From this it is determined whether the detected object is a person or an object.
  • features are extracted from the data of the laser sensor and the features are compared with a model trained on the basis of a manual learning method. With a laser sensor dimensions of objects can be determined, which can then be used to distinguish and to identify detected objects.
  • a height of the object can be determined.
  • Wheelchairs, carts and bicycles usually have a lower height compared to a passenger standing in the reserved area. This difference can be used to distinguish these special vehicles from a normal passenger.
  • laser sensors can provide features related to the structure of a scanned object, which additionally utilizes object detection and recognition process.
  • the extracted features of data from different sensors are combined or combined to form a combined data set. Furthermore, the combined data set is compared with a model trained on the basis of a machine learning method, and based on the comparison, the step of object detection and the object determination is performed. In this variant, the combination of data based on different sensor types takes place even before the actual detection and identification.
  • each detected and detected an object first based on the respective comparison with the respective gen features that were obtained from data from different sensors, each detected and detected an object and then takes place based on a combination of De tektions stylist and the detection data a final detec tion and detection of the object.
  • the combination of data based on different sensor types takes place only after the detection and recognition of the object.
  • a logical machine is used for the combining step. For example, a logical machine decides whether an object has been detected. This decision is made depending on whether a majority of the existing sensors has detected the object.
  • FIG. 1 shows a flow chart, which illustrates a method for detecting objects in a locomotion for fourth range in a rail vehicle according to an embodiment of the invention
  • FIG. 2 shows a flowchart which illustrates a method for recognizing objects in a locomotion for a fourth range in a rail vehicle according to an embodiment of the invention
  • FIG. 3 shows a flowchart which illustrates a method for recognizing objects in a locomotion for a fourth range in a rail vehicle according to an embodiment of the invention
  • FIG. 4 shows a schematic representation of a Detektionseinrich device according to an embodiment of the invention
  • FIG. 5 shows a schematic representation of a rail vehicle according to an embodiment of the invention.
  • FIG. 1 illustrates a flow diagram 100 which describes a method for recognizing objects in a process for detecting represents means of travel reserved area in a rail vehicle according to an embodiment of the invention.
  • the detection is based on a combination of several detection methods, namely the imaging by a camera, the detection by laser sensors and radar sensors.
  • the detected sensor data of different types are miteinan the combined, whereby different object features, wel che are assigned to the objects to be detected, can be determined.
  • the reserved area in this specific embodiment includes an area for parking bicycles, wheelchairs and prams in a car of a train. So that passengers who are, for example, at a platform, board the train at the right place, there will be a monitoring of the reserved area to determine whether or to what extent the reserved area is already occupied by Fahrrä countries, wheelchairs and strollers.
  • a camera For video surveillance, a camera is positioned above the reserved area or on the ceiling of the respective guard somewhat angled relative to the position of the article of interest. Camera images can be processed using different machine learning algorithms to detect if the reserved area is occupied by a wheelchair, pram or bicycle. In order to achieve the detection, certain features, such as so-called HOG features (HOG), are extracted from images and subjected to a so-called matching process, wherein a comparison of the extracted features with pre-trained machine learning models for the objects to be detected takes place.
  • HOG features HOG features
  • a radar sensor is arranged on the ceiling above the monitored fourth area or on the ceiling of a wagon somewhat at an angle relative to the position of the area to be monitored.
  • the monitored or to be detected Objek te, so the wheelchairs, stroller and bicycles are formed of metal components and can therefore be detected using a radar sensor.
  • the radar sensor provides features that approximate the metal skeleton of the object to be detected. These features can be used as an information source to distinguish normal passengers who are in the reserved area from the objects to be detected. A normal passenger usually does not have any large metallic objects and therefore he hardly shows a radar echo.
  • the radar sensor can help distinguish between a bicycle, stroller, and wheelchair due to differences in the metallic structure.
  • a laser sensor is used to obtain additional information about an object positioned in the reserved area.
  • the additional information can be detected, for example, in the form of a depth profile. Wheelchairs, strollers and bicycles are typically lower in height than a passenger in the reserved area. This property can be used as a key feature to distinguish the objects to be recognized from a regular passenger.
  • laser sensors can provide features related to the structure of the object to be scanned. These information can also be used for object detection and the recognition process. Laser sensors can also be mounted on the ceiling of the wagon above the reserved area to be monitored. may be arranged or arranged on the ceiling at an angle relative to the position of the reserved area.
  • step 1.1 with the help of a camera image acquisition of the reserved area B (see FIG 4) Runaway leads.
  • image data BD from the reser fourth area B are detected.
  • step l.II additionally takes place to a scanning of the reserved area B by means of a radar sensor RS, wherein radar sensor data RSD are detected.
  • step 1.III the reserved area B is scanned with the aid of a laser sensor LS, whereby laser sensor data LSD is detected.
  • step 1. IV features M are each extracted from the sensor data BD, RSD, LSD.
  • step l.VI whether an object 0 is in the reserved area.
  • the result data ED is used to determine which type of object is involved. For example, it could be a person P or an object G for which the observed area is reserved.
  • the information collected by the sensors and features extracted therefrom should thus be combined to indicate when the reserved area B is occupied and, if so, what type of object occupies the reserved area B.
  • the combination or fusion of these data can be done at an early stage, which means that features picked up by the various sensors mentioned are collected, and with one by means of a machine learning model to be compared (matching process). Such an approach is illustrated in FIG.
  • the fusion or combination may be performed at a later stage and taken at the detection level.
  • FIG. 3 Such an approach is illustrated in FIG. 3. This means that the data of each individual sensor channel are first used individually to detect and recognize the object. Subsequently, detection results stemming from different channels, processed in a logic machine to make a final decision regarding the detection of an object of interest. In the logic engine, a voting model can be used for the game. The result of the detection can passengers on the platform by means of different portals, such as Mobilfunkapplika tions, electronic scoreboards, etc., announced.
  • a flowchart 200 is shown, which drive a Ver for detecting objects in a medium for locomotion reserved area in a rail vehicle illustrated in accordance with an embodiment of the invention.
  • the steps 2.1 to 2. IV correspond to the steps 1.1 to 1. IV shown in FIG 1 and are therefore not discussed again in the individual.
  • step 2.V a fusion of data associated with different sensors now takes place at an early stage, namely already after the extra feature data M.
  • a combined feature data record KMDS is generated.
  • the combined feature data set KMDS is then compared with a model MOD trained by a machine learning method.
  • step 2. VII based on the result data ED of the comparison, it is determined whether an object 0 is in the reserved area.
  • step 2 it is determined in step 2. VIII on the basis of the result data ED, to wel che type of object delt at the detected object 0 han. For example, it is determined whether the observer object 0 is a person P or an object G for which the monitored area B is reserved.
  • FIG. 3 shows a flow diagram 300 which illustrates a method for detecting objects in a region reserved for transportation in a rail vehicle according to an exemplary embodiment of the invention.
  • the fusion of the data determined on the basis of sensor data takes place differently than in the exemplary embodiment in FIG. 2 at a later stage of the recognition method.
  • Steps 3.1 to 3. III correspond to steps 1.1 to 1.III and 2.1 to 2. III and will therefore not be explained again.
  • step 3. IV image-specific feature data M BD are now extracted from the image data BD.
  • radar-specific feature data M RSD are extracted from the detected radar sensor data RSD .
  • laser sensor-specific feature data M LSD are extracted from the laser sensor data.
  • step 3.VII the image-specific feature data M BD is compared with a model trained by a manual learning method. The result data ED of the comparison is then used to detect an object and to recognize what kind of object it is. In this case, image-specific detection data DD BD and image-specific detection data EKD BD are generated.
  • step 3. VIII the radar-specific feature data M RSD is compared with a model trained by a machine learning method. The result data of the comparison are then used to detect an object and to recognize what kind of object it is. In this case, radar-specific detection data DD RSD and radar-specific detection data EKD RSD are generated.
  • the laser sensor-specific feature data M LSD is compared with a model that has been trained by a machine learning method. The result data of the comparison is then used to detect an object and to recognize what type of object it is.
  • laser sensor-specific detection data DD LSD and laser sensor-specific detection data EKD LSD he testifies.
  • it is finally determined in step 3.X for example by processing in a logic machine, whether an object 0 is located in the reserved area B and, if so, whether it is is a person P or is an object G acts.
  • FIG 4 an arrangement of a detection device 40 and a reserved area B according to an embodiment example of the invention is shown schematically.
  • the reser fourth area B is an object 0, which is for example a wheelchair.
  • the detection device 40 is arranged obliquely above the reserved area B on the ceiling of a wagon (not shown).
  • the detection device 40 has a camera K which faces the reserved area B and is adapted to receive image data BD from the reserved area B.
  • the detection unit 40 also has a radar sensor RS, wel cher also facing the reserved area B angeord net is.
  • the radar sensor RS scans the reserved area with radar beams and detects radar sensor data RSD on the basis of the reflected radar beams.
  • the detec tion unit 40 also includes a laser sensor LS, which is also arranged facing the reserved area B and scans the reserved area B with a laser beam.
  • Laser sensor data LSD is acquired by the laser sensor LS.
  • the detection device 40 also comprises an extraction unit 41 which captures the sensed sensor data BD, RSD, LSD and selects from the sensor types BD, RSD, LSD the characteristics M BD , M RSD , M LSD ex which are detected by the different sensor types. tracted.
  • the extracted features M BD , M rsd , M LSD are then transmitted to a detection unit 42 and also to an identification unit 43.
  • the detection unit 42 is arranged to automatically detect whether an object is in the reserved area B.
  • the detection takes place on the basis of a comparison of a combination of the feature data M BD , M rsd , M LSD of the different sensor data with a model which was trained by a machine learning method.
  • the detection unit 42 thus determines result data ED with which a statement can be made as to whether an object 0 is located in the reserved area.
  • the identification unit 43 is equipped to automatically determine which type of object is in the reserved area B.
  • the identification is based on a comparison of a combination of the feature data M BD , M RSD , M LSD of the different sensor data with a model trained by a machine learning method. In this case, identification data ID are generated, which make a statement about what type of object is the detected object.
  • the result data ED and the identification data ID are output via an output interface 44.
  • the detected sensor data BD, RSD, LSD of the different sensor types can be used for identification and detection purposes.
  • FIG 5 a schematic representation 50 of a rail vehicle 50a according to an embodiment of the invention is shown that stops at a platform 51.
  • the rail vehicle 50a comprises the detection device 40 illustrated in FIG. 4 and a reserved area B, which is monitored by the detection device 40.
  • the rail vehicle 50a also includes a transmission unit 53, which transmits the determined result data ED and identification data ID to an information output unit 52 located on the platform 51.
  • an information output unit 52 located on the platform 51.
  • the information output unit 52 be there is a waiting area 54 for persons P with special Vehicles, in this particular embodiment, it is a stroller KW, which want to climb from there directly at the height of re served area B.
  • no object is currently in the reserved area B, which is communicated to the person P via the information output unit 52.
  • the rail vehicle 50a has not only a wagon as shown in FIG. 5, but a plurality of wagons. Now learns the person P now already from the entrance of the rail vehicle ve that the reserved area of the holding before her Wa gons is already occupied, they can take a different position on the platform 51 in time, which exactly one unoccupied reserved area of another holding Wagons opposite. In this way, the approach of people with special vehicles KW is much easier.

Abstract

The invention relates to a method for recognizing objects (O) in an area (B) reserved for means of locomotion in a rail vehicle (1). In the method, an image recording of the reserved area (B) is carried out by means of a camera (K), wherein image data (BD) are captured. Furthermore, a scanning of the reserved area (B) takes place with the aid of a laser sensor (LS), wherein laser sensor data (LSD) are captured. In addition, a scanning of the reserved area (B) takes place with the aid of a laser sensor (LS), wherein laser sensor data (LSD) are captured. From the data (BD, RSD, LSD) captured by the different sensor types (K, RS, LS), features (M) are now extracted. Based on a data combination, which is based on the extracted features (M) of the data (BD, RSD, LSD) detected by the different sensor types (K, RS, LS ), it is automatically determined whether or not an object (O) is located in the reserved area (B). Based on a data combination, which is based on the extracted features (M) of the data (BD, RSD, LSD) captured by the different sensor types (K, RS, LS ), it is automatically detected what type of object (O) is located in the reserved area (B). The invention also relates to a monitoring device (40). The invention further relates to a rail vehicle (30).

Description

Beschreibung description
Objekterkennung in für Fortbewegungsmittel reservierten Be reichen in Schienenfahrzeugen Object recognition in reserved for means of transport Be rich in rail vehicles
Die Erfindung betrifft ein Verfahren zum Erkennen von Objek ten in für Fortbewegungsmittel reservierten Bereichen in Schienenfahrzeugen. Zudem betrifft die Erfindung eine Überwa chungseinrichtung. Weiterhin betrifft die Erfindung ein The invention relates to a method for detecting Objek th in reserved for means of transport areas in rail vehicles. In addition, the invention relates to a monitoring device. Furthermore, the invention relates to a
Schienenfahrzeug . Rail vehicle.
Besondere Bereiche in Schienenfahrzeugen sind für spezielle Fortbewegungsmittel, wie zum Beispiel Rollstühle, Fahrräder und Kinderwagen von Passagieren reserviert. Solche markierten Bereiche sind meist in mehreren Wagons eines Zuges vorhanden. Personen, welche diese Fortbewegungsmittel benutzen, sollten die Möglichkeit haben, sich auf dem Bahnsteig an einer güns tigen Stelle zu positionieren, bevor der Zug eintrifft, um diesen dort besteigen zu können, wo sich die besonderen Be reiche für ihre Fortbewegungsmittel befinden. Auf diese Weise bleibt ihnen eine längere Suche nach einem geeigneten Ab stellplatz erspart, was sowohl für die Benutzer der Fortbewe gungsmittel eine Erleichterung darstellt als auch für die üb rigen Passagiere, an denen die sperrigen Fortbewegungsmittel ansonsten vorbeigeschoben werden müssen, um zur vorgesehenen Position im Zug zu gelangen. Ein Problem kann darin bestehen, dass ein solcher reservierter Bereich bereits durch andere spezielle Fortbewegungsmittel reserviert ist. Es wäre wün schenswert, wenn Passagiere, die die reservierten Bereiche in den Zügen nutzen möchten, vorab darüber informiert würden, welche für spezielle Fortbewegungsmittel reservierten Berei che noch nicht belegt sind, so dass sie genügend Zeit haben, sich auf dem Bahnsteig so zu positionieren, dass sie den Zug an einer geeigneten Stelle betreten können, an dem sich ein solcher freier reservierter Bereich befindet. Special areas in rail vehicles are reserved for special means of transportation, such as wheelchairs, bicycles and prams of passengers. Such marked areas are usually present in several wagons of a train. Persons using these means of locomotion should be able to position themselves on the platform at a favorable location before the train arrives in order to be able to climb it where the special areas for their means of locomotion are located. In this way, they are spared a longer search for a suitable parking space, which is both for the users of Fortbewe gungsmittel a relief and for the other passengers, where the bulky means of transport otherwise have to be pushed past, to the intended position on the train to get. One problem may be that such a reserved area is already reserved by other special means of transportation. It would be desirable if passengers wishing to use the reserved areas on the trains were informed in advance which areas reserved for special means of transportation were not yet occupied, so that they had sufficient time to position themselves on the platform, that they can enter the train at a suitable location where such a free reserved area is located.
Es besteht also die Aufgabe, ein Verfahren und eine entspre chende Vorrichtung zu entwickeln, welche einem Passagier mit einem speziellen Fortbewegungsmittel einen direkten Zugang zu einem für das Fortbewegungsmittel in einem Zug reservierten Bereich ermöglichen. It is therefore the object to develop a method and a corre sponding device, which a passenger with allow a special means of transport direct access to a reserved for the means of transportation in a train area.
Diese Aufgabe wird durch ein Verfahren zum Erkennen von Ob jekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß Patentanspruch 1, eine Über wachungseinrichtung gemäß Patentanspruch 12 und ein Schienen fahrzeug gemäß Patentanspruch 13 gelöst. This object is achieved by a method for detecting objects in an area reserved for means of locomotion in a rail vehicle according to claim 1, an over monitoring device according to claim 12 and a rail vehicle according to claim 13.
Bei dem erfindungsgemäßen Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in ei nem Schienenfahrzeug erfolgt eine Bildaufnahme von dem reser vierten Bereich mit einer Kamera, wobei Bilddaten erfasst werden. Weiterhin erfolgt ein Abtasten des reservierten Be reichs mit Hilfe eines Radarsensors, wobei Radarsensordaten erfasst werden. Der reservierte Bereich wird außerdem mit Hilfe eines Laser-Sensors abgetastet, wobei Laser-Sensordaten erfasst werden. Nachfolgend werden Merkmale aus den durch die unterschiedlichen Sensortypen erfassten Daten extrahiert. Fernerhin erfolgt ein automatisiertes Detektieren, ob sich ein Objekt in dem reservierten Bereich befindet, basierend auf einer Datenkombination, welche auf den extrahierten Merk malen der durch die unterschiedlichen Sensortypen erfassten Daten basiert. Überdies wird auf Basis der Datenkombination, welche auf den extrahierten Merkmalen der durch die unter schiedlichen Sensortypen erfassten Daten basiert, automati siert ermittelt, welche Art von Objekt sich in dem reservier ten Bereich befindet. Zusätzlich oder alternativ zu einem der Sensortypen können auch Gewichtssensoren zum Erfassen des Ge wichts von Personen oder Sonar-Sensoren eingesetzt werden. In the method according to the invention for detecting objects in an area reserved for means of transportation in a rail vehicle, an image is taken of the reser fourth area with a camera, wherein image data are detected. Furthermore, a scanning of the reserved Be rich using a radar sensor, wherein radar sensor data is detected. The reserved area is also scanned with the aid of a laser sensor, detecting laser sensor data. Subsequently, features from the data collected by the different sensor types are extracted. Further, an automated detection is made as to whether an object is in the reserved area based on a data combination based on the extracted characteristics of the data acquired by the different sensor types. Moreover, based on the data combination based on the extracted features of the data collected by the different sensor types, it is automatically determined which type of object is in the reserved range. In addition or as an alternative to one of the sensor types, weight sensors for detecting the weight of persons or sonar sensors can also be used.
Zusätzlich können zur Identifizierung und Detektion auch die erfassten Sensordaten BD, RSD, LSD der unterschiedlichen Sen sortypen selbst herangezogen werden. In addition, the detected sensor data BD, RSD, LSD of the different sensor types can be used for identification and detection purposes.
Die ermittelten Ergebnisse können dann an auf einem Bahnsteig wartende Personen per Funk übermittelt werden. Beispielsweise kann eine Benachrichtigung der wartenden Personen über eine Mobilfunk-App oder über eine elektronische Ankündigungstafel erfolgen, die sich auf dem Bahnsteig befindet. Vorteilhaft kann durch die multimodale Herangehensweise die Detektionsge nauigkeit von Objekten in einem für spezielle Fahrzeuge re servierten Bereich verbessert werden. Dadurch kann die Anzahl falscher Alarme bei der Detektion von Objekten in dem reser vierten Bereich reduziert werden. Das vorgeschlagene Verfah ren kann leicht auf Bereiche mit anderen Objekten übertragen werden . The results obtained can then be transmitted by radio to persons waiting on a platform. For example Notification of the waiting persons can be made via a mobile app or via an electronic announcement board located on the platform. Advantageously, the detection accuracy of objects in a service area reserved for specific vehicles can be improved by the multimodal approach. Thereby, the number of false alarms in the detection of objects in the reser fourth area can be reduced. The proposed method can be easily transferred to areas with other objects.
Die erfindungsgemäße Überwachungseinrichtung weist eine Kame ra zum Durchführen einer Bildaufnahme von dem reservierten Bereich, einen Radarsensor zum Abtasten des reservierten Be reichs und einen Laser-Sensor zum Abtasten des reservierten Bereichs auf. Teil der erfindungsgemäßen Überwachungseinrich tung ist auch eine Extraktionseinheit zum Extrahieren von Merkmalen aus den durch die unterschiedlichen Sensortypen er fassten Daten. Die erfindungsgemäße Überwachungseinrichtung umfasst außerdem eine Detektionseinheit zum automatisierten Detektieren, ob sich ein Objekt in dem reservierten Bereich befindet, auf Basis einer Datenkombination, welche auf den extrahierten Merkmalen der durch die unterschiedlichen Sen sortypen erfassten Daten basiert, und eine Identifizierungs einheit zum automatisierten Ermitteln, welche Art von Objekt sich in dem reservierten Bereich befindet, auf Basis der Da tenkombination, welche auf den extrahierten Merkmalen der durch die unterschiedlichen Sensortypen erfassten Daten ba siert. Die erfindungsgemäße Überwachungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Be reich in einem Schienenfahrzeug. The monitoring device according to the invention comprises a Kame ra for performing an image capture of the reserved area, a radar sensor for sensing the reserved Be rich and a laser sensor for scanning the reserved area. Part of the monitoring device according to the invention is also an extraction unit for extracting features from the data acquired by the different sensor types. The monitoring device according to the invention also comprises a detection unit for automatically detecting whether an object is in the reserved area, based on a combination of data based on the extracted features of the data acquired by the different types of sensors, and an automated identification determining unit Type of object is located in the reserved area, based on the combination of data based on the extracted features of the data acquired by the different sensor types. The monitoring device according to the invention shares the advantages of the method according to the invention for detecting objects in a reserved for means of transport Be rich in a rail vehicle.
Das erfindungsgemäße Schienenfahrzeug weist die erfindungsge mäße Überwachungseinrichtung sowie eine Datenübertragungsein heit zum Übermitteln einer Information über den Status eines für spezielle Fahrzeuge reservierten Bereichs in dem Schie- nenfahrzeug auf. Das erfindungsgemäße Schienenfahrzeug teilt die Vorteile der erfindungsgemäßen Überwachungseinrichtung. The rail vehicle according to the invention has the monitoring device according to the invention as well as a data transmission unit for transmitting information about the status of an area reserved for special vehicles in the rail. on vehicle. The rail vehicle according to the invention shares the advantages of the monitoring device according to the invention.
Teile der erfindungsgemäßen Überwachungseinrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausge bildet sein. Dies betrifft insbesondere Teile der Extrakti onseinheit, der Detektionseinheit und der Identifizierungs einheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispiels weise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausge bildet sein, die durch geeignete Software angesteuert werden. Parts of the monitoring device according to the invention can be formed predominantly in the form of software components. This concerns in particular parts of the extraction unit, the detection unit and the identification unit. In principle, however, these components can also be partially realized, in particular when it comes to particularly fast calculations, in the form of software-supported hardware, for example FPGAs or the like. Likewise, the required interfaces, for example, if it is only about a transfer of data from other software components, be designed as software interfaces. However, they can also be designed as hardware-based interfaces, which are controlled by suitable software.
Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem Messgerät bzw. einer Messein richtung eines Schienenfahrzeugs genutzte Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Inso fern wird die Aufgabe auch durch ein entsprechendes Computer programmprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersys tems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens zum Abschätzen der Messge nauigkeit unterschiedlicher Sensoren für dieselbe Messgröße auszuführen, wenn das Computerprogramm in einem Rechnersystem ausgeführt wird. A partial software realization has the advantage that even previously used in a measuring device or a Messein direction of a rail vehicle computer systems can be retrofitted in a simple way by a software update to work on the inventive way. Inso far, the task is also solved by a corresponding computer program product with a computer program, which is directly loaded into a memory device of such Rechnersys system, with program sections to perform all the steps of the method for estimating the Messge accuracy of different sensors for the same parameter, if the computer program is executed in a computer system.
Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rechner einheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikropro zessoren oder dergleichen aufweisen. Such a computer program product, in addition to the computer program optionally additional components, such as documentation and / or additional components, including hardware components, such as hardware keys (dongles, etc.) for using the software For transport to the storage device of the computer system and / or for storage on the computer system, a compu terlesbares medium, such as a memory stick, a hard disk or other portable or fixed bauter disk serve, on which the unit readable by a computer and executable program sections of the computer program are stored. For this purpose, the computer unit may, for example, have one or more cooperating microprocessors or the like.
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhän gigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rah men der Erfindung auch die verschiedenen Merkmale unter schiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden. The dependent claims and the following description each contain particularly advantageous embodiments and further developments of the invention. In this case, in particular the claims of a claim category can also be developed analogously to the dependent claims of another claim category and their descriptive parts. In addition, in the framework of the invention, the various features under different embodiments and claims can also be combined into new embodiments.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Ver fahrens zum Erkennen von Objekten in einem für Fortbewegungs mittel reservierten Bereich in einem Schienenfahrzeug wird ermittelt, ob es sich bei dem Objekt um eine Person handelt. Vorteilhaft können Personen von Gegenständen unterschieden werden, für die ein spezieller Bereich reserviert ist. In diesem Fall kann davon ausgegangen werden, dass eine Person für ein spezielles Fahrzeug, für das der spezielle Bereich reserviert ist, Platz machen wird. Mithin können Fahrgäste darüber benachrichtigt werden, dass der betreffende spezielle reservierte Bereich frei ist. In a preferred embodiment of the method according to the invention for recognizing objects in an area reserved for locomotion in a rail vehicle, it is determined whether the object is a person. Advantageously, persons can be distinguished from objects for which a special area is reserved. In this case, it can be assumed that a person will make room for a specific vehicle for which the special area is reserved. Thus, passengers can be notified that the particular reserved area in question is free.
In einer Variante des erfindungsgemäßen Verfahrens zum Erken nen von Objekten in einem für Fortbewegungsmittel reservier ten Bereich in einem Schienenfahrzeug wird ermittelt, ob es sich bei dem Objekt um ein Spezialfahrzeug handelt, das in dem reservierten Bereich Platz finden kann. In einer anderen Ausgestaltung des erfindungsgemäßen Verfah rens zum Erkennen von Objekten in einem für Fortbewegungsmit tel reservierten Bereich in einem Schienenfahrzeug wird er mittelt, ob es sich bei dem Objekt um einen der folgenden Ge genstände handelt: In a variant of the method according to the invention for Erken NEN of objects in a locomotive reservier th area in a rail vehicle is determined whether it is the object is a special vehicle that can find room in the reserved area. In another embodiment of the method according to the invention for detecting objects in an area reserved for locomotion in a rail vehicle, it is averaged whether the object is one of the following objects:
- ein Rollstuhl,  - a wheelchair,
- ein Kinderwagen,  - a stroller,
- ein Fahrrad.  - a bicycle.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reser vierten Bereich in einem Schienenfahrzeug werden aus den Da ten der Kamera Merkmale extrahiert und die Merkmale werden mit einem auf Basis eines maschinellen Lernverfahrens trai nierten Modells verglichen. Vorteilhaft kann ein Modell mit Hilfe eines maschinellen Lernverfahrens in einer Trainings phase an eine spezifische Situation und spezifische Objekte angepasst werden, so dass die Zuverlässigkeit der Detektion und Identifizierung eines Objekts verbessert ist. In one embodiment of the method according to the invention for detecting objects in a locomotion for a fourth range in a rail vehicle are extracted from the data of the camera Da characteristics and the features are compared with a based on a machine learning trai ned model. Advantageously, a model can be adapted to a specific situation and specific objects with the aid of a machine learning method in a training phase, so that the reliability of the detection and identification of an object is improved.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reser vierten Bereich in einem Schienenfahrzeug werden aus den Da ten des Radarsensensors Merkmale extrahiert und die Merkmale werden mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modells verglichen. Bei einem maschinellen Lern verfahren lernt ein künstliches System aus Beispielen und kann diese nach Beendigung der Lernphase oder Trainingsphase verallgemeinern. Vorteilhaft kann ein darauf basierendes Sys tem auch vorher unbekannte Situationen beurteilen. Mithin ist ein derart trainiertes Modell einem starren Modell, bei dem nur Parameter angepasst werden können, überlegen. In one embodiment of the method according to the invention for detecting objects in a locomotive for locomotion range in a rail vehicle are extracted from the data of the radar sensor 13 characteristics and the features are compared with a model trained on the basis of a machine learning method. In a machine learning procedure, an artificial system learns from examples and can generalize them after completion of the learning phase or training phase. Advantageously, a system based thereon can also assess previously unknown situations. Thus, such a trained model is superior to a rigid model in which only parameters can be adjusted.
In einer erfindungsgemäßen Variante wird anhand der Daten des Radarsensensors ermittelt, ob und in welchem Umfang ein de- tektiertes Objekt Metall aufweist. Daraus wird ermittelt, ob das detektierte Objekt eine Person oder ein Gegenstand ist.In a variant according to the invention, it is determined on the basis of the data from the radar sensor whether and to what extent a detected object has metal. From this it is determined whether the detected object is a person or an object.
Da Personen nur wenig Metall an sich tragen, haben sie auch kaum eine Radar-Signatur. Dagegen weisen Spezialfahrzeuge, wie zum Beispiel ein Rollstuhl, ein Kinderwagen und ein Fahr rad, einen hohen Metallanteil auf. Mithin können Spezialfahr zeuge mit einem Radarsensor leicht von Personen unterschieden werden . Since people carry only a small amount of metal, they too hardly a radar signature. In contrast, special vehicles, such as a wheelchair, a stroller and a bicycle, have a high metal content. Thus, special vehicles with a radar sensor can be easily distinguished from persons.
In einer besonderen Ausgestaltung des erfindungsgemäßen Ver fahrens werden aus den Daten des Lasersensors Merkmale extra hiert und die Merkmale werden mit einem auf Basis eines ma schinellen Lernverfahrens trainierten Modell verglichen. Mit einem Lasersensor können Abmessungen von Objekten ermittelt werden, die dann zur Unterscheidung und zur Identifizierung von detektierten Objekten genutzt werden können. In a particular embodiment of the method according to the invention, features are extracted from the data of the laser sensor and the features are compared with a model trained on the basis of a manual learning method. With a laser sensor dimensions of objects can be determined, which can then be used to distinguish and to identify detected objects.
Beispielsweise kann mit einem Laser als Merkmal eines Objekts eine Höhe des Objekts ermittelt werden. Rollstühle, Kinderwa gen und Fahrräder weisen üblicherweise eine niedrigere Höhe im Vergleich zu einem Passagier auf, der in dem reservierten Bereich steht. Dieser Unterschied kann dazu genutzt werden, diese Spezialfahrzeuge von einem normalen Passagier zu unter scheiden. Ferner können Lasersensoren Merkmale liefern, die mit der Struktur eines abgetasteten Objekts zu tun haben, was zusätzlich der Objektdetektion und dem Erkennungsprozess nutzt . For example, with a laser as a feature of an object, a height of the object can be determined. Wheelchairs, carts and bicycles usually have a lower height compared to a passenger standing in the reserved area. This difference can be used to distinguish these special vehicles from a normal passenger. Furthermore, laser sensors can provide features related to the structure of a scanned object, which additionally utilizes object detection and recognition process.
In einer Variante des erfindungsgemäßen Verfahrens werden die extrahierten Merkmale von Daten unterschiedlicher Sensoren zu einem kombinierten Datensatz zusammengefasst bzw. kombiniert. Weiterhin wird der kombinierte Datensatz mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modell vergli chen und es erfolgt auf Basis des Vergleichs der Schritt der Objektdetektion und der Objektermittlung. Bei dieser Variante erfolgt die Kombination von auf verschiedenen Sensortypen ba sierenden Daten bereits vor der eigentlichen Detektion und Identifizierung . In a variant of the method according to the invention, the extracted features of data from different sensors are combined or combined to form a combined data set. Furthermore, the combined data set is compared with a model trained on the basis of a machine learning method, and based on the comparison, the step of object detection and the object determination is performed. In this variant, the combination of data based on different sensor types takes place even before the actual detection and identification.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens wird zunächst auf Basis des jeweiligen Vergleichs mit den jeweili- gen Merkmalen, welche aus Daten unterschiedlicher Sensoren gewonnen wurden, jeweils ein Objekt detektiert und erkannt und anschließend erfolgt auf Basis einer Kombination der De tektionsdaten und der Erkennungsdaten eine endgültige Detek tion und Erkennung des Objekts. Bei dieser Variante erfolgt die Kombination von auf verschiedenen Sensortypen basierenden Daten erst nach der Detektion und Erkennung des Objekts. In one embodiment of the method according to the invention, first based on the respective comparison with the respective gen features that were obtained from data from different sensors, each detected and detected an object and then takes place based on a combination of De tektionsdaten and the detection data a final detec tion and detection of the object. In this variant, the combination of data based on different sensor types takes place only after the detection and recognition of the object.
In einer Variante des erfindungsgemäßen Verfahrens wird für den Kombinierschritt eine logische Maschine verwendet. Bei spielsweise entscheidet eine logische Maschine, ob ein Objekt detektiert wurde. Diese Entscheidung erfolgt in Abhängigkeit davon, ob eine Mehrheit der vorhandenen Sensoren das Objekt detektiert hat. In a variant of the method according to the invention, a logical machine is used for the combining step. For example, a logical machine decides whether an object has been detected. This decision is made depending on whether a majority of the existing sensors has detected the object.
Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen: The invention will be explained in more detail below with reference to the attached figures beige by means of embodiments. Show it:
FIG 1 ein Flussdiagramm, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reser vierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,1 shows a flow chart, which illustrates a method for detecting objects in a locomotion for fourth range in a rail vehicle according to an embodiment of the invention,
FIG 2 ein Flussdiagramm, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reser vierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,2 shows a flowchart which illustrates a method for recognizing objects in a locomotion for a fourth range in a rail vehicle according to an embodiment of the invention,
FIG 3 ein Flussdiagramm, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reser vierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,3 shows a flowchart which illustrates a method for recognizing objects in a locomotion for a fourth range in a rail vehicle according to an embodiment of the invention,
FIG 4 eine schematische Darstellung einer Detektionseinrich tung gemäß einem Ausführungsbeispiel der Erfindung,4 shows a schematic representation of a Detektionseinrich device according to an embodiment of the invention,
FIG 5 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung. 5 shows a schematic representation of a rail vehicle according to an embodiment of the invention.
In FIG 1 ist ein Flussdiagramm 100 veranschaulicht, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbe- wegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung darstellt. Die Erkennung erfolgt auf der Basis einer Kombination mehrerer Detektionsverfahren, nämlich der Bildgebung durch eine Kame ra, der Detektion durch Lasersensoren und Radarsensoren. Die erfassten Sensordaten unterschiedlicher Art werden miteinan der kombiniert, wodurch unterschiedliche Objektmerkmale, wel che den zu erkennenden Objekten zuzuordnen sind, ermittelt werden können. FIG. 1 illustrates a flow diagram 100 which describes a method for recognizing objects in a process for detecting represents means of travel reserved area in a rail vehicle according to an embodiment of the invention. The detection is based on a combination of several detection methods, namely the imaging by a camera, the detection by laser sensors and radar sensors. The detected sensor data of different types are miteinan the combined, whereby different object features, wel che are assigned to the objects to be detected, can be determined.
Der reservierte Bereich umfasst in diesem konkreten Ausfüh rungsbeispiel einen Bereich zum Abstellen von Fahrrädern, Rollstühlen und Kinderwagen in einem Wagon eines Zugs. Damit Fahrgäste, welche zum Beispiel an einem Bahnsteig stehen, den Zug an der richtigen Stelle besteigen, erfolgt eine Überwa chung des reservierten Bereichs, um festzustellen, ob bzw. in welchem Umfang der reservierte Bereich bereits mit Fahrrä dern, Rollstühlen und Kinderwagen belegt ist. The reserved area in this specific embodiment includes an area for parking bicycles, wheelchairs and prams in a car of a train. So that passengers who are, for example, at a platform, board the train at the right place, there will be a monitoring of the reserved area to determine whether or to what extent the reserved area is already occupied by Fahrrä countries, wheelchairs and strollers.
Für die bildliche Überwachung ist eine Kamera oberhalb des reservierten Bereichs oder an der Decke des betreffenden Wa gons etwas im Winkel relativ zu der Position des interessie renden Gegenstands angeordnet. Kamerabilder können verarbei tet werden unter Nutzung unterschiedlicher maschineller Lern algorithmen, um zu detektieren, ob der reservierte Bereich mit einem Rollstuhl, einem Kinderwagen oder einem Fahrrad be legt ist. Um die Detektion zu erreichen, werden gewisse Merk male, wie zum Beispiel sogenannte HOG-Merkmale (HOG = Histog ramm orientierter Gradienten) aus Bildern extrahiert und wer den einem sogenannten Matching-Verfahren unterzogen, wobei ein Vergleich der extrahierten Merkmale mit vorabtrainierten maschinellen Lernmodellen für die zu detektierenden Objekte stattfindet. Kamerabilder können zwar dazu genutzt werden, Objekte zu detektieren, allerdings kann eine inhärente Ähn lichkeit zwischen einem zu detektierenden Gegenstand und ei ner Person, welche in dem reservierten Bereich steht oder sitzt, bestehen. Um solche Fehlzuordnungen zu vermeiden, wird eine multimodale Architektur multipler Sensoren in diesem Pa tent vorgeschlagen. For video surveillance, a camera is positioned above the reserved area or on the ceiling of the respective guard somewhat angled relative to the position of the article of interest. Camera images can be processed using different machine learning algorithms to detect if the reserved area is occupied by a wheelchair, pram or bicycle. In order to achieve the detection, certain features, such as so-called HOG features (HOG), are extracted from images and subjected to a so-called matching process, wherein a comparison of the extracted features with pre-trained machine learning models for the objects to be detected takes place. Although camera images can be used to detect objects, there may be inherent similarity between an object to be detected and a person standing or sitting in the reserved area. To avoid such misallocations, will proposed a multimodal architecture of multiple sensors in this tent.
Zur Überwachung des reservierten Bereichs mit Radar ist ein Radarsensor an der Decke oberhalb des zu überwachenden reser vierten Bereichs oder an der Decke eines Wagons etwas im Win kel relativ zu der Position des zu überwachenden Bereichs an geordnet. Die zu überwachenden bzw. zu detektierenden Objek te, also die Rollstühle, Kinderwagen und Fahrräder sind aus Metallkomponenten ausgebildet und können mithin unter Einsatz eines Radarsensors detektiert werden. Der Radarsensor liefert Merkmale, die ungefähr dem Metallskelett des zu erkennenden Gegenstands entsprechen. Diese Merkmale können als Informati onsquelle genutzt werden, um normale Passagiere, welche in dem reservierten Bereich stehen, von den zu detektierenden Objekten zu unterscheiden. Ein normaler Passagier weist übli cherweise keine größeren metallischen Gegenstände auf und er zeugt daher kaum ein Radarecho. To monitor the reserved area with radar, a radar sensor is arranged on the ceiling above the monitored fourth area or on the ceiling of a wagon somewhat at an angle relative to the position of the area to be monitored. The monitored or to be detected Objek te, so the wheelchairs, stroller and bicycles are formed of metal components and can therefore be detected using a radar sensor. The radar sensor provides features that approximate the metal skeleton of the object to be detected. These features can be used as an information source to distinguish normal passengers who are in the reserved area from the objects to be detected. A normal passenger usually does not have any large metallic objects and therefore he hardly shows a radar echo.
Merkmale, welche durch den Radarsensor erfasst wurden, können helfen, zwischen einem Fahrrad, einem Kinderwagen und einem Rollstuhl infolge der Unterschiede der metallischen Struktur zu unterscheiden. Features detected by the radar sensor can help distinguish between a bicycle, stroller, and wheelchair due to differences in the metallic structure.
Als dritter Sensor wird ein Lasersensor verwendet, um zusätz liche Information über ein in dem reservierten Bereich posi tioniertes Objekt zu erhalten. Die zusätzliche Information kann zum Beispiel in Form eines Tiefenprofils erfasst werden. Rollstühle, Kinderwagen und Fahrräder weisen üblicherweise eine niedrigere Höhe auf als ein in dem reservierten Bereich stehender Passagier. Diese Eigenschaft kann als ein Schlüs selmerkmal genutzt werden, um die zu erkennenden Objekte von einem regulären Passagier zu unterscheiden. Zusätzlich können Lasersensoren Merkmale liefern, die mit der Struktur des ab zutastenden Gegenstands in Beziehung stehen. Auch diese In formationen können der Objektdetektion und dem Erkennungspro zess nützen. Lasersensoren können ebenfalls an der Decke des Wagons über dem zu überwachenden reservierten Bereich ange- ordnet sein oder an der Decke in einem Winkel relativ zu der Position des reservierten Bereichs angeordnet sein. As the third sensor, a laser sensor is used to obtain additional information about an object positioned in the reserved area. The additional information can be detected, for example, in the form of a depth profile. Wheelchairs, strollers and bicycles are typically lower in height than a passenger in the reserved area. This property can be used as a key feature to distinguish the objects to be recognized from a regular passenger. In addition, laser sensors can provide features related to the structure of the object to be scanned. These information can also be used for object detection and the recognition process. Laser sensors can also be mounted on the ceiling of the wagon above the reserved area to be monitored. may be arranged or arranged on the ceiling at an angle relative to the position of the reserved area.
Im Folgenden werden kurz die Verfahrensschritte zum Erkennen von Objekten in dem reservierten Bereich erläutert. In the following, the method steps for recognizing objects in the reserved area are briefly explained.
Bei dem Schritt 1.1 wird mit Hilfe einer Kamera eine Bildauf nahme von dem reservierten Bereich B (siehe FIG 4) durchge führt. Bei diesem Vorgang werden Bilddaten BD von dem reser vierten Bereich B erfasst. Bei dem Schritt l.II erfolgt zu sätzlich ein Abtasten des reservierten Bereichs B mit Hilfe eines Radarsensors RS, wobei Radarsensordaten RSD erfasst werden. Weiterhin erfolgt bei dem Schritt l.III ein Abtasten des reservierten Bereichs B mit Hilfe eines Laser-Sensors LS, wobei Laser-Sensordaten LSD erfasst werden. Bei dem nachfol genden Schritt 1. IV werden jeweils Merkmale M aus den Sensor daten BD, RSD, LSD extrahiert. In step 1.1, with the help of a camera image acquisition of the reserved area B (see FIG 4) Runaway leads. In this process, image data BD from the reser fourth area B are detected. In the step l.II additionally takes place to a scanning of the reserved area B by means of a radar sensor RS, wherein radar sensor data RSD are detected. Furthermore, in step 1.III, the reserved area B is scanned with the aid of a laser sensor LS, whereby laser sensor data LSD is detected. In the fol lowing step 1. IV features M are each extracted from the sensor data BD, RSD, LSD.
Die bei dem Schritt 1. IV aus den Daten unterschiedlicher Sen soren extrahierten Merkmale M werden bei dem Schritt l.V ei nem Vergleichsprozess mit einem mit Hilfe eines maschinellen Lernverfahrens trainierten Modell MD unterzogen. Anhand der Ergebnisdaten ED des Vergleichsprozesses wird bei dem Schritt l.VI ermittelt, ob ein Objekt 0 in dem reservierten Bereich steht. Bei dem Schritt l.VII wird weiterhin anhand der Ergeb nisdaten ED ermittelt, um welche Art von Objekt es sich han delt. Beispielsweise könnte es sich um eine Person P oder um einen Gegenstand G handeln, für den der beobachtete Bereich reserviert ist. The features M extracted from the data of different sensors in step 1. IV are subjected to a comparison process with a model MD trained by means of a machine learning method in step 1. On the basis of the result data ED of the comparison process, it is determined in step l.VI whether an object 0 is in the reserved area. In step l.VII, the result data ED is used to determine which type of object is involved. For example, it could be a person P or an object G for which the observed area is reserved.
Die von den Sensoren erfassten Informationen und daraus ex trahierten Merkmale sollten also kombiniert werden, um zu melden, wenn der reservierte Bereich B belegt ist und falls dem so ist, welche Art von Objekt den reservierten Bereich B belegt. Die Kombination bzw. Fusion dieser Daten kann in ei nem frühen Stadium erfolgen, was bedeutet, dass Merkmale, welche von den unterschiedlichen genannten Sensoren aufgenom men wurden, gesammelt werden und mit einem mit Hilfe eines maschinellen Lernverfahrens trainierten Modell verglichen werden (Matching-Vorgang) . Eine solche Vorgehensweise ist in FIG 2 veranschaulicht. The information collected by the sensors and features extracted therefrom should thus be combined to indicate when the reserved area B is occupied and, if so, what type of object occupies the reserved area B. The combination or fusion of these data can be done at an early stage, which means that features picked up by the various sensors mentioned are collected, and with one by means of a machine learning model to be compared (matching process). Such an approach is illustrated in FIG.
Alternativ kann die Fusion bzw. Kombination in einem späteren Stadium vorgenommen werden und auf dem Detektionsniveau vor genommen werden. Eine solche Vorgehensweise ist in FIG 3 ver anschaulicht. Das bedeutet, dass die Daten jedes einzelnen Sensorkanals zuerst einzeln dazu verwendet werden, um das Ob jekt zu detektieren und zu erkennen. Anschließend werden De tektionsergebnisse, die von unterschiedlichen Kanälen stam men, in einer Logikmaschine verarbeitet, um eine endgültige Entscheidung betreffend die Detektion eines interessierenden Objekts fällen zu können. In der Logikmaschine kann zum Bei spiel ein Abstimmungsmodell verwendet werden. Das Ergebnis der Detektion kann Passagieren auf dem Bahnsteig mit Hilfe unterschiedlicher Portale, wie zum Beispiel Mobilfunkapplika tionen, elektronische Anzeigetafeln usw., angekündigt werden. Alternatively, the fusion or combination may be performed at a later stage and taken at the detection level. Such an approach is illustrated in FIG. 3. This means that the data of each individual sensor channel are first used individually to detect and recognize the object. Subsequently, detection results stemming from different channels, processed in a logic machine to make a final decision regarding the detection of an object of interest. In the logic engine, a voting model can be used for the game. The result of the detection can passengers on the platform by means of different portals, such as Mobilfunkapplika tions, electronic scoreboards, etc., announced.
In FIG 2 ist ein Flussdiagramm 200 gezeigt, welches ein Ver fahren zum Erkennen von Objekten in einem für Fortbewegungs mittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Die Schritte 2.1 bis 2. IV entsprechen den in FIG 1 gezeigten Schritten 1.1 bis 1. IV und werden daher nicht erneut im Ein zelnen besprochen. Bei dem Schritt 2.V erfolgt nun eine Fusi on von Daten, welche unterschiedlichen Sensoren zugeordnet sind, auf einer frühen Stufe, nämlich bereits nach dem Extra hieren der Merkmalsdaten M. Dabei wird ein kombinierter Merk malsdatensatz KMDS erzeugt. Bei dem Schritt 2. VI wird dann der kombinierte Merkmalsdatensatz KMDS mit einem Modell MOD verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Bei dem Schritt 2. VII wird anhand der Ergeb nisdaten ED des Vergleichs ermittelt, ob sich ein Objekt 0 in dem reservierten Bereich befindet. Überdies wird bei dem Schritt 2. VIII anhand der Ergebnisdaten ED ermittelt, um wel che Art von Objekt es sich bei dem detektierten Objekt 0 han delt. Beispielsweise wird ermittelt, ob es sich bei dem Ob- jekt 0 um eine Person P oder um einen Gegenstand G handelt, für den der überwachte Bereich B reserviert ist. In FIG 2, a flowchart 200 is shown, which drive a Ver for detecting objects in a medium for locomotion reserved area in a rail vehicle illustrated in accordance with an embodiment of the invention. The steps 2.1 to 2. IV correspond to the steps 1.1 to 1. IV shown in FIG 1 and are therefore not discussed again in the individual. In step 2.V, a fusion of data associated with different sensors now takes place at an early stage, namely already after the extra feature data M. Here, a combined feature data record KMDS is generated. In step 2.VI, the combined feature data set KMDS is then compared with a model MOD trained by a machine learning method. In step 2. VII, based on the result data ED of the comparison, it is determined whether an object 0 is in the reserved area. Moreover, it is determined in step 2. VIII on the basis of the result data ED, to wel che type of object delt at the detected object 0 han. For example, it is determined whether the observer object 0 is a person P or an object G for which the monitored area B is reserved.
In FIG 3 ist ein Flussdiagramm 300 gezeigt, welches ein Ver fahren zum Erkennen von Objekten in einem für Fortbewegungs mittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Bei dem in FIG 3 gezeigten Ausführungsbeispiel erfolgt die Fusion der auf Basis von Sensordaten ermittelten Daten anders als bei dem Ausführungsbeispiel in FIG 2 in einem späteren Stadi um des Erkennungsverfahrens. Die Schritte 3.1 bis 3. III ent sprechen den Schritten 1.1 bis l.III und 2.1 bis 2. III und werden daher nicht erneut erläutert. Bei dem Schritt 3. IV werden nun aus den Bilddaten BD bildspezifische Merkmalsdaten MBD extrahiert. Bei dem Schritt 3.V werden aus den erfassten Radarsensordaten RSD radarspezifische Merkmalsdaten MRSD ex trahiert. Weiterhin werden bei dem Schritt 3. VI lasersensor spezifische Merkmalsdaten MLSD aus den Lasersensordaten extra hiert. Nun erfolgt anders als in dem in FIG 2 veranschaulich ten Verfahren keine Fusion der Merkmalsdaten MBD, Mrsd, MLSD, sondern es werden bei den Schritten 3. VII, 3. VIII, 3. IX je weils die ermittelten Merkmalsdaten MBD, MRSD, MLSD einzeln ausgewertet . FIG. 3 shows a flow diagram 300 which illustrates a method for detecting objects in a region reserved for transportation in a rail vehicle according to an exemplary embodiment of the invention. In the embodiment shown in FIG. 3, the fusion of the data determined on the basis of sensor data takes place differently than in the exemplary embodiment in FIG. 2 at a later stage of the recognition method. Steps 3.1 to 3. III correspond to steps 1.1 to 1.III and 2.1 to 2. III and will therefore not be explained again. In step 3. IV image-specific feature data M BD are now extracted from the image data BD. In step 3.V, radar-specific feature data M RSD are extracted from the detected radar sensor data RSD . Furthermore, in the step 3 .VI laser sensor-specific feature data M LSD are extracted from the laser sensor data. Now, unlike in the method illustrated in FIG. 2, no fusion of the feature data M BD , M rsd , M LSD takes place , but in steps 3.VIII, 3.III, 3. IX, the determined feature data M BD , M RSD , M LSD evaluated individually.
Bei dem Schritt 3. VII werden die bildspezifischen Merkmalsda ten MBD mit einem Modell verglichen, welches durch ein ma schinelles Lernverfahren trainiert wurde. Die Ergebnisdaten ED des Vergleichs werden dann dazu genutzt, um ein Objekt zu detektieren und zu erkennen, um welche Art von Objekt es sich handelt. Dabei werden bildspezifische Detektionsdaten DDBD sowie bildspezifische Erkennungsdaten EKDBD erzeugt. Analog dazu werden bei dem Schritt 3. VIII die radarspezifischen Merkmalsdaten MRSD mit einem Modell verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Die Ergebnis daten des Vergleichs werden dann dazu genutzt, um ein Objekt zu detektieren und zu erkennen, um welche Art von Objekt es sich handelt. Dabei werden radarspezifische Detektionsdaten DDRSD sowie radarspezifische Erkennungsdaten EKDRSD erzeugt. Bei dem Schritt 3. IX werden die lasersensorspezifischen Merk malsdaten MLSD mit einem Modell verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Die Ergebnisdaten des Vergleichs werden dann dazu genutzt, um ein Objekt zu de- tektieren und zu erkennen, um welche Art von Objekt es sich handelt. Dabei werden lasersensorspezifische Detektionsdaten DDLSD sowie lasersensorspezifische Erkennungsdaten EKDLSD er zeugt. Auf Basis der jeweiligen lasersensorspezifischen Er kennungsdaten EKDLSD und Detektionsdaten DDLSD wird dann bei dem Schritt 3.X, beispielsweise durch Verarbeitung in einer Logikmaschine endgültig ermittelt, ob sich in dem reservier ten Bereich B ein Objekt 0 befindet und wenn ja, ob es sich dabei um eine Person P handelt oder um einen Gegenstand G handelt . In step 3.VII, the image-specific feature data M BD is compared with a model trained by a manual learning method. The result data ED of the comparison is then used to detect an object and to recognize what kind of object it is. In this case, image-specific detection data DD BD and image-specific detection data EKD BD are generated. Similarly, in step 3. VIII, the radar-specific feature data M RSD is compared with a model trained by a machine learning method. The result data of the comparison are then used to detect an object and to recognize what kind of object it is. In this case, radar-specific detection data DD RSD and radar-specific detection data EKD RSD are generated. In step 3. IX, the laser sensor-specific feature data M LSD is compared with a model that has been trained by a machine learning method. The result data of the comparison is then used to detect an object and to recognize what type of object it is. In this case, laser sensor-specific detection data DD LSD and laser sensor-specific detection data EKD LSD he testifies. On the basis of the respective laser sensor specific identification data EKD LSD and detection data DD LSD , it is finally determined in step 3.X, for example by processing in a logic machine, whether an object 0 is located in the reserved area B and, if so, whether it is is a person P or is an object G acts.
In FIG 4 ist eine Anordnung aus einer Detektionseinrichtung 40 und einem reservierten Bereich B gemäß einem Ausführungs beispiel der Erfindung schematisch dargestellt. In dem reser vierten Bereich B befindet sich ein Objekt 0, welches bei spielsweise ein Rollstuhl ist. Die Detektionseinrichtung 40 ist schräg oberhalb des reservierten Bereichs B an der Decke eines Wagons (nicht gezeigt) angeordnet. Die Detektionsein richtung 40 weist eine Kamera K auf, die dem reservierten Be reich B zugewandt ist und dazu eingerichtet ist, Bilddaten BD von dem reservierten Bereich B aufzunehmen. Weiterhin weist die Detektionseinheit 40 auch einen Radarsensor RS auf, wel cher ebenfalls dem reservierten Bereich B zugewandt angeord net ist. Der Radarsensor RS tastet den reservierten Bereich mit Radarstrahlen ab und erfasst auf Basis der reflektierten Radarstrahlen Radarsensordaten RSD. Zudem umfasst die Detek tionseinheit 40 auch einen Lasersensor LS, welcher ebenfalls dem reservierten Bereich B zugewandt angeordnet ist und den reservierten Bereich B mit einem Laserstrahl abtastet. Von dem Lasersensor LS werden Lasersensordaten LSD erfasst. Die Detektionseinrichtung 40 umfasst außerdem eine Extraktions einheit 41, welche die erfassten Sensordaten BD, RSD, LSD er fasst und aus den durch die unterschiedlichen Sensortypen er fassten Sensordaten BD, RSD, LSD Merkmale MBD, MRSD, MLSD ex- trahiert. Die extrahierten Merkmale MBD, Mrsd, MLSD werden dann an eine Detektionseinheit 42 und auch an eine Identifizie rungseinheit 43 übermittelt. Die Detektionseinheit 42 ist da zu eingerichtet, automatisiert zu detektieren, ob sich ein Objekt in dem reservierten Bereich B befindet. Die Detektion erfolgt auf Basis eines Vergleichs einer Kombination der Merkmalsdaten MBD, Mrsd, MLSD der unterschiedlichen Sensordaten mit einem Modell, welches durch ein maschinelles Lernverfah ren trainiert wurde. Die Detektionseinheit 42 ermittelt also Ergebnisdaten ED, mit denen eine Aussage darüber getätigt werden kann, ob sich ein Objekt 0 in dem reservierten Bereich befindet. Die Identifizierungseinheit 43 ist dazu eingerich tet, automatisiert zu ermitteln, welche Art von Objekt sich in dem reservierten Bereich B befindet. Die Identifizierung erfolgt auf der Basis eines Vergleichs einer Kombination der Merkmalsdaten MBD, MRSD, MLSD der unterschiedlichen Sensordaten mit einem Modell, welches durch ein maschinelles Lernverfah ren trainiert wurde. Dabei werden Identifizierungsdaten ID erzeugt, welche eine Aussage darüber treffen, um welche Art von Objekt es sich bei dem detektierten Objekt handelt. Die Ergebnisdaten ED und die Identifizierungsdaten ID werden über eine Ausgangsschnittstelle 44 ausgegeben. In Figure 4, an arrangement of a detection device 40 and a reserved area B according to an embodiment example of the invention is shown schematically. In the reser fourth area B is an object 0, which is for example a wheelchair. The detection device 40 is arranged obliquely above the reserved area B on the ceiling of a wagon (not shown). The detection device 40 has a camera K which faces the reserved area B and is adapted to receive image data BD from the reserved area B. Furthermore, the detection unit 40 also has a radar sensor RS, wel cher also facing the reserved area B angeord net is. The radar sensor RS scans the reserved area with radar beams and detects radar sensor data RSD on the basis of the reflected radar beams. In addition, the detec tion unit 40 also includes a laser sensor LS, which is also arranged facing the reserved area B and scans the reserved area B with a laser beam. Laser sensor data LSD is acquired by the laser sensor LS. The detection device 40 also comprises an extraction unit 41 which captures the sensed sensor data BD, RSD, LSD and selects from the sensor types BD, RSD, LSD the characteristics M BD , M RSD , M LSD ex which are detected by the different sensor types. tracted. The extracted features M BD , M rsd , M LSD are then transmitted to a detection unit 42 and also to an identification unit 43. The detection unit 42 is arranged to automatically detect whether an object is in the reserved area B. The detection takes place on the basis of a comparison of a combination of the feature data M BD , M rsd , M LSD of the different sensor data with a model which was trained by a machine learning method. The detection unit 42 thus determines result data ED with which a statement can be made as to whether an object 0 is located in the reserved area. The identification unit 43 is equipped to automatically determine which type of object is in the reserved area B. The identification is based on a comparison of a combination of the feature data M BD , M RSD , M LSD of the different sensor data with a model trained by a machine learning method. In this case, identification data ID are generated, which make a statement about what type of object is the detected object. The result data ED and the identification data ID are output via an output interface 44.
Zusätzlich können zur Identifizierung und Detektion auch die erfassten Sensordaten BD, RSD, LSD der unterschiedlichen Sen sortypen selbst herangezogen werden. In addition, the detected sensor data BD, RSD, LSD of the different sensor types can be used for identification and detection purposes.
In FIG 5 ist eine schematische Darstellung 50 eines Schienen fahrzeugs 50a gemäß einem Ausführungsbeispiel der Erfindung gezeigt, dass an einem Bahnsteig 51 anhält. Das Schienenfahr zeug 50a umfasst die in FIG 4 veranschaulichte Detektionsein richtung 40 und einen reservierten Bereich B, welcher von der Detektionseinrichtung 40 überwacht wird. Das Schienenfahrzeug 50a umfasst außerdem eine Sendeeinheit 53, welche die ermit telten Ergebnisdaten ED und Identifizierungsdaten ID an eine auf dem Bahnsteig 51 befindliche Informationsausgabeeinheit 52 übermittelt. Neben der Informationsausgabeeinheit 52 be findet sich ein Wartebereich 54 für Personen P mit speziellen Fahrzeugen, in diesem konkreten Ausführungsbeispiel ist es ein Kinderwagen KW, die von dort direkt auf der Höhe des re servierten Bereichs B zusteigen wollen. In dem konkreten Fall befindet sich gerade kein Objekt in dem reservierten Bereich B, was der Person P über die Informationsausgabeeinheit 52 mitgeteilt wird. Die Person P weiß nun, dass ihr Kinderwagen KW in dem reservierten Bereich Platz findet. Im Allgemeinen weist das Schienenfahrzeug 50a nicht nur einen Wagon wie in FIG 5 gezeigt, auf, sondern eine Vielzahl von Wagons. Erfährt die Person P nun bereits von der Einfahrt des Schienenfahr zeugs, dass der reservierte Bereich des vor ihr haltenden Wa gons bereits belegt ist, so kann sie rechtzeitig einen andere Position auf dem Bahnsteig 51 einnehmen, welche genau einem nicht belegten reservierten Bereich eines anderen haltenden Wagons gegenüberliegt. Auf diese Weise wird der Zustieg von Personen mit speziellen Fahrzeugen KW deutlich erleichtert. In FIG 5, a schematic representation 50 of a rail vehicle 50a according to an embodiment of the invention is shown that stops at a platform 51. The rail vehicle 50a comprises the detection device 40 illustrated in FIG. 4 and a reserved area B, which is monitored by the detection device 40. The rail vehicle 50a also includes a transmission unit 53, which transmits the determined result data ED and identification data ID to an information output unit 52 located on the platform 51. In addition to the information output unit 52 be there is a waiting area 54 for persons P with special Vehicles, in this particular embodiment, it is a stroller KW, which want to climb from there directly at the height of re served area B. In the concrete case, no object is currently in the reserved area B, which is communicated to the person P via the information output unit 52. The person P now knows that their stroller KW can be accommodated in the reserved area. In general, the rail vehicle 50a has not only a wagon as shown in FIG. 5, but a plurality of wagons. Now learns the person P now already from the entrance of the rail vehicle ve that the reserved area of the holding before her Wa gons is already occupied, they can take a different position on the platform 51 in time, which exactly one unoccupied reserved area of another holding Wagons opposite. In this way, the approach of people with special vehicles KW is much easier.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können. It is finally pointed out again that it is in the above-described methods and devices le diglich preferred embodiments of the invention han delt and that the invention can be varied by the person skilled in the art, without departing from the scope of the invention, as far as he claims by the claims is. For the sake of completeness, it is also pointed out that the use of indefinite articles does not exclude "one" or "one", that the characteristics in question can also be present multiple times. Similarly, the term "unit" does not exclude that it consists of several components, which may also be spatially distributed.

Claims

Patentansprüche claims
1. Verfahren zum Erkennen von Objekten (0) in einem für Fort bewegungsmittel reservierten Bereich (B) in einem Schienen fahrzeug (50a), aufweisend die Schritte: A method of detecting objects (0) in a vehicle-reserved area (B) in a rail vehicle (50a), comprising the steps of:
- Durchführen einer Bildaufnahme von dem reservierten Bereich (B) mit einer Kamera (K) , wobei Bilddaten (BD) erfasst wer den,  Performing image acquisition of the reserved area (B) with a camera (K), wherein image data (BD) is detected,
- Abtasten des reservierten Bereichs (B) mit Hilfe eines Ra darsensors (RS) , wobei Radarsensordaten (RSD) erfasst wer den,  Scanning the reserved area (B) with the aid of a sensor (RS), whereby radar sensor data (RSD) is detected,
- Abtasten des reservierten Bereichs (B) mit Hilfe eines La ser-Sensors (LS) , wobei Laser-Sensordaten (LSD) erfasst werden,  - scanning the reserved area (B) with the aid of a laser sensor (LS), laser sensor data (LSD) being detected,
- Extrahieren von Merkmalen (M) aus den durch die unter schiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) ,  Extracting features (M) from the data acquired by the different sensor types (K, RS, LS) (BD, RSD, LSD),
- automatisiertes Detektieren, ob sich ein Objekt (O) in dem reservierten Bereich (B) befindet, basierend auf einer Da tenkombination, welche auf den extrahierten Merkmalen (M) der durch die unterschiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) basiert,  Automated detection of whether an object (O) is located in the reserved area (B), based on a data combination which is based on the extracted features (M) of the data acquired by the different sensor types (K, RS, LS) (BD Based, RSD, LSD),
- automatisiertes Ermitteln, welche Art von Objekt (0) sich in dem reservierten Bereich (B) befindet, auf Basis der Da tenkombination, welche auf den extrahierten Merkmalen (M) der durch die unterschiedlichen Sensortypen (K, RS, LS) er fassten Daten (BD, RSD, LSD) basiert.  - Automated determination of what type of object (0) is in the reserved area (B), based on the Da tenkombination, which on the extracted features (M) of the different sensor types (K, RS, LS) he captured data (BD, RSD, LSD) based.
2. Verfahren nach Anspruch 1, wobei ermittelt wird, ob es sich bei dem Objekt (0) um eine Person (P) handelt. 2. The method of claim 1, wherein it is determined whether the object (0) is a person (P).
3. Verfahren nach Anspruch 1 oder 2, wobei ermittelt wird, ob es sich bei dem Objekt (0) um einen der folgenden Gegenstände handelt : 3. The method of claim 1 or 2, wherein it is determined whether the object (0) is one of the following:
- ein Rollstuhl,  - a wheelchair,
- ein Kinderwagen,  - a stroller,
- ein Fahrrad. - a bicycle.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei4. The method according to any one of the preceding claims, wherein
- aus den Daten (BD) der Kamera (K) Merkmale (M) extrahiert werden und - be extracted from the data (BD) of the camera (K) characteristics (M) and
- die Merkmale (M) mit einem auf Basis eines maschinellen  - The features (M) with a based on a machine
Lernverfahrens trainierten Modells (MD) verglichen werden.  Learning method (MD).
5. Verfahren nach einem der vorstehenden Ansprüche, wobei5. The method according to any one of the preceding claims, wherein
- aus den Daten (RSD) des Radarsensensors (RS) Merkmale (M) extrahiert werden und - be extracted from the data (RSD) of the radar sensor (RS) characteristics (M) and
- die Merkmale (M) mit einem auf Basis eines maschinellen  - The features (M) with a based on a machine
Lernverfahrens trainierten Modells (MOD) verglichen werden.  Learning method (MOD).
6. Verfahren nach einem der vorstehenden Ansprüche, wobei an hand der Daten (RSD) des Radarsensensors (RS) ermittelt wird, ob und in welchem Umfang ein detektiertes Objekt (0) Metall aufweist und daraus ermittelt wird, ob das detektierte Objekt (0) eine Person (P) oder ein Gegenstand (G) ist. 6. The method according to any one of the preceding claims, wherein on the basis of the data (RSD) of the radar sensor (RS) is determined whether and to what extent a detected object (0) has metal and it is determined whether the detected object (0) is a person (P) or an object (G).
7. Verfahren nach einem der vorstehenden Ansprüche, wobei7. The method according to any one of the preceding claims, wherein
- aus den Daten (LSD) des Lasersensors (LS) Merkmale (M) ex trahiert werden und - From the data (LSD) of the laser sensor (LS) features (M) ex trahiert and
- die Merkmale (M) mit einem auf Basis eines maschinellen  - The features (M) with a based on a machine
Lernverfahrens trainierten Modells (MOD) verglichen werden.  Learning method (MOD).
8. Verfahren nach Anspruch 7, wobei als Merkmal (M) eines Ob jekts (0) eine Höhe (H) des Objekts (0) ermittelt wird. 8. The method according to claim 7, wherein a height (H) of the object (0) is determined as a feature (M) of an object (0).
9. Verfahren nach einem der vorstehenden Ansprüche, wobei9. The method according to any one of the preceding claims, wherein
- die extrahierten Merkmale (M) von Daten (K, RS, LS) unter schiedlicher Sensoren (BD, RSD, LSD) zu einem kombinierten Datensatz (KMDS) kombiniert werden, the extracted features (M) of data (K, RS, LS) are combined under different sensors (BD, RSD, LSD) into a combined data set (KMDS),
- der kombinierte Datensatz (KMDS) mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modell (MOD) ver glichen wird und  the combined data set (KMDS) is compared with a model based on a machine learning method (MOD), and
- auf Basis des Vergleichs der Schritt der Objektdetektion und der Objektermittlung erfolgt. - Based on the comparison of the step of object detection and the object determination takes place.
10. Verfahren nach einem der Ansprüche 1 bis 8, wobei zu nächst auf Basis des jeweiligen Vergleichs mit den jeweiligen Merkmalen (MBD, Mrsd, MLSD) , welche aus Daten unterschiedlicher Sensoren (K, RS, LS) gewonnen wurden, jeweils ein Objekt (O) detektiert und erkannt wird und anschließend auf Basis einer Kombination der Detektionsdaten (DDbd, DDrsd, DDLSD) und der Erkennungsdaten (EKDbd, EKDrsd, EKDLSD) eine endgültige Detek tion und Erkennung des Objekts (0) erfolgt. 10. The method according to any one of claims 1 to 8, wherein at first on the basis of the respective comparison with the respective features (M BD , M rsd , M LSD ), which were obtained from data of different sensors (K, RS, LS), respectively an object (O) is detected and detected, and then based on a combination of the detection data (DD bd , DD rsd , DD LSD ) and the detection data (EKD bd , EKD rsd , EKD LSD ) a final detec tion and detection of the object (0 ) he follows.
11. Verfahren nach Anspruch 10, wobei für den Kombinier schritt eine logische Maschine verwendet wird. 11. The method of claim 10, wherein for the combining step, a logical machine is used.
12. Überwachungseinrichtung (40), aufweisend: 12. Monitoring device (40), comprising:
- eine Kamera (K) zum Durchführen einer Bildaufnahme von dem reservierten Bereich (B) ,  a camera (K) for taking an image capture of the reserved area (B),
- einen Radarsensor (RS) zum Abtasten des reservierten Be reichs (B) ,  a radar sensor (RS) for sensing the reserved area (B),
- einen Laser-Sensor (LS) zum Abtasten des reservierten Be reichs (B) ,  a laser sensor (LS) for sensing the reserved area (B),
- eine Extraktionseinheit (41) zum Extrahieren von Merkmalen (Mbd, Mrsd, MLSD) aus den durch die unterschiedliche Sensor typen erfassten Daten (BD, RSD, LSD) , an extraction unit (41) for extracting features (M bd , M rsd , M LSD ) from the data acquired by the different sensor types (BD, RSD, LSD),
- eine Detektionseinheit (42) zum automatisierten Detektie- ren, ob sich ein Objekt (0) in dem reservierten Bereich (B) befindet, auf Basis einer Datenkombination, welche auf den extrahierten Merkmalen (M) der durch die unterschiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) ba siert, und  a detection unit (42) for automatically detecting whether an object (0) is located in the reserved area (B) on the basis of a data combination which is based on the extracted features (M) generated by the different sensor types (K, RS , LS) (BD, RSD, LSD), and
- eine Identifizierungseinheit (43) zum automatisierten Er mitteln, welche Art von Objekt (0) sich in dem reservierten Bereich (B) befindet, auf Basis der Datenkombination, wel che auf den extrahierten Merkmalen (M) der durch die unter schiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) basiert.  an identification unit (43) for automatically determining which type of object (0) is in the reserved area (B) on the basis of the data combination, wel che on the extracted features (M) by the different sensor types (K , RS, LS) recorded data (BD, RSD, LSD) based.
13. Schienenfahrzeug (50a), aufweisend eine Überwachungsein richtung (40) nach Anspruch 12. 13. Rail vehicle (50 a), comprising a Überwachungssein direction (40) according to claim 12.
14. Computerprogrammprodukt mit einem Computerprogramm, wel ches direkt in eine Speichereinheit eines Schienenfahrzeugs (50a) ladbar ist, mit Programmabschnitten, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 auszufüh- ren, wenn das Computerprogramm in dem Schienenfahrzeug (50a) ausgeführt wird. A computer program product comprising a computer program loadable directly into a memory unit of a rail vehicle (50a), with program sections for carrying out all the steps of a method according to any one of claims 1 to 11 when the computer program is executed in the rail vehicle (50a) becomes.
15. Computerlesbares Medium, auf welchem von einer Rechner einheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen, wenn die Programmabschnitte von der Rechner einheit ausgeführt werden. 15. Computer-readable medium on which unit executable by a computer program sections are stored to perform all the steps of the method according to any one of claims 1 to 11, when the program sections are executed by the computer unit.
PCT/EP2019/058790 2018-04-13 2019-04-08 Object recognition in areas reserved for means of locomotion in rail vehicles WO2019197328A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018205659.5A DE102018205659A1 (en) 2018-04-13 2018-04-13 Object recognition in areas reserved for means of transportation in rail vehicles
DE102018205659.5 2018-04-13

Publications (1)

Publication Number Publication Date
WO2019197328A1 true WO2019197328A1 (en) 2019-10-17

Family

ID=66379864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/058790 WO2019197328A1 (en) 2018-04-13 2019-04-08 Object recognition in areas reserved for means of locomotion in rail vehicles

Country Status (2)

Country Link
DE (1) DE102018205659A1 (en)
WO (1) WO2019197328A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2483916A (en) * 2010-09-27 2012-03-28 Vivid Intelligent Solutions Ltd Counting individuals entering/leaving an area by classifying characteristics
DE102014209554A1 (en) * 2014-05-20 2015-11-26 Siemens Aktiengesellschaft Management of passengers
DE102017115011A1 (en) * 2016-07-08 2018-01-11 Ford Global Technologies, Llc PEDESTRIAN RECOGNITION OF REVERSING A VEHICLE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2483916A (en) * 2010-09-27 2012-03-28 Vivid Intelligent Solutions Ltd Counting individuals entering/leaving an area by classifying characteristics
DE102014209554A1 (en) * 2014-05-20 2015-11-26 Siemens Aktiengesellschaft Management of passengers
DE102017115011A1 (en) * 2016-07-08 2018-01-11 Ford Global Technologies, Llc PEDESTRIAN RECOGNITION OF REVERSING A VEHICLE

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANIL V PROKHOROV: "Road obstacle classification with attention windows", INTELLIGENT VEHICLES SYMPOSIUM (IV), 21 June 2010 (2010-06-21), IEEE, PISCATAWAY, NJ, USA, pages 889 - 895, XP031732214, ISBN: 978-1-4244-7866-8 *
GOKTUK S B ET AL: "An Occupant Classification System Eigen Shapes or Knowledge-Based Features", PROCEEDINGS / 2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, CVPR 2005, 25 June 2005 (2005-06-25), IEEE, PISCATAWAY, NJ, USA, XP031259697, ISBN: 978-0-7695-2372-9 *

Also Published As

Publication number Publication date
DE102018205659A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
DE102017116017A1 (en) An automotive sensor device having a plurality of sensor units and a plurality of neural networks for generating a combined representation of an environment
EP1210680B1 (en) Method and device for detecting and analyzing the reception behavior of people
DE102017220027A1 (en) Method for damage control in motor vehicles
WO2019201565A1 (en) Method, device and computer-readable storage medium having instructions for processing sensor data
DE102017219282A1 (en) Method and device for automatically generating an artificial neural network
EP3785192A1 (en) Method and vehicle system for passenger recognition by autonomous vehicles
DE102018216761A1 (en) Device and method for recognizing an actual state of an interior of a people mover
DE102016002232A1 (en) Method for operating a motor vehicle
WO2019197328A1 (en) Object recognition in areas reserved for means of locomotion in rail vehicles
DE102017116016A1 (en) A motor vehicle sensor device having a plurality of sensor units and a neural network for generating an integrated representation of an environment
EP3710870B1 (en) Detection system
DE102020119954A1 (en) Method for generating an occupancy grid map for at least one static object, computer program product, computer-readable storage medium and assistance system
JP7097215B2 (en) Vehicle estimation device, learning device, and vehicle estimation method
DE102017216863B3 (en) Method and robot system for adapting a robotic insert to a work process
DE102019126208A1 (en) Emergency system for a vehicle
WO2012110654A1 (en) Method for evaluating a plurality of time-offset pictures, device for evaluating pictures, and monitoring system
DE102016214860B4 (en) Method for monitoring at least one vehicle with at least one surveillance camera, surveillance camera and vehicle
EP3511920B1 (en) Parking assistance system with remote configuration of a local neuronal network
WO2013083327A1 (en) Device and method for automatically detecting an event in sensor data
DE102018215513A1 (en) Arrangement of TOF sensors for detecting a passenger room of a people mover, evaluation device for perceiving a passenger room of a people mover and perception system for detecting a blocking of a passenger door of a people mover, a number of passengers in the people mover and of positions, body poses and activities of the passengers
DE102019212261A1 (en) Method, device and rail vehicle
DE102019212620A1 (en) Storage of items inside a vehicle
WO2021213796A1 (en) Device and method for ascertaining a usage behavior of a passenger when using a public means of transportation
EP3759644B1 (en) Identification of free seats based on the detection of a repeated texture
DE102017218589A1 (en) Method for determining current location information of a vehicle, method for resuming a monitored operating state of a vehicle to be monitored by an electronic control system, safety system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19721194

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19721194

Country of ref document: EP

Kind code of ref document: A1