WO2020173692A1 - Method, controller for an automatically operatable road vehicle, computer program product for detecting objects in road traffic, and automatically operatable road vehicle for mobility services - Google Patents

Method, controller for an automatically operatable road vehicle, computer program product for detecting objects in road traffic, and automatically operatable road vehicle for mobility services Download PDF

Info

Publication number
WO2020173692A1
WO2020173692A1 PCT/EP2020/053305 EP2020053305W WO2020173692A1 WO 2020173692 A1 WO2020173692 A1 WO 2020173692A1 EP 2020053305 W EP2020053305 W EP 2020053305W WO 2020173692 A1 WO2020173692 A1 WO 2020173692A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
road vehicle
road
audio signals
image signals
Prior art date
Application number
PCT/EP2020/053305
Other languages
German (de)
French (fr)
Inventor
Eduardo Neiva
Joao Curti
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2020173692A1 publication Critical patent/WO2020173692A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
    • G01S5/02585—Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Definitions

  • control device for an automatically operated road vehicle computer program product for recognizing objects in road traffic and automatically operated road vehicle for mobility services
  • the invention relates to a method, a control device for a road vehicle that can be operated automatically, a computer program product for recognizing objects in road traffic and a road vehicle that can be operated automatically for mobility services.
  • sensors can be objects that are hidden by other objects, for example a person who is between two vehicles parked on the roadside and is hidden by at least one of these vehicles, or a person who is hidden by a tree or a building, not notice.
  • the invention is based on the object of enabling concealed persons to be recognized.
  • the method according to the invention for recognizing objects in road traffic is designed for road vehicles that can be operated automatically and solves the problem in that audio signals of the objects are obtained by means of microphones that can be arranged on the road vehicle and image signals of the surroundings of the road vehicle by means of at least one imaging sensor that can be arranged on the road vehicle .
  • the objects are localized and classified as a function of the audio signals. These localizations and classifications are then assigned to the objects in the vicinity of the road vehicle as a function of a comparison with the image signals.
  • a degree of coverage is determined for at least one of the objects as a function of the assignment. The degree of coverage is output.
  • Road vehicles are vehicles suitable for road traffic with a combustion engine and gasoline, diesel or synthetic fuel, electric drive, hybrid electric drive or fuel cell drive.
  • Automated operation means that the road vehicle includes technical equipment, in particular control devices and actuators, that provide automated control and / or regulation of the longitudinal and / or transverse guidance up to fully automated or autonomous control and / or regulation without human fallback enables.
  • Longitudinal guidance is regulated, for example, via drive torque control, for example via electronic engine power control, and / or braking torque control.
  • Lateral guidance regulates the lateral dynamics of the vehicle, for example lane and / or directional stability, steering maneuvers and / or yaw speed.
  • Objects in road traffic are in particular pedestrians, children, cyclists, runners, wheelchairs, wheelchair users, animals and other road vehicles.
  • An audio signal is an electrical signal that conveys acoustic information, in particular noises from objects in traffic, such as children's sounds or footsteps.
  • Microphone signals are audio signals.
  • Image signals are electrical signals from an imaging sensor.
  • An imaging sensor is contained, for example, in a camera, a lidar or radar sensor. In this sense, cameras, lidar or radar sensors are examples of imaging sensors.
  • the environment is the area that can act on the road vehicle, for example via objects in the area.
  • the detection or perception area or field of view (FOV) of the microphones and the imaging sensor cover at least part of the environment.
  • Localizing means that at least one position of the objects is determined relative to the road vehicle.
  • Classifying means that at least the type of Object, for example human, machine or animal, is determined. Localization and classification takes place, for example, by means of an amplitude, frequency and / or phase analysis of the audio signals.
  • the degree of obscuration indicates how likely it is that an object is obscured by another object.
  • the acoustically detected objects are assigned to the corresponding objects in image recordings of the imaging sensor.
  • the audio signals and the image signals are thus merged.
  • the merger provides related information that cannot be made available from audio signals or image signals viewed individually. This can be used to determine whether an object that has been detected acoustically is covered by another object.
  • the process has advantages, especially in an urban environment. In an urban environment, the building density and the density of vehicles parked on the roadside are high, so that people are relatively often hidden, especially in this environment. For example, a truck parked on the roadside covers the area behind the truck relative to an approaching road vehicle.
  • the area behind the truck is not visible to imaging sensors in the optical, infrared, or radar range of the electromagnetic spectrum. This area is therefore not in the detection or perception area or FOV of the imaging sensors. If there is a person behind the truck, this is recorded acoustically according to the invention, for example by means of footsteps or speech noises.
  • the information from the imaging sensor about the covered area together with the acoustic information shows that a person is moving in a covered area or that it is likely that a person is moving in a covered area.
  • Such a confirmation by means of the imaging sensor increases the probability with regard to the detection of hidden objects.
  • the process is based on human behavior. For example, if a human driver hears noises from a child while driving a road vehicle but cannot see the child on the road, the driver deduces that the child is likely to be driven by another road vehicle. object or a tree is hidden. As a result, the driver will drive more slowly or with greater attention.
  • the invention transfers this human behavior to self-driving road vehicles in order to recognize concealed objects and to output information about the concealed objects, for example to a passenger or to an automated control unit of the road vehicle.
  • a control signal for a control device is determined to automatically control the road vehicle to reduce a collision with one of the concealed objects. For example, the road vehicle is braked when hidden objects are recognized.
  • a control unit called electronic control unit, abbreviated to ECU, prepares input signals, processes them by means of an electronic circuit and provides logic and / or power levels as regulation and / or control signals.
  • the type of objects, number of objects, speed of the objects, position of the objects, size of the objects and / or direction of movement of the objects relative to the road vehicle are preferably determined as a function of the audio signals.
  • This information is preferably determined with a first trained artificial neural network, preferably a convolution network, also called a convolutional network.
  • the first artificial neural network receives the audio signals and the speed of the road vehicle in an input layer.
  • This information is preferably output in the form of a list of objects that are likely to be hidden.
  • a second trained artificial neural network is provided which receives the specific information about the objects in an input layer and outputs a list of likely concealed objects validated by means of fusion of audio signals and image signals in an output layer.
  • an artificial neuro nales network which fulfills the functions of the first and the second artificial neural network.
  • the type of object indicates whether it is, for example, a human being or an animal, such as a dog.
  • Size of the objects includes mass of the objects. The mass of a person can, for example, be estimated based on their step volume.
  • the position of the objects can be determined, for example, by triangulating the audio signals.
  • the speed and direction of movement of the objects relative to the road vehicle can be determined using the Dopp ler effect.
  • the speed of the road vehicle which can be tapped for example via a CAN bus, is preferably also taken into account in this determination.
  • the invention assesses whether a reduction in the vehicle speed may be necessary in order to avoid accidents if the concealed object were to appear in front of the road vehicle.
  • the method is computer implemented. That is, the method is carried out by a computer.
  • a computer is, for example, a computing system of a control device.
  • the computer is designed to process the audio signals and image signals, for example by means of pattern recognition.
  • an artificial neural network receives the audio signals and the image signals in an input layer.
  • the artificial neural network outputs the objects determined to be hidden in an output layer.
  • the artificial neural network comprises further layers between the input layer and the output layer. The number and connections of the other layers with one another have been adapted to the recording of audio signals and image signals in a learning phase of the artificial neural network.
  • the audio signals and / or image signals are prepared by means of filters, amplifiers and / or identification labels for monitored learning.
  • the artificial neural network learns to determine the hidden objects by changing the weighting factors for individual connections in and / or between the layers.
  • the artificial neural network learns to react appropriately to new information. This shortens the computing time, increases the accuracy and improves the security provided by the method.
  • the artificial neural network In order to be able to react purposefully to new information, it is necessary that the artificial neural network first learns the meaning of predetermined information.
  • the artificial neural network is trained with training data.
  • training data also contain information about the meaning of the respective data in addition to the actual data. This means that the training data on which the artificial neural network learns are labeled. This training phase is inspired by the learning process of a brain.
  • Training with training data is called machine learning.
  • a subset of machine learning is deep learning, known as deep learning, in which a number of hierarchical layers of neurons, so-called hidden layers, are used to carry out the machine learning process.
  • the artificial neural network is preferably a deep neural one network.
  • Neurons are the functional units of an artificial neural network.
  • An output of a neuron generally results as the value of an activation function evaluated using a sum of the inputs weighted with weighting factors plus a systematic error, the so-called bias.
  • An artificial neural network with several hidden layers is a deep neural network.
  • the artificial neural network is, for example, a fully connected network, referred to in English as a fully connected network.
  • a fully connected network each neuron in one layer is connected to all neurons in the preceding layer.
  • Each connection has its own weighting factor.
  • the artificial neural network is preferably a fully convolutional network.
  • a filter is applied to a layer of neurons regardless of their position with the same weighting factors.
  • the convolutional neural network comprises several pools layers between the convolutional layers. Pooling layers change the width and height of a two-dimensional layer. Pooling layers are also used for higher-dimensional layers.
  • forward feeding means that information is fed into the input layer of the artificial neural network, passes through the following layers and is output in the output layer.
  • Backward feeding known as back ward propagation, means that information travels backwards through the layers, i.e. from the output layer towards the input layer.
  • the deviations of the respective layers are obtained by successively feeding back a received discrepancy between target and actual data from the output layer into the respective previous layer up to the input layer.
  • the deviations are a function of the weighting factors.
  • the difference between the actual output and the target output is assessed using a cost function.
  • the gradient of the error is fed backwards according to the individual weights.
  • the control device is designed for an automated road vehicle for regulating and / or automated control of longitudinal and / or lateral guidance of the road vehicle as a function of objects that are determined to be hidden.
  • the control device solves the problem mentioned at the beginning by means of at least one first interface with a high data transmission rate in order to receive audio signals and image signals.
  • the control device comprises at least one computing System for processing the audio signals and image signals by means of at least one artificial intelligence.
  • the computing system comprises at least one processor comprising a microarchitecture for parallel processing and execution of computing operations in order to execute the at least one artificial intelligence.
  • the computing system comprises at least one memory with a high data transmission rate for data exchange with the processor.
  • the computing system is designed to carry out the invention in real time in order to determine a degree of occlusion of the objects.
  • the control device comprises a second interface in order to provide control signals for actuators for the longitudinal and / or lateral guidance of the road vehicle as a function of the objects determined as hidden.
  • the control device comprises a protective housing with integrated cooling to protect the computing system against vibrations, moisture, heat and / or cold and to dissipate waste heat from the computing system.
  • An interface is a component between at least two functional units at which an exchange of logical quantities, for example data, or physical quantities, for example electrical signals, takes place, either unidirectionally or bidirectionally.
  • the exchange can be analog or digital.
  • the exchange can also take place in a wired or wireless manner.
  • the first interface is in particular a deserializer.
  • Deserializers extract data structures from series of bits.
  • Imaging sensors transmit raw data according to a specific serializer protocol.
  • Serialization translates data structures into storable formats, for example using a series of bits.
  • the states of a bit are symbolically noted as 0 or 1.
  • the states can simply be transmitted as a voltage signal.
  • State 0 is, for example, a low voltage level.
  • State 1 is, for example, a high voltage level.
  • the sensors preferably include an FPD-Link serializer or a GMSL serializer. With a GMSL serializer, for example, data transfer rates of 2.5 Gb per second can be achieved.
  • the data are preferably transmitted according to the so-called low voltage differential signaling, abbreviated LVDS, standard.
  • the computing system is a programmable electronic circuit.
  • the computing system is preferably designed as a system-on-chip. This means that all or a large part of the functions of the computing system are integrated on one chip. In particular, the computing system merges the audio signals and the image signals.
  • the processor is preferably a multi-core processor.
  • a multi-core processor several cores are arranged on a single chip.
  • Multi-core processors achieve higher computing power and are more cost-effective to implement in a chip compared to multi-processor systems in which each individual core is arranged in a processor socket and the individual processor sockets are arranged on a motherboard.
  • the multi-core processor preferably includes central processors and / or graphics processors.
  • Central processors are so-called central processing units, abbreviated CPU.
  • the central processors have, for example, a 64-bit architecture.
  • the graphics processor, called graphic processing unit, abbreviated to GPU, preferably comprises at least one process unit for performing tensor and / or matrix multiplications. Tensor and / or matrix multiplications are the central arithmetic operations for deep learning, a form of artificial intelligence.
  • the computing system preferably also includes hardware / software accelerators for artificial intelligence, in particular so-called deep learning accelerators.
  • the computing system executes a first and a second artificial neural network as described above or an artificial neural network according to the method according to the invention.
  • the memory is connected to the computing system for a signal / data exchange, for example via a bus system.
  • the memory transmits data according to a double data rate, quadruple data rate or octal data rate method, for example.
  • the memory is a double data rate synchronous dynamic RAM, DDR SDRAM for short.
  • the memory is preferably a low power DDR SDRAM memory.
  • the protective housing enables the control unit to be used in the automotive sector.
  • the protective housing comprises, for example, a plastic, a metal or an alloy.
  • the cooling dissipates waste heat from the computing system.
  • the cooling is implemented, for example, by a water cooling circuit specially provided for the control unit.
  • the cooling is provided by an engine cooling system already present in the vehicle, with heat exchange elements being integrated into the protective housing in order to exchange heat via the vehicle cooling circuit.
  • Such a control unit can process very large amounts of data in real time and thus enables fully automated to driverless driving.
  • This computing power of the control device also enables cryptographic calculations, anomaly detections and plausibility checks, especially with regard to information security, especially with regard to cyber security, and operational safety, especially with regard to functional security.
  • the computing system is dimensioned so that it can be integrated in a control unit for a vehicle. This means that the large computing power does not require supercomputers that fill cabinets distributed across the premises of a stationary data center.
  • the second interface is, for example, an interface to actuators for engine control, a braking system and / or steering system.
  • the second interface is in particular an interface to an internal vehicle communication system in which different control devices, sensor units and multimedia units communicate with one another.
  • the second interface is an interface to a CAN bus system.
  • the second interface is for example wired.
  • the computer program product according to the invention recognizes objects in road traffic and comprises commands which cause a control device according to the invention to carry out a method according to the invention when the computer program is running on the control device.
  • the commands of the computer program product represent a sequence of commands by which the control unit is prompted, when the computer program is loaded, to determine concealed objects and, depending on this determination, to output a signal, in particular to control safety-relevant vehicle functions .
  • the computer program product thus produces a technical effect.
  • the automatically operated road vehicle according to the invention for mobility services comprises at least two microphones arranged on an outside of the road vehicle.
  • the road vehicle further includes at least one imaging sensor arranged on an outside of the road vehicle.
  • the road vehicle further comprises a control device according to the invention in order to control the longitudinal and / or lateral guidance of the road vehicle as a function of objects determined to be covered.
  • the control unit is connected to the microphones and the imaging sensor for signals.
  • Mobility services in English as mobility-as-a-service, are transport services with regard to the transport of goods and / or people.
  • Ride sharing and e-hailing services are examples of mobility services.
  • the road vehicle is in particular a minibus that can accommodate up to 15 people, with a footprint of the minibus is no larger than that of a large limousine. This makes the minibus manoeuvrable.
  • the minibus includes an electric axle drive for emission-free travel. This enables the minibus to provide mobility services in particular in urban areas.
  • the road vehicle preferably comprises an arrangement of several microphones, for example one microphone each in the front and rear right and left areas of the road vehicle.
  • the road vehicle preferably comprises in the front ren and rear right and left areas each have an arrangement of four microphones arranged next to one another.
  • Such arrangements are surprisingly very well suited for noise absorption and are relatively easy to obtain. In particular, it enables 360 ° detection of ambient noise.
  • FIG. 6 shows an exemplary embodiment of a control device according to the invention.
  • Fig. 1 shows a scene from road traffic.
  • a street section of a street in an urban area is shown.
  • the road is multi-lane and runs between two rows of buildings 8.
  • a road vehicle 2, for example a car or a minibus drives on the road.
  • a road vehicle 2 for example a car or a minibus, drives on the road.
  • the parked vehicles 8 and the row of buildings runs a pedestrian path. Shown is a pedestrian who is located between the parked vehicles 8 and intends to cross the space between the parked vehicles 8 in the direction of the street.
  • the parked vehicles 8 restrict a detection area FOV of an imaging sensor 4 of the road vehicle 2.
  • the pedestrian is covered by the parked truck and is therefore not detected by the imaging sensor 4.
  • the pedestrian is thus a hidden object 1.
  • the pedestrian can be localized via microphones 3 of the road vehicle 2 and classified as a pedestrian.
  • step noises or vocal noises of the pedestrian can be detected in audio signals of the microphones 3.
  • image signals from the imaging sensor 4 there is then a high probability that the pedestrian is the concealed object 1 in the space between the parked vehicles 8.
  • FIG. 2 shows an example of the road vehicle 2 according to the invention.
  • a 360 ° vision camera for example, is arranged as the imaging sensor 4, with which image signals are obtained.
  • Front and rear th a microphone 3 is net angeord on the road vehicle 2 on both sides, with which audio signals are obtained.
  • the image signals and the audio signals are provided to a control device 50 to which the imaging sensor 4 and the microphones 3 are connected in a signal-conducting manner.
  • the control unit 50 determines, depending on the objects 1 recognized as hidden, corresponding control signals B for actuators for the longitudinal and / or lateral guidance of the road vehicle 2 to avoid a collision with the hidden objects 1, for example due to the sudden appearance of the pedestrian Fig. 1 on the street to reduce or prevent.
  • the control signal B is a voltage level which is passed to brake actuators of the road vehicle 2 and as a result of which the road vehicle 2 is braked.
  • the control unit 50 is shown in FIG. 6.
  • the control device 50 comprises a first interface 51.
  • the audio signals and the image signals are received via the first interface 51.
  • the control device 50 further comprises a computing system 52
  • Computing system 52 comprises at least one processor 53 and a memory 54.
  • the processor 53 and the memory 54 exchange data with one another.
  • the processor 53 executes the artificial neural network 6 in order to determine the control signal B according to the method according to the invention.
  • the control signal B is provided via a second interface 55 actuators for the longitudinal and / or lateral guidance of the road vehicle 2.
  • the control unit 50 is installed in a protective housing 56 with integrated cooling.
  • FIG. 3 schematically shows the method according to the invention, executed by an artificial neural network 6.
  • the control device 50 executes the artificial neural network 6. Audio signals from the microphones 3 and image signals from the imaging sensor 4 are received as input.
  • the artificial neural network 6 localizes and classifies the objects 1 as a function of the audio signals and compares the results obtained with the image signals in order to determine whether the objects 1 are covered. As an output, the artificial neural network 6 outputs a degree of concealment that indicates the probability that an object 1 is concealed.
  • a first artificial neural network 6 determines the number N, speed S, position P, size M and direction of movement D of the objects 1 as a function of audio signals from four microphones 3, an image signal from the imaging sensor 4 and the speed v of the road vehicle 2.
  • the direction of movement D and the speed S of the objects 1 are provided in an object list.
  • This object list is determined by calculating a delay in the audio signals as a function of the audio signals obtained with the microphones 3 and the speed of the road vehicle v, for example by means of the Doppler effect.
  • the object list and the number N, speed S, position P, size M and direction of movement D of the objects 1 are provided to a second artificial neural network 6 that validates the object list by means of fusion of audio signals and image signals.
  • FIG. 5 shows a further embodiment of the method according to the invention, in which an artificial neural network 6 is used.
  • the artificial neural Network 6 receives audio signals from four microphones 3 as input, an image signal from a camera as imaging sensor 4, an image signal from a 3D lidar as imaging sensor 4 and the speed v of the road vehicle 2.
  • the artificial neural network 6 carries out the method according to the invention and provides a degree of coverage as output. Depending on the degree of coverage, the artificial neural network 6 determines a corresponding control signal B.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for detecting objects (1) in road traffic for automatically operatable road vehicles (2), having the steps of: obtaining audio signals of the objects (1) by means of microphones (3) which can be arranged on the road vehicle (2), obtaining image signals of the surroundings of the road vehicle (2) by means of at least one imaging sensor (4) which can be arranged on the road vehicle (2), locating and classifying the objects (1) on the basis of the audio signals, assigning said locations and classifications to the objects (1) in the surroundings of the road vehicle (2) on the basis of a comparison with the image signals, determining a degree of masking for at least one of the objects (1) on the basis of the assignment, and outputting the degree of masking. The invention additionally relates to a controller (50), a computer program product, and an automatically operatable road vehicle (2) for mobility services.

Description

Verfahren, Steuergerät für ein automatisiert betreibbares Straßenfahrzeuq, Compu- terproqrammprodukt zum Erkennen von Objekten im Straßenverkehr und automati siert betreibbares Straßenfahrzeuq für Mobilitätsdienstleistunqen Process, control device for an automatically operated road vehicle, computer program product for recognizing objects in road traffic and automatically operated road vehicle for mobility services
Die Erfindung bezieht sich auf ein Verfahren, ein Steuergerät für ein automatisiert betreibbares Straßenfahrzeug, ein Computerprogrammprodukt zum Erkennen von Objekten im Straßenverkehr und ein automatisiert betreibbares Straßenfahrzeug für Mobilitätsdienstleistungen. The invention relates to a method, a control device for a road vehicle that can be operated automatically, a computer program product for recognizing objects in road traffic and a road vehicle that can be operated automatically for mobility services.
Auf dem Gebiet des automatisierten Fahrens werden Umgebungen mittels Lidar, Ra dar, Kamera und ähnlichen 2D oder 3D Umgebungserfassungssensoren wahrge nommen. Diese Sensoren können Objekte, die von anderen Objekten verdeckt sind, zum Beispiel eine Person, die sich zwischen zwei an einem Straßenrand parkenden Fahrzeugen befindet und von wenigstens einem dieser Fahrzeuge verdeckt ist, oder eine Person, die von einem Baum oder einem Gebäude verdeckt ist, nicht wahrneh men. In the field of automated driving, environments are perceived using Lidar, Ra dar, camera and similar 2D or 3D environment detection sensors. These sensors can be objects that are hidden by other objects, for example a person who is between two vehicles parked on the roadside and is hidden by at least one of these vehicles, or a person who is hidden by a tree or a building, not notice.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, das Erkennen von verdeckten Personen zu ermöglichen. This is where the invention comes in. The invention is based on the object of enabling concealed persons to be recognized.
Das erfindungsgemäße Verfahren zum Erkennen von Objekten im Straßenverkehr ist für automatisiert betreibbare Straßenfahrzeuge konzipiert und löst die Aufgabe durch dadurch, dass Audiosignalen der Objekte mittels an dem Straßenfahrzeug anorden baren Mikrofonen und Bildsignalen einer Umgebung des Straßenfahrzeuges mittels wenigstens eines an dem Straßenfahrzeug anordenbaren Bildgebungssensor erhal ten werden. In Abhängigkeit der Audiosignale werden die Objekte lokalisiert und klassifiziert. Anschließend werden diese Lokalisierungen und Klassifizierungen den Objekten in der Umgebung des Straßenfahrzeuges in Abhängigkeit eines Vergleichs mit den Bildsignalen zugeordnet. In einem weiteren Schritt wird ein Verdeckungsgra des für wenigstens eines der Objekte in Abhängigkeit des Zuordnens bestimmt. Der Verdeckungsgrad wird ausgegeben. Straßenfahrzeuge sind Fahrzeuge geeignet für den Straßenverkehr mit Verbren nungsmotor und Benzin-, Diesel- oder Synthetikkraftstoff, elektrischem Antrieb, hyb ridelektrischem Antrieb oder Brennstoffzellenantrieb. The method according to the invention for recognizing objects in road traffic is designed for road vehicles that can be operated automatically and solves the problem in that audio signals of the objects are obtained by means of microphones that can be arranged on the road vehicle and image signals of the surroundings of the road vehicle by means of at least one imaging sensor that can be arranged on the road vehicle . The objects are localized and classified as a function of the audio signals. These localizations and classifications are then assigned to the objects in the vicinity of the road vehicle as a function of a comparison with the image signals. In a further step, a degree of coverage is determined for at least one of the objects as a function of the assignment. The degree of coverage is output. Road vehicles are vehicles suitable for road traffic with a combustion engine and gasoline, diesel or synthetic fuel, electric drive, hybrid electric drive or fuel cell drive.
Automatisiert betreibbar bedeutet, dass das Straßenfahrzeug eine technische Aus rüstung, insbesondere Steuergeräte und Aktuatoren, umfasst, die eine automatisierte Steuerung und/oder Regelung der Längs- und/oder Querführung bis hin zu einer vollautomatisierten oder autonomen Steuerung und/oder Regelung ohne menschli che Rückfallebene ermöglicht. Längsführung wird beispielsweise geregelt über An- triebsmomentenregelung, zum Beispiel über elektronische Motorleistungssteuerung, und/oder Bremsmomentenregelung. Querführung regelt die Querdynamik des Fahr zeuges, zum Beispiel Spur- und/oder Richtungstreue, Lenkmanöver und/oder Gier geschwindigkeit. Automated operation means that the road vehicle includes technical equipment, in particular control devices and actuators, that provide automated control and / or regulation of the longitudinal and / or transverse guidance up to fully automated or autonomous control and / or regulation without human fallback enables. Longitudinal guidance is regulated, for example, via drive torque control, for example via electronic engine power control, and / or braking torque control. Lateral guidance regulates the lateral dynamics of the vehicle, for example lane and / or directional stability, steering maneuvers and / or yaw speed.
Objekte im Straßenverkehr sind insbesondere Fußgänger, Kinder, Radfahrer, Läufer, Rollstühle, Rollstuhlfahrer, Tiere und andere Straßenfahrzeuge. Objects in road traffic are in particular pedestrians, children, cyclists, runners, wheelchairs, wheelchair users, animals and other road vehicles.
Ein Audiosignal ist ein elektrisches Signal, das akustische Informationen, insbeson dere Geräusche von Objekten im Straßenverkehr, zum Beispiel Kinderlaute oder Trittlaute, transportiert. Mikrofonsignale sind Audiosignale. An audio signal is an electrical signal that conveys acoustic information, in particular noises from objects in traffic, such as children's sounds or footsteps. Microphone signals are audio signals.
Bildsignale sind elektrische Signale eines Bildgebungssensors. Ein Bildgebungs- sensor ist beispielsweise in einer Kamera, einem Lidar- oder Radarsensor enthalten. In diesem Sinne sind Kamera, Lidar- oder Radarsensor Beispiele für Bildgebungs- sensoren. Image signals are electrical signals from an imaging sensor. An imaging sensor is contained, for example, in a camera, a lidar or radar sensor. In this sense, cameras, lidar or radar sensors are examples of imaging sensors.
Umgebung ist der Bereich, der auf das Straßenfahrzeug einwirken kann, zum Bei spiel über Objekte in dem Bereich. Der Erfassungs- oder Wahrnehmungsbereich o- derfield of view (FOV) der Mikrofone und des Bildgebungssensors decken wenigs tens einen Teil der Umgebung ab. The environment is the area that can act on the road vehicle, for example via objects in the area. The detection or perception area or field of view (FOV) of the microphones and the imaging sensor cover at least part of the environment.
Lokalisieren bedeutet, dass zumindest eine Position der Objekte relative zu dem Straßenfahrzeug bestimmt wird. Klassifizieren bedeutet, dass zumindest die Art des Objektes, zum Beispiel Mensch, Maschine oder Tier, bestimmt wird. Lokalisieren und Klassifizieren erfolgt zum Beispiel mittels einer Amplituden-, Frequenz- und/oder Phasenanalyse der Audiosignale. Localizing means that at least one position of the objects is determined relative to the road vehicle. Classifying means that at least the type of Object, for example human, machine or animal, is determined. Localization and classification takes place, for example, by means of an amplitude, frequency and / or phase analysis of the audio signals.
Der Verdeckungsgrad gibt an, wie wahrscheinlich es ist, dass ein Objekt von einem anderen Objekt verdeckt ist. The degree of obscuration indicates how likely it is that an object is obscured by another object.
Durch Vergleich der akustischen Lokalisierungen und Klassifizierungen der Objekte mit den Bildsignalen werden die akustisch detektierten Objekte den entsprechenden Objekten in Bildaufnahmen des Bildgebungssensors zugeordnet. Damit werden die Audiosignale und die Bildsignale fusioniert. Durch die Fusion werden insbesondere zusammenhängende Informationen bereitgestellt, die aus Audiosignalen oder Bildsignalen jeweils für sich alleine betrachtet nicht bereitstellbar sind. Damit kann bestimmt werden, ob ein Objekt, das akustisch erfasst wurde, von einem anderen Objekt verdeckt ist. Das Verfahren bringt insbesondere im urbanen Umfeld Vorteile mit sich. Im urbanen Umfeld sind die Gebäudedichte und die Dichte von am Straßen rand parkenden Fahrzeugen hoch, sodass besonders in diesem Umfeld Personen relativ oft verdeckt sind. Beispielsweise verdeckt ein am Straßenrand parkender LKW die Fläche hinter dem LKW relativ zu einem sich herannahenden Straßenfahrzeug. Der Bereich hinter dem LKW ist für Bildgebungssensoren im optischen, infrarotem oder Radarbereich des elektromagnetischen Spektrums nicht sichtbar. Dieser Be reich liegt damit nicht im Erfassungs- oder Wahrnehmungsbereich oder FOV der Bildgebungssensoren. Befindet sich hinter dem LKW eine Person, wird diese erfin dungsgemäß akustisch erfasst, beispielsweise durch Tritt- oder Sprachgeräusche.By comparing the acoustic localizations and classifications of the objects with the image signals, the acoustically detected objects are assigned to the corresponding objects in image recordings of the imaging sensor. The audio signals and the image signals are thus merged. In particular, the merger provides related information that cannot be made available from audio signals or image signals viewed individually. This can be used to determine whether an object that has been detected acoustically is covered by another object. The process has advantages, especially in an urban environment. In an urban environment, the building density and the density of vehicles parked on the roadside are high, so that people are relatively often hidden, especially in this environment. For example, a truck parked on the roadside covers the area behind the truck relative to an approaching road vehicle. The area behind the truck is not visible to imaging sensors in the optical, infrared, or radar range of the electromagnetic spectrum. This area is therefore not in the detection or perception area or FOV of the imaging sensors. If there is a person behind the truck, this is recorded acoustically according to the invention, for example by means of footsteps or speech noises.
Die Information des Bildgebungssensors über den verdeckten Bereich zusammen mit der akustischen Information ergibt, dass sich eine Person in einem verdeckten Be reich bewegt oder dass es wahrscheinlich ist, dass sich eine Person in einem ver deckten Bereich bewegt. Durch eine derartige Bestätigung mittels des Bildgebungs sensors wird die Wahrscheinlichkeit hinsichtlich eines Erkennens von verdeckten Objekten erhöht. Das Verfahren ist der menschlichen Verhaltensweise nachempfun den. Hört zum Beispiel ein menschlicher Fahrer während einer Fahrt mit einem Stra ßenfahrzeug Geräusche von einem Kind, aber sieht das Kind nicht auf der Straße, folgert der Fahrer, dass das Kind wahrscheinlich von einem anderen Straßenfahr- zeug oder einem Baum verdeckt ist. Folglich wird der Fahrer langsamer oder mit hö herer Aufmerksamkeit fahren. Dieses menschliche Verhalten überträgt die Erfindung auf selbstfahrende Straßenfahrzeuge, um verdeckte Objekte zu erkennen und Infor mationen über die verdeckten Objekte auszugeben, beispielsweise an einen Fahr gast oder an eine automatisierte Steuerungseinheit des Straßenfahrzeuges. The information from the imaging sensor about the covered area together with the acoustic information shows that a person is moving in a covered area or that it is likely that a person is moving in a covered area. Such a confirmation by means of the imaging sensor increases the probability with regard to the detection of hidden objects. The process is based on human behavior. For example, if a human driver hears noises from a child while driving a road vehicle but cannot see the child on the road, the driver deduces that the child is likely to be driven by another road vehicle. object or a tree is hidden. As a result, the driver will drive more slowly or with greater attention. The invention transfers this human behavior to self-driving road vehicles in order to recognize concealed objects and to output information about the concealed objects, for example to a passenger or to an automated control unit of the road vehicle.
Nach einem Aspekt der Erfindung wird ein Steuerungssignal für ein Steuergerät be stimmt, um das Straßenfahrzeug zur Verminderung eines Zusammenstoßes mit ei nem der verdeckten Objekte automatisiert zu steuern. Beispielsweise wird bei Erken nen von verdeckten Objekten das Straßenfahrzeug abgebremst. According to one aspect of the invention, a control signal for a control device is determined to automatically control the road vehicle to reduce a collision with one of the concealed objects. For example, the road vehicle is braked when hidden objects are recognized.
Im Sinne der Erfindung bereitet ein Steuergerät, im Englischen electronic control unit, abgekürzt ECU, genannt, Eingangssignale auf, verarbeitet diese mittels einer elekt ronischen Schaltung und stellt Logik- und/oder Leistungspegel als Regel- und/oder Steuersignale bereit. According to the invention, a control unit, called electronic control unit, abbreviated to ECU, prepares input signals, processes them by means of an electronic circuit and provides logic and / or power levels as regulation and / or control signals.
Damit kann das Straßenfahrzeug automatisiert gesteuert werden, um Zusammen stöße zu mindern oder zu verhindern, beispielsweise durch Drosselung der Fahr zeuggeschwindigkeit. This enables the road vehicle to be controlled automatically in order to reduce or prevent collisions, for example by reducing the speed of the vehicle.
Bevorzugt werden Art der Objekte, Anzahl der Objekte, Geschwindigkeit der Objekte, Position der Objekte, Größe der Objekte und/oder Bewegungsrichtung der Objekte relativ zu dem Straßenfahrzeug in Abhängigkeit der Audiosignale bestimmt. Bevor zugt werden diese Informationen mit einem ersten trainierten künstlichen neuronalen Netzwerk vorzugsweise einem Faltungsnetzwerk, auch konvolutionales Netzwerk genannt, bestimmt. Das erste künstliche neuronale Netzwerk erhält in einer Ein gangsschicht die Audiosignale und die Geschwindigkeit des Straßenfahrzeuges. Diese Informationen werden vorzugsweise in Form einer Liste von wahrscheinlich verdeckten Objekten ausgegeben. Nach einem weiteren Aspekt der Erfindung ist ein zweites trainiertes künstliches neuronales Netzwerk vorgesehen, das in einer Ein gangsschicht die bestimmten Informationen zu den Objekten erhält und in einer Aus gangsschicht eine mittels Fusion von Audiosignalen und Bildsignalen validierte Liste von wahrscheinlich verdeckten Objekten ausgibt. Alternativ ist ein künstliches neuro- nales Netzwerk vorgesehen, das die Funktionen des ersten und des zweiten künstli chen neuronalen Netzwerks erfüllt. Art des Objektes gibt an, ob es sich beispielswei se um einen Menschen oder ein Tier, beispielsweise einen Hund, handelt. Größe der Objekte umfasst Masse der Objekte. Die Masse eines Menschen kann beispielswei se anhand seiner Trittlautstärke geschätzt werden. Position der Objekte kann bei spielsweise über Triangulation der Audiosignale bestimmt werden. Geschwindigkeit und Bewegungsrichtung der Objekte relativ zu dem Straßenfahrzeug sind über Dopp ler-Effekt bestimmbar. Vorzugsweise wird bei dieser Bestimmung die Geschwindig keit des Straßenfahrzeuges, die zum Beispiel über einen CAN-Bus abgegriffen wer den kann, mit berücksichtigt. Durch Berücksichtigung der Entfernung und der relati ven Geschwindigkeit des verdeckten Objekts wird erfindungsgemäß beurteilt, ob möglicherweise eine Reduzierung der Fahrzeuggeschwindigkeit erforderlich ist, um Unfälle zu vermeiden, falls das verdeckte Objekt vor dem Straßenfahrzeug erschei nen würde. The type of objects, number of objects, speed of the objects, position of the objects, size of the objects and / or direction of movement of the objects relative to the road vehicle are preferably determined as a function of the audio signals. This information is preferably determined with a first trained artificial neural network, preferably a convolution network, also called a convolutional network. The first artificial neural network receives the audio signals and the speed of the road vehicle in an input layer. This information is preferably output in the form of a list of objects that are likely to be hidden. According to a further aspect of the invention, a second trained artificial neural network is provided which receives the specific information about the objects in an input layer and outputs a list of likely concealed objects validated by means of fusion of audio signals and image signals in an output layer. Alternatively, an artificial neuro nales network is provided which fulfills the functions of the first and the second artificial neural network. The type of object indicates whether it is, for example, a human being or an animal, such as a dog. Size of the objects includes mass of the objects. The mass of a person can, for example, be estimated based on their step volume. The position of the objects can be determined, for example, by triangulating the audio signals. The speed and direction of movement of the objects relative to the road vehicle can be determined using the Dopp ler effect. The speed of the road vehicle, which can be tapped for example via a CAN bus, is preferably also taken into account in this determination. By taking into account the distance and the relative speed of the concealed object, the invention assesses whether a reduction in the vehicle speed may be necessary in order to avoid accidents if the concealed object were to appear in front of the road vehicle.
Nach einem weiteren Aspekt der Erfindung ist das Verfahren computerimplementiert. Das heißt, das Verfahren wird von einem Computer ausgeführt. Ein Computer ist beispielsweise ein Rechensystem eines Steuergerätes. Der Computer ist ausgeführt, die Audiosignale und Bildsignale zu verarbeiten, beispielsweise mittels Mustererken nung. According to a further aspect of the invention, the method is computer implemented. That is, the method is carried out by a computer. A computer is, for example, a computing system of a control device. The computer is designed to process the audio signals and image signals, for example by means of pattern recognition.
Nach einem weiteren Aspekt der Erfindung erhält ein künstliches neuronales Netz werk die Audiosignale und die Bildsignale in einer Eingangsschicht. Das künstliche neuronale Netzwerk gibt die als verdeckt bestimmten Objekte in einer Ausgangs schicht aus. Das künstliche neuronale Netzwerk umfasst zwischen der Eingangs schicht und der Ausgangsschicht weitere Schichten. Anzahl und Verbindungen der weiteren Schichten untereinander sind in einer Lernphase des künstlichen neurona len Netzwerks an die Aufnahme von Audiosignalen und Bildsignalen adaptiert wor den. In der Lernphase sind die Audiosignale und/oder Bildsignale mittels Filtern, Ver stärkern und/oder Kennzeichenlabels für ein überwachtes Lernen aufbereitet. Das künstliche neuronale Netzwerk lernt durch Änderungen von Gewichtungsfaktoren für einzelne Verbindungen in und/oder zwischen den Schichten, die verdeckten Objekte zu bestimmen. Das künstliche neuronale Netzwerk lernt, zweckgerichtet auf neue Informationen zu reagieren. Dadurch wird die Rechenzeit verkürzt, die Genauigkeit erhöht und die be reitgestellte Sicherheit des Verfahrens verbessert. According to a further aspect of the invention, an artificial neural network receives the audio signals and the image signals in an input layer. The artificial neural network outputs the objects determined to be hidden in an output layer. The artificial neural network comprises further layers between the input layer and the output layer. The number and connections of the other layers with one another have been adapted to the recording of audio signals and image signals in a learning phase of the artificial neural network. In the learning phase, the audio signals and / or image signals are prepared by means of filters, amplifiers and / or identification labels for monitored learning. The artificial neural network learns to determine the hidden objects by changing the weighting factors for individual connections in and / or between the layers. The artificial neural network learns to react appropriately to new information. This shortens the computing time, increases the accuracy and improves the security provided by the method.
Um zweckgerichtet auf neue Informationen reagieren zu können, ist es erforderlich, dass das künstliche neuronale Netzwerk zunächst die Bedeutung von vorbestimmten Informationen lernt. Dazu wird das künstliche neuronale Netzwerk mit Trainingsdaten trainiert. Insbesondere enthalten Trainingsdaten neben den eigentlichen Daten auch Informationen über die Bedeutung der jeweiligen Daten. Das heißt, die Trainingsda ten, auf denen das künstliche neuronale Netzwerk lernt, sind gelabelt. Diese Trai ningsphase ist inspiriert von dem Lernprozess eines Gehirns. In order to be able to react purposefully to new information, it is necessary that the artificial neural network first learns the meaning of predetermined information. For this purpose, the artificial neural network is trained with training data. In particular, training data also contain information about the meaning of the respective data in addition to the actual data. This means that the training data on which the artificial neural network learns are labeled. This training phase is inspired by the learning process of a brain.
Das Trainieren mit Trainingsdaten wird maschinelles Lernen genannt. Eine Teilmen ge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzufüh ren. Bevorzugt ist das künstliche neuronale Netzwerk ein deep neural network. Training with training data is called machine learning. A subset of machine learning is deep learning, known as deep learning, in which a number of hierarchical layers of neurons, so-called hidden layers, are used to carry out the machine learning process. The artificial neural network is preferably a deep neural one network.
Neuronen sind die Funktionseinheiten eines künstlichen neuronalen Netzwerks. Ein Output eines Neurons ergibt sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine mit Gewichtungsfaktoren gewichtete Summe der Inputs plus einen systematischen Fehler, dem sogenannten Bias. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network. Neurons are the functional units of an artificial neural network. An output of a neuron generally results as the value of an activation function evaluated using a sum of the inputs weighted with weighting factors plus a systematic error, the so-called bias. An artificial neural network with several hidden layers is a deep neural network.
Das künstliche neuronale Netzwerk ist zum Beispiel ein vollständig verbundenes Netzwerk, im Englischen als Fully Connected Network bezeichnet. In einem vollstän dig verbundenen Netzwerk ist jedes Neuron einer Schicht mit allen Neuronen der vorausgehenden Schicht verbunden. Jede Verbindung hat ihren eigenen Gewich tungsfaktor. Vorzugsweise ist das künstliche neuronale Netzwerk ein Fully Convoluti- onal Network. In einem konvolutionalen neuronalen Netzwerk wird ein Filter auf eine Schicht von Neuronen unabhängig von der Position mit den gleichen Gewichtungs faktoren angewendet. Das konvolutionale neuronale Netzwerk umfasst mehrere Poo- lingschichten zwischen den konvolutionalen Schichten. Poolingschichten verändern die Dimension einer zweidimensionalen Schicht in Breite und Höhe. Poolingschichten werden auch für höherdimensionale Schichten verwendet. The artificial neural network is, for example, a fully connected network, referred to in English as a fully connected network. In a fully connected network, each neuron in one layer is connected to all neurons in the preceding layer. Each connection has its own weighting factor. The artificial neural network is preferably a fully convolutional network. In a convolutional neural network, a filter is applied to a layer of neurons regardless of their position with the same weighting factors. The convolutional neural network comprises several pools layers between the convolutional layers. Pooling layers change the width and height of a two-dimensional layer. Pooling layers are also used for higher-dimensional layers.
In der sogenannten Lernphase werden mit Gewichtungsfaktoren Verbindungen zwi schen Neuronen bewertet. Vorwärtsspeisen, im Englischen als forward propagation bezeichnet, bedeutet, dass eine Information in die Eingangsschicht des künstlichen neuronalen Netzwerks eingespeist wird, die folgenden Schichten durchläuft und in der Ausgabeschicht ausgegeben wird. Rückwärtsspeisen, im Englischen als back ward propagation bezeichnet, bedeutet, dass eine Information die Schichten rück wärts durchläuft, das heißt von Ausgabeschicht in Richtung Eingangsschicht. Durch sukzessives Rückwärtsspeisen einer erhaltenen Abweichung von Soll- und Ist-Daten aus der Ausgabeschicht in die jeweils vorherige Schicht bis hin zur Eingangsschicht werden die Abweichungen der jeweiligen Schichten erhalten. Die Abweichungen sind eine Funktion der Gewichtungsfaktoren. Die Abweichung zwischen Ist -Ausgabe und Soll-Ausgabe wird durch eine Kostenfunktion bewertet. Bei der Rückwärtsspeisung wird der Gradient des Fehlers nach den einzelnen Gewichten rückwärtsgespeist. So weiß man, ob und wie stark sich die Abweichung zwischen Ist- und Soll-Ausgabe minimiert, wenn man das jeweilige Gewicht vergrößert oder verkleinert. Durch Mini mierung der Abweichung in der Trainingsphase, zum Beispiel mittels der Methode der kleinsten Quadrate, der aus der Informationstheorie bekannten Kreuz-Entropie oder dem Gradientenabstiegsverfahren, werden damit die Gewichtungsfaktoren ge ändert. Dadurch wird bei erneutem Einspeisen der Eingabe eine Annäherung an die gewünschte Ausgabe erreicht. Die Rückwärtsspeisung ist zum Beispiel ausführlich in Michael A. Nielsen, Neural Networks and Deep Learning, Determination Press, 2015, beschrieben. In the so-called learning phase, connections between neurons are evaluated using weighting factors. Forward feeding, referred to as forward propagation, means that information is fed into the input layer of the artificial neural network, passes through the following layers and is output in the output layer. Backward feeding, known as back ward propagation, means that information travels backwards through the layers, i.e. from the output layer towards the input layer. The deviations of the respective layers are obtained by successively feeding back a received discrepancy between target and actual data from the output layer into the respective previous layer up to the input layer. The deviations are a function of the weighting factors. The difference between the actual output and the target output is assessed using a cost function. When feeding backwards, the gradient of the error is fed backwards according to the individual weights. So you know whether and how much the deviation between the actual and target output is minimized when you increase or decrease the respective weight. By minimizing the deviation in the training phase, for example using the least squares method, the cross-entropy known from information theory or the gradient descent method, the weighting factors are changed. As a result, when the input is fed in again, an approximation of the desired output is achieved. For example, the reverse feed is described in detail in Michael A. Nielsen, Neural Networks and Deep Learning, Determination Press, 2015.
Das erfindungsgemäße Steuergerät ist konstruiert für ein automatisiert betreibbares Straßenfahrzeug zum Regeln und/oder automatisierten Steuern von Längs- und/oder Querführung des Straßenfahrzeuges in Abhängigkeit von als verdeckt bestimmten Objekten. Das Steuergerät löst die eingangs genannte Aufgabe mittels wenigstens einer ersten Schnittstelle mit einer hohen Datenübertragungsrate, um Audiosignale und Bildsignale zu erhalten. Ferner umfasst das Steuergerät wenigstens ein Rechen- System zur Verarbeitung der Audiosignale und Bildsignale mittels wenigstens einer künstlichen Intelligenz. Hierzu umfasst das Rechensystem wenigstens einen Prozes sor umfassend eine Mikroarchitektur für paralleles Prozessieren und Ausführen von Rechenoperationen, um die wenigstens eine künstliche Intelligenz auszuführen. Au ßerdem umfasst das Rechensystem wenigstens einen Speicher mit einer hohen Da tenübertragungsrate für einen Datenaustausch mit dem Prozessor. Das Rechensys tem ist ausgeführt, das erfindungsgemäße in Echtzeit auszuführen, um einen Verde ckungsgrad der Objekte zu bestimmen. Außerdem umfasst das Steuergerät eine zweite Schnittstelle, um in Abhängigkeit der als verdeckt bestimmten Objekte Steue rungssignale für Aktuatoren für die Längs- und/oder Querführung des Straßenfahr zeuges bereitzustellen. Des Weiteren umfasst das Steuergerät ein Schutzgehäuse mit integrierter Kühlung, um das Rechensystem gegen Vibrationen, Feuchtigkeit, Hit ze und/oder Kälte zu schützen und Abwärme des Rechensystems abzuführen. The control device according to the invention is designed for an automated road vehicle for regulating and / or automated control of longitudinal and / or lateral guidance of the road vehicle as a function of objects that are determined to be hidden. The control device solves the problem mentioned at the beginning by means of at least one first interface with a high data transmission rate in order to receive audio signals and image signals. Furthermore, the control device comprises at least one computing System for processing the audio signals and image signals by means of at least one artificial intelligence. For this purpose, the computing system comprises at least one processor comprising a microarchitecture for parallel processing and execution of computing operations in order to execute the at least one artificial intelligence. In addition, the computing system comprises at least one memory with a high data transmission rate for data exchange with the processor. The computing system is designed to carry out the invention in real time in order to determine a degree of occlusion of the objects. In addition, the control device comprises a second interface in order to provide control signals for actuators for the longitudinal and / or lateral guidance of the road vehicle as a function of the objects determined as hidden. Furthermore, the control device comprises a protective housing with integrated cooling to protect the computing system against vibrations, moisture, heat and / or cold and to dissipate waste heat from the computing system.
Eine Schnittstelle ist ein Bauteil zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, zum Beispiel Daten, oder physikalischen Größen, zum Beispiel elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen. An interface is a component between at least two functional units at which an exchange of logical quantities, for example data, or physical quantities, for example electrical signals, takes place, either unidirectionally or bidirectionally. The exchange can be analog or digital. The exchange can also take place in a wired or wireless manner.
Die erste Schnittstelle ist insbesondere ein Deserializer. Deserializer extrahieren Da tenstrukturen aus Serien von Bits. Bildgebungssensoren übertragen Rohdaten nach einem bestimmten Serializerprotokoll. Durch Serialisation werden Datenstrukturen in abspeicherbare Formate übersetzt, zum Beispiel mittels Serien von Bits. Die Zustän de eines Bits werden symbolisch als 0 oder 1 notiert. Die Zustände können einfach als ein Spannungssignal übertragen werden. Der Zustand 0 ist beispielsweise niedri ger Spannungspegel. Der Zustand 1 ist beispielsweise hoher Spannungspegel. Vor zugsweise umfassen die Sensoren ein FPD-Link Serializer oder ein GMSL Serializer. Mit einem GMSL Serializer werden beispielsweise Datenübertragungsraten von 2,5 Gb pro Sekunde erreicht. Die Daten werden bevorzugt nach dem so genannten low voltage differential signaling, abgekürzt LVDS, Standard übertragen. LVDS ist ein Standard für Hochgeschwindigkeits-Datenübertragung. Der Deserializer ist ein ent sprechender Logikbaustein mit entsprechend hoher Datenübertragungsrate, um die Datenstrukturen aus Serien von Bits zu extrahieren. Die erste Schnittstelle ist bei spielsweise eine Funkschnittstelle, insbesondere eine WLAN-Schnittstelle. The first interface is in particular a deserializer. Deserializers extract data structures from series of bits. Imaging sensors transmit raw data according to a specific serializer protocol. Serialization translates data structures into storable formats, for example using a series of bits. The states of a bit are symbolically noted as 0 or 1. The states can simply be transmitted as a voltage signal. State 0 is, for example, a low voltage level. State 1 is, for example, a high voltage level. The sensors preferably include an FPD-Link serializer or a GMSL serializer. With a GMSL serializer, for example, data transfer rates of 2.5 Gb per second can be achieved. The data are preferably transmitted according to the so-called low voltage differential signaling, abbreviated LVDS, standard. LVDS is a standard for high-speed data transmission. The deserializer is a corresponding logic module with a correspondingly high data transfer rate to achieve the Extract data structures from series of bits. The first interface is, for example, a radio interface, in particular a WLAN interface.
Das Rechensystem ist eine programmierbare elektronische Schaltung. Bevorzugt ist das Rechensystem als ein System -on-Chip ausgeführt. Das heißt, alle oder ein gro ßer Teil der Funktionen des Rechensystems sind auf einem Chip integriert. Insbe sondere fusioniert das Rechensystem die Audiosignale und die Bildsignale. The computing system is a programmable electronic circuit. The computing system is preferably designed as a system-on-chip. This means that all or a large part of the functions of the computing system are integrated on one chip. In particular, the computing system merges the audio signals and the image signals.
Der Prozessor ist bevorzugt ein Mehrkernprozessor. Bei einem Mehrkern Prozessor sind mehrere Kerne auf einem einzigen Chip angeordnet. Mehrkernprozessoren er reichen eine höhere Rechen leistung und sind kostengünstiger in einem Chip zu im plementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. The processor is preferably a multi-core processor. In a multi-core processor, several cores are arranged on a single chip. Multi-core processors achieve higher computing power and are more cost-effective to implement in a chip compared to multi-processor systems in which each individual core is arranged in a processor socket and the individual processor sockets are arranged on a motherboard.
Der Mehrkernprozessor umfasst vorzugsweise Zentralprozessoren und/oder Grafik prozessoren. Zentralprozessoren sind sogenannte central Processing units, abge kürzt CPU. Die Zentralprozessoren haben beispielsweise eine 64-bit Architektur. Der Grafikprozessor, im Englischen graphic Processing unit, abgekürzt GPU, genannt, umfasst vorzugsweise wenigstens eine Prozesseinheit zum Ausführen von Tensor - und/oder Matrixmultiplikationen. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning, einer Form von künstlicher In telligenz. The multi-core processor preferably includes central processors and / or graphics processors. Central processors are so-called central processing units, abbreviated CPU. The central processors have, for example, a 64-bit architecture. The graphics processor, called graphic processing unit, abbreviated to GPU, preferably comprises at least one process unit for performing tensor and / or matrix multiplications. Tensor and / or matrix multiplications are the central arithmetic operations for deep learning, a form of artificial intelligence.
Vorzugsweise umfasst das Rechensystem auch Hardware/Software-Beschleuniger für künstliche Intelligenz, insbesondere sogenannte deep learning accelerators. The computing system preferably also includes hardware / software accelerators for artificial intelligence, in particular so-called deep learning accelerators.
Das Rechensystem führt insbesondere ein erstes und ein zweites künstliches neuro nales Netzwerk wie oben beschrieben oder ein künstliches neuronales Netzwerk gemäß dem erfindungsgemäßen Verfahren aus. In particular, the computing system executes a first and a second artificial neural network as described above or an artificial neural network according to the method according to the invention.
Der Speicher ist beispielsweise über ein Bussystem mit dem Rechensystem für einen Signal-/Datenaustausch verbunden. Um eine hohe Datenübertragungsrate erreichen zu können, überträgt der Speicher beispielsweise Daten nach einem double data ra te, quadruple data rate oder octal data rate Verfahren. Beispielsweise ist der Spei cher ein double data rate synchronous dynamic RAM, abgekürzt DDR SDRAM, Speicher. Bevorzugt ist der Speicher ein low power DDR SDRAM Speicher. The memory is connected to the computing system for a signal / data exchange, for example via a bus system. To achieve a high data transfer rate In order to be able to, the memory transmits data according to a double data rate, quadruple data rate or octal data rate method, for example. For example, the memory is a double data rate synchronous dynamic RAM, DDR SDRAM for short. The memory is preferably a low power DDR SDRAM memory.
Das Schutzgehäuse ermöglicht die Verwendung des Steuergeräts im automotive Be reich. Das Schutzgehäuse umfasst beispielsweise einen Kunststoff, ein Metall oder eine Legierung. Die Kühlung führt Abwärme des Rechensystems ab. Die Kühlung ist beispielsweise durch einen eigens für das Steuergerät vorgesehenen Wasserkühl kreislauf realisiert. Alternativ wird die Kühlung von einer in dem Fahrzeug bereits vorhandenen Motorkühlung bereitgestellt, wobei in das Schutzgehäuse Wärmeaus tauschelemente integriert sind, um über den Fahrzeugkühlkreislauf Wärme auszu tauschen. The protective housing enables the control unit to be used in the automotive sector. The protective housing comprises, for example, a plastic, a metal or an alloy. The cooling dissipates waste heat from the computing system. The cooling is implemented, for example, by a water cooling circuit specially provided for the control unit. Alternatively, the cooling is provided by an engine cooling system already present in the vehicle, with heat exchange elements being integrated into the protective housing in order to exchange heat via the vehicle cooling circuit.
Ein derartiges Steuergerät kann sehr große Datenmengen in Echtzeit verarbeiten und ermöglicht damit vollautomatisiertes bis hin zu fahrerloses Fahren. Diese Re chenleistung des Steuergeräts ermöglicht auch kryptographische Berechnungen, Anomalieerkennungen und Plausibilitätschecks, insbesondere hinsichtlich Informati onssicherheit, ganz besonders hinsichtlich cyber security, und Betriebssicherheit, ganz besonders hinsichtlich funktionaler Sicherheit. Dabei ist das Rechensystem derart dimensioniert, um in einem Steuergerät für ein Fahrzeug integriert zu werden. Das heißt, für die große Rechenleistung sind keine Supercomputer erforderlich, die Schränke verteilt auf Räumlichkeiten eines stationären Rechenzentrums füllen. Such a control unit can process very large amounts of data in real time and thus enables fully automated to driverless driving. This computing power of the control device also enables cryptographic calculations, anomaly detections and plausibility checks, especially with regard to information security, especially with regard to cyber security, and operational safety, especially with regard to functional security. The computing system is dimensioned so that it can be integrated in a control unit for a vehicle. This means that the large computing power does not require supercomputers that fill cabinets distributed across the premises of a stationary data center.
Die zweite Schnittstelle ist beispielsweise eine Schnittstelle zu Aktuatoren für Motor steuerung, eines Bremssystems und/oder Lenkungssystems. Die zweite Schnittstelle ist insbesondere eine Schnittstelle zu einem internen Fahrzeugkommunikationssys tem, in dem unterschiedliche Steuergeräte, Sensoreinheiten und Multimediaeinheiten miteinander kommunizieren. Beispielsweise ist die zweite Schnittstelle eine Schnitt stelle zu einem CAN-Bussystem. Die zweite Schnittstelle ist beispielsweise kabelge bunden. Das erfindungsgemäße Computerprogrammprodukt erkennt Objekte im Straßenver kehr und umfasst Befehle, die bewirken, dass ein erfindungsgemäßes Steuergerät ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft. The second interface is, for example, an interface to actuators for engine control, a braking system and / or steering system. The second interface is in particular an interface to an internal vehicle communication system in which different control devices, sensor units and multimedia units communicate with one another. For example, the second interface is an interface to a CAN bus system. The second interface is for example wired. The computer program product according to the invention recognizes objects in road traffic and comprises commands which cause a control device according to the invention to carry out a method according to the invention when the computer program is running on the control device.
Die Befehle des Computerprogrammproduktes, beispielsweise implementiert in Soft- warecodeabschnitte, stellen eine Abfolge von Befehlen dar, durch die das Steuerge rät bei geladenem Computerprogramm veranlasst wird, verdeckte Objekte zu be stimmen und in Abhängigkeit dieser Bestimmung ein Signal auszugeben, insbeson dere zur Steuerung sicherheitsrelevanter Fahrzeugfunktionen. Das Computerpro grammprodukt ruft damit einen technischen Effekt hervor. The commands of the computer program product, for example implemented in software code sections, represent a sequence of commands by which the control unit is prompted, when the computer program is loaded, to determine concealed objects and, depending on this determination, to output a signal, in particular to control safety-relevant vehicle functions . The computer program product thus produces a technical effect.
Das erfindungsgemäße automatisiert betreibbare Straßenfahrzeug für Mobilitäts dienstleistungen umfasst wenigstens zwei an einer Außenseite des Straßenfahrzeu ges angeordnete Mikrofone. Ferner umfasst das Straßenfahrzeug wenigstens einen an einer Außenseite des Straßenfahrzeuges angeordneten Bildgebungssensor. Das Straßenfahrzeug umfasst des Weiteren ein erfindungsgemäßes Steuergerät, um Längs- und/oder Querführung des Straßenfahrzeuges in Abhängigkeit von als ver deckt bestimmten Objekten zu steuern. Das Steuergerät ist signaltechnisch mit den Mikrofonen und dem Bildgebungssensor verbunden. The automatically operated road vehicle according to the invention for mobility services comprises at least two microphones arranged on an outside of the road vehicle. The road vehicle further includes at least one imaging sensor arranged on an outside of the road vehicle. The road vehicle further comprises a control device according to the invention in order to control the longitudinal and / or lateral guidance of the road vehicle as a function of objects determined to be covered. The control unit is connected to the microphones and the imaging sensor for signals.
Mobilitätsdienstleistungen, im Englischen als mobility-as-a-service, sind Transport dienstleistungen hinsichtlich Güter- und/oder Personentransport. Ride-Sharing und E-Hailing Services sind Beispiele für Mobilitätsdienstleistungen. Das Straßenfahr zeug ist insbesondere ein Kleinbus, der bis zu 15 Personen aufnehmen kann, wobei eine Grundfläche des Kleinbusses nicht größer als die einer großen Limousine ist. Damit ist der Kleinbus wendig. Der Kleinbus umfasst einen elektrischen Achsantrieb zur emissionsfreien Fahrt. Damit kann der Kleinbus insbesondere Mobilitätsdienst leistungen im urbanen Umfeld bereitstellen. Mobility services, in English as mobility-as-a-service, are transport services with regard to the transport of goods and / or people. Ride sharing and e-hailing services are examples of mobility services. The road vehicle is in particular a minibus that can accommodate up to 15 people, with a footprint of the minibus is no larger than that of a large limousine. This makes the minibus manoeuvrable. The minibus includes an electric axle drive for emission-free travel. This enables the minibus to provide mobility services in particular in urban areas.
Vorzugsweise umfasst das Straßenfahrzeug eine Anordnung von mehreren Mikrofo nen, zum Beispiel jeweils ein Mikrofon im vorderen und hinteren rechten und linken Bereich des Straßenfahrzeuges. Bevorzugt umfasst das Straßenfahrzeug im vorde- ren und hinteren rechten und linken Bereich jeweils eine Anordnung von vier neben einander angeordneten Mikrofonen. Derartige Anordnungen sind überraschender weise sehr gut geeignet zur Geräuschaufnahme und relative einfach zu erhalten. Insbesondere wird damit eine 360° Erfassung von Umgebungsgeräuschen ermög licht. The road vehicle preferably comprises an arrangement of several microphones, for example one microphone each in the front and rear right and left areas of the road vehicle. The road vehicle preferably comprises in the front ren and rear right and left areas each have an arrangement of four microphones arranged next to one another. Such arrangements are surprisingly very well suited for noise absorption and are relatively easy to obtain. In particular, it enables 360 ° detection of ambient noise.
Mit den von dem Straßenfahrzeug gesammelten Daten kann insbesondere eine ur- bane Infrastruktur in Planung und Auslastung von Parkplätzen an Straßenrändern hinsichtlich verbesserter Sicherheit von Fußgängern optimiert werden. With the data collected from the road vehicle, it is possible, in particular, to optimize an urban infrastructure in the planning and utilization of parking lots at the roadside with regard to improved safety for pedestrians.
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen: The invention is illustrated in the following exemplary embodiments. Show it:
Fig. 1 ein Ausführungsbeispiel eines verdeckten Objekts, 1 shows an embodiment of a concealed object,
Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Straßenfahrzeuges, 2 shows an embodiment of a road vehicle according to the invention,
Fig. 3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens, 3 shows an embodiment of a method according to the invention,
Fig. 4 ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens, 4 shows a further embodiment of the method according to the invention,
Fig. 5 ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens und 5 shows a further exemplary embodiment of the method according to the invention and
Fig. 6 ein Ausführungsbeispiel eines erfindungsgemäßen Steuergeräts. 6 shows an exemplary embodiment of a control device according to the invention.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils rele vanten Bezugsteile hervorgehoben. In the figures, the same reference symbols denote the same or functionally similar reference parts. For the sake of clarity, only the relevant reference parts are highlighted in the individual figures.
Fig. 1 zeigt eine Szenerie aus dem Straßenverkehr. Dargestellt ist ein Straßenaus schnitt einer Straße im urbanen Bereich. Die Straße ist mehrspurig und verläuft zwi schen zwei Reihen von Gebäuden 8. Ein Straßenfahrzeug 2, zum Beispiel ein PKW oder ein Kleinbus, fährt auf der Straße. Entlang einer Seite des Straßenfahrzeuges 2 stehen zwei parkende Fahrzeuge 8, beispielsweise ein PKW und ein LKW. Zwischen den parkenden Fahrzeugen 8 und der Gebäudereihe verläuft ein Fußgängerweg. Dargestellt ist ein Fußgänger, der sich zwischen den parkenden Fahrzeugen 8 befin det und beabsichtigt, den Raum zwischen den parkenden Fahrzeugen 8 zu durch queren in Richtung Straße. Durch die parkenden Fahrzeuge 8 ist ein Erfassungsbe reich FOV eines Bildgebungssensors 4 des Straßenfahrzeuges 2 eingeschränkt. Der Fußgänger ist von dem parkenden LKW verdeckt und wird damit nicht von dem Bild- gebungssensor 4 erfasst. Der Fußgänger ist damit ein verdecktes Objekt 1. Fig. 1 shows a scene from road traffic. A street section of a street in an urban area is shown. The road is multi-lane and runs between two rows of buildings 8. A road vehicle 2, for example a car or a minibus, drives on the road. Along one side of the road vehicle 2 are two parked vehicles 8, for example a car and a truck. Between The parked vehicles 8 and the row of buildings runs a pedestrian path. Shown is a pedestrian who is located between the parked vehicles 8 and intends to cross the space between the parked vehicles 8 in the direction of the street. The parked vehicles 8 restrict a detection area FOV of an imaging sensor 4 of the road vehicle 2. The pedestrian is covered by the parked truck and is therefore not detected by the imaging sensor 4. The pedestrian is thus a hidden object 1.
Allerdings kann der Fußgänger über Mikrofone 3 des Straßenfahrzeuges 2 lokalisiert und als Fußgänger klassifiziert werden. Beispielsweise sind in Audiosignalen der Mikrofone 3 Trittgeräusche oder Stimmgeräusche des Fußgängers erfassbar. Zu sammen mit Bildsignalen des Bildgebungssensors 4 ergibt sich dann mit hoher Wahrscheinlichkeit, dass sich in dem Raum zwischen den parkenden Fahrzeugen 8 der Fußgänger als verdecktes Objekt 1 befindet. However, the pedestrian can be localized via microphones 3 of the road vehicle 2 and classified as a pedestrian. For example, step noises or vocal noises of the pedestrian can be detected in audio signals of the microphones 3. Together with image signals from the imaging sensor 4, there is then a high probability that the pedestrian is the concealed object 1 in the space between the parked vehicles 8.
Fig. 2 zeigt ein Beispiel für das erfindungsgemäße Straßenfahrzeug 2. Auf einem Dach des Straßenfahrzeuges 2 ist als Bildgebungssensor 4 beispielsweise eine 360°-Sicht-Kamera angeordnet, mit der Bildsignale erhalten werden. Vorne und hin ten ist an dem Straßenfahrzeug 2 jeweils zu beiden Seiten ein Mikrofon 3 angeord net, mit dem Audiosignale erhalten werden. Die Bildsignale und die Audiosignale werden einem Steuergerät 50 bereitgestellt, mit dem der Bildgebungssensor 4 und die Mikrofone 3 signalleitend verbunden sind. Das Steuergerät 50 bestimmt in Ab hängigkeit von den als verdeckt erkannten Objekten 1 entsprechende Steuerungs signale B für Aktuatoren für die Längs- und/oder Querführung des Straßenfahrzeu ges 2, um eine Kollision mit den verdeckten Objekten 1 , beispielsweise bedingt durch plötzliches Erscheinen des Fußgängers aus Fig. 1 auf der Straße, zu vermindern o- der zu verhindern. Beispielsweise ist das Steuerungssignal B ein Spannungspegel, der an Bremsaktuatoren des Straßenfahrzeuges 2 geleitet wird und infolge dessen das Straßenfahrzeug 2 gebremst wird. 2 shows an example of the road vehicle 2 according to the invention. On a roof of the road vehicle 2, a 360 ° vision camera, for example, is arranged as the imaging sensor 4, with which image signals are obtained. Front and rear th a microphone 3 is net angeord on the road vehicle 2 on both sides, with which audio signals are obtained. The image signals and the audio signals are provided to a control device 50 to which the imaging sensor 4 and the microphones 3 are connected in a signal-conducting manner. The control unit 50 determines, depending on the objects 1 recognized as hidden, corresponding control signals B for actuators for the longitudinal and / or lateral guidance of the road vehicle 2 to avoid a collision with the hidden objects 1, for example due to the sudden appearance of the pedestrian Fig. 1 on the street to reduce or prevent. For example, the control signal B is a voltage level which is passed to brake actuators of the road vehicle 2 and as a result of which the road vehicle 2 is braked.
Das Steuergerät 50 ist in Fig. 6 dargestellt. Das Steuergerät 50 umfasst eine erste Schnittstelle 51. Über die erste Schnittstelle 51 werden die Audiosignale und die Bildsignale erhalten. Ferner umfasst das Steuergerät 50 ein Rechensystem 52. Das Rechensystem 52 umfasst wenigstens einen Prozessor 53 und einen Speicher 54. Der Prozessor 53 und der Speicher 54 tauschen untereinander Daten aus. Der Pro zessor 53 führt das künstliche neuronale Netzwerk 6 aus, um nach dem erfindungs gemäßen Verfahren das Steuerungssignal B zu bestimmen. Das Steuerungssignal B wird über eine zweite Schnittstelle 55 Aktuatoren für die Längs- und/oder Querfüh rung des Straßenfahrzeuges 2 bereitgestellt. Das Steuergerät 50 ist in ein Schutzge häuse 56 mit integrierter Kühlung eingebaut. The control unit 50 is shown in FIG. 6. The control device 50 comprises a first interface 51. The audio signals and the image signals are received via the first interface 51. The control device 50 further comprises a computing system 52 Computing system 52 comprises at least one processor 53 and a memory 54. The processor 53 and the memory 54 exchange data with one another. The processor 53 executes the artificial neural network 6 in order to determine the control signal B according to the method according to the invention. The control signal B is provided via a second interface 55 actuators for the longitudinal and / or lateral guidance of the road vehicle 2. The control unit 50 is installed in a protective housing 56 with integrated cooling.
Fig. 3 stellt schematisch das erfindungsgemäße Verfahren dar, ausgeführt von einem künstlichen neuronalen Netzwerk 6. Das Steuergerät 50 führt das künstliche neuro nale Netzwerk 6 aus. Als Input werden Audiosignale der Mikrofone 3 und Bildsignale des Bildgebungssensors 4 erhalten. Das künstliche neuronale Netzwerk 6 lokalisiert und klassifiziert die Objekte 1 in Abhängigkeit der Audiosignale und vergleicht die erhaltenen Ergebnisse mit den Bildsignalen, um zu bestimmen, ob die Objekte 1 ver deckt sind. Als Output gibt das künstliche neuronale Netzwerk 6 einen Verdeckungs grad aus, der die Wahrscheinlichkeit dafür angibt, dass ein Objekt 1 verdeckt ist. FIG. 3 schematically shows the method according to the invention, executed by an artificial neural network 6. The control device 50 executes the artificial neural network 6. Audio signals from the microphones 3 and image signals from the imaging sensor 4 are received as input. The artificial neural network 6 localizes and classifies the objects 1 as a function of the audio signals and compares the results obtained with the image signals in order to determine whether the objects 1 are covered. As an output, the artificial neural network 6 outputs a degree of concealment that indicates the probability that an object 1 is concealed.
Fig. 4 zeigt eine weitere Ausgestaltung des erfindungsgemäßen Verfahrens. Ein ers tes künstliches neuronales Netzwerk 6 bestimmt in Abhängigkeit von Audiosignalen von vier Mikrofonen 3, einem Bildsignale des Bildgebungssensors 4 und der Ge schwindigkeit v des Straßenfahrzeuges 2 Anzahl N, Geschwindigkeit S, Position P, Größe M und Bewegungsrichtung D der Objekte 1 . Die Bewegungsrichtung D und die Geschwindigkeit S der Objekte 1 werden in einer Objektliste bereitgestellt. Diese Objektliste wird mittels einer Berechnung einer Verzögerung der Audiosignale in Ab hängigkeit der mit den Mikrofonen 3 erhaltenen Audiosignalen und der Geschwindig keit des Straßenfahrzeuges v, beispielsweise mittels Doppler-Effekt, bestimmt. Die Objektliste und die Anzahl N, Geschwindigkeit S, Position P, Größe M und Bewe gungsrichtung D der Objekte 1 werden einem zweiten künstlichen neuronalen Netz werk 6 bereitgestellt, das die Objektliste mittels Fusion von Audiosignalen und Bildsignalen validiert. 4 shows a further embodiment of the method according to the invention. A first artificial neural network 6 determines the number N, speed S, position P, size M and direction of movement D of the objects 1 as a function of audio signals from four microphones 3, an image signal from the imaging sensor 4 and the speed v of the road vehicle 2. The direction of movement D and the speed S of the objects 1 are provided in an object list. This object list is determined by calculating a delay in the audio signals as a function of the audio signals obtained with the microphones 3 and the speed of the road vehicle v, for example by means of the Doppler effect. The object list and the number N, speed S, position P, size M and direction of movement D of the objects 1 are provided to a second artificial neural network 6 that validates the object list by means of fusion of audio signals and image signals.
Fig. 5 zeigt eine weitere Ausgestaltung des erfindungsgemäßen Verfahrens, bei dem ein künstliches neuronales Netzwerk 6 verwendet wird. Das künstliche neuronale Netzwerk 6 erhält als Input Audiosignale von vier Mikrofonen 3, ein Bildsignal einer Kamera als Bildgebungssensor 4, ein Bildsignal eines 3D Lidars als Bildgebungs- sensor 4 und die Geschwindigkeit v des Straßenfahrzeuges 2. Das künstliche neuro nale Netzwerk 6 führt das erfindungsgemäße Verfahren durch und gibt als Output einen Verdeckungsgrad an. In Abhängigkeit des Verdeckungsgrades bestimmt das künstliche neuronale Netzwerk 6 ein entsprechendes Steuerungssignal B. FIG. 5 shows a further embodiment of the method according to the invention, in which an artificial neural network 6 is used. The artificial neural Network 6 receives audio signals from four microphones 3 as input, an image signal from a camera as imaging sensor 4, an image signal from a 3D lidar as imaging sensor 4 and the speed v of the road vehicle 2. The artificial neural network 6 carries out the method according to the invention and provides a degree of coverage as output. Depending on the degree of coverage, the artificial neural network 6 determines a corresponding control signal B.
Bezuaszeichen Bezuaszeichen
1 Objekt 1 object
2 Straßenfahrzeug 2 road vehicle
3 Mikrofon 3 microphone
4 Bildgebungssensor 4 imaging sensor
50 Steuergerät 50 control unit
51 erste Schnittstelle 51 first interface
52 Rechensystem 52 computing system
53 Prozessor 53 processor
54 Speicher 54 memory
55 zweite Schnittstelle 55 second interface
56 Schutzgehäuse 56 Protective housing
6 künstliches neuronales Netzwerk 6 artificial neural network
7 Gebäude 7 buildings
8 parkendes Fahrzeug 8 parked vehicle
B Steuerungssignal B control signal
N Anzahl N number
5 Geschwindigkeit 5 speed
P Position P position
M Größe M size
D Bewegungsrichtung D direction of movement
v Geschwindigkeit v speed
FOV Erfassungsbereich FOV detection area

Claims

Patentansprüche Claims
1. Verfahren zum Erkennen von Objekten (1 ) im Straßenverkehr für automatisiert betreibbare Straßenfahrzeuge (2) umfassend die Schritte: 1. A method for recognizing objects (1) in road traffic for road vehicles (2) which can be operated automatically, comprising the steps:
• Erhalten von Audiosignalen der Objekte (1 ) mittels an dem Straßenfahrzeug (2) anordenbaren Mikrofonen (3), • Receiving audio signals from the objects (1) by means of microphones (3) that can be arranged on the road vehicle (2),
• Erhalten von Bildsignalen einer Umgebung des Straßenfahrzeuges (2) mittels wenigstens eines an dem Straßenfahrzeug (2) anordenbaren Bildgebungs- sensor (4), • Receiving image signals of the surroundings of the road vehicle (2) by means of at least one imaging sensor (4) that can be arranged on the road vehicle (2),
• Lokalisieren und Klassifizieren der Objekte (1 ) in Abhängigkeit der Audiosigna- le, • Localization and classification of the objects (1) depending on the audio signals,
• Zuordnen dieser Lokalisierungen und Klassifizierungen zu den Objekten (1 ) in der Umgebung des Straßenfahrzeuges (2) in Abhängigkeit eines Vergleichs mit den Bildsignalen, • Assignment of these localizations and classifications to the objects (1) in the vicinity of the road vehicle (2) depending on a comparison with the image signals,
• Bestimmen eines Verdeckungsgrades für wenigstens eines der Objekte (1 ) in Abhängigkeit des Zuordnens und • Determining a degree of concealment for at least one of the objects (1) as a function of the assignment and
• Ausgeben des Verdeckungsgrades. • Output of the degree of coverage.
2. Verfahren nach Anspruch 1 , wobei ein Steuerungssignal (B) für ein Steuergerät (50) bestimmt wird, um das Straßenfahrzeug (2) zur Verminderung eines Zusam menstoßes mit einem der verdeckten Objekte (1 ) automatisiert zu steuern. 2. The method according to claim 1, wherein a control signal (B) for a control device (50) is determined to automatically control the road vehicle (2) to reduce a collision with one of the concealed objects (1).
3. Verfahren nach Anspruch 1 oder 2, wobei Art der Objekte (1 ), Anzahl (N) der Ob jekte (1 ), Geschwindigkeit (S) der Objekte (1 ), Position (P) der Objekte (1 ), Größe (M) der Objekte (1 ) und/oder Bewegungsrichtung (D) der Objekte (1 ) relativ zu dem Straßenfahrzeug (2) in Abhängigkeit der Audiosignale bestimmt werden. 3. The method according to claim 1 or 2, wherein the type of objects (1), number (N) of objects (1), speed (S) of the objects (1), position (P) of the objects (1), size ( M) of the objects (1) and / or the direction of movement (D) of the objects (1) relative to the road vehicle (2) can be determined as a function of the audio signals.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei das Verfahren computerim plementiert ist. 4. The method according to any one of claims 1 to 3, wherein the method is computerimplementiert.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei • ein künstliches neuronales Netzwerk (6) die Audiosignale und die Bildsignale in einer Eingangsschicht erhält und die als verdeckt bestimmten Objekte (1 ) in einer Ausgangsschicht ausgibt, wobei 5. The method according to any one of the preceding claims, wherein • an artificial neural network (6) receives the audio signals and the image signals in an input layer and outputs the objects (1) determined as hidden in an output layer, with
• das künstliche neuronale Netzwerk (6) zwischen der Eingangsschicht und der Ausgangsschicht weitere Schichten umfasst, deren Anzahl und Verbindungen untereinander in einer Lernphase des künstlichen neuronalen Netzwerks (6) an die Aufnahme von Audiosignalen und Bildsignalen adaptiert sind, und wo bei • the artificial neural network (6) between the input layer and the output layer comprises further layers, the number and connections of which are adapted to the recording of audio signals and image signals in a learning phase of the artificial neural network (6), and where at
• in der Lernphase die Audiosignale und/oder Bildsignale mittels Filtern, Ver stärkern und/oder Kennzeichenlabels für ein überwachtes Lernen aufbereitet sind und das künstliche neuronale Netzwerk (6) durch Änderungen von Ge wichtungsfaktoren für einzelne Verbindungen in und/oder zwischen den Schichten lernt, die verdeckten Objekte (1 ) zu bestimmen. • In the learning phase, the audio signals and / or image signals are processed for monitored learning by means of filters, amplifiers and / or identification labels and the artificial neural network (6) learns by changing weighting factors for individual connections in and / or between the layers, determine the hidden objects (1).
6. Steuergerät (50) für ein automatisiert betreibbares Straßenfahrzeug (2) zum Re geln und/oder automatisierten Steuern von Längs- und/oder Querführung des Stra ßenfahrzeuges (2) in Abhängigkeit von als verdeckt bestimmten Objekten (1 ) umfas send 6. Control unit (50) for an automated road vehicle (2) for regulating and / or automated control of longitudinal and / or lateral guidance of the road ßenfahrzeuges (2) depending on objects (1) determined to be concealed comprehensively
• wenigstens eine erste Schnittstelle (51 ) mit einer hohen Datenübertragungsra te, um Audiosignale und Bildsignale zu erhalten, • at least one first interface (51) with a high data transmission rate in order to receive audio signals and image signals,
• wenigstens ein Rechensystem (52) zur Verarbeitung der Audiosignale und Bildsignale mittels wenigstens einer künstlichen Intelligenz, umfassend • at least one computing system (52) for processing the audio signals and image signals by means of at least one artificial intelligence, comprising
o wenigstens einen Prozessor (53) umfassend eine Mikroarchitektur für paralleles Prozessieren und Ausführen von Rechenoperationen, um die wenigstens eine künstliche Intelligenz auszuführen, und o at least one processor (53) comprising a microarchitecture for parallel processing and execution of arithmetic operations in order to execute the at least one artificial intelligence, and
o wenigstens einen Speicher (54) mit einer hohen Datenübertragungsrate für einen Datenaustausch mit dem Prozessor (53), o at least one memory (54) with a high data transmission rate for data exchange with the processor (53),
• wobei das Rechensystem (52) ausgeführt ist, ein Verfahren nach einem der Ansprüche 1 bis 5 in Echtzeit auszuführen, um einen Verdeckungsgrad der Objekte (1 )zu bestimmen, • wherein the computing system (52) is designed to carry out a method according to one of Claims 1 to 5 in real time in order to determine a degree of obscuration of the objects (1),
• eine zweite Schnittstelle (55), um in Abhängigkeit der als verdeckt bestimmten Objekte (1 ) Steuerungssignale (B) für Aktuatoren für die Längs- und/oder Querführung des Straßenfahrzeuges (2) bereitzustellen, und • ein Schutzgehäuse (56) mit integrierter Kühlung, um das Rechensystem (52) gegen Vibrationen, Feuchtigkeit, Hitze und/oder Kälte zu schützen und Ab wärme des Rechensystems (52) abzuführen. A second interface (55) in order to provide control signals (B) for actuators for the longitudinal and / or lateral guidance of the road vehicle (2) as a function of the objects (1) determined to be hidden, and • A protective housing (56) with integrated cooling to protect the computing system (52) against vibrations, moisture, heat and / or cold and to dissipate heat from the computing system (52).
7. Computerprogrammprodukt zum Erkennen von Objekten (1 ) im Straßenverkehr umfassend Befehle, die bewirken, dass ein Steuergerät (50) nach Anspruch 6 ein Verfahren nach einem der Ansprüche 1 bis 5 ausführt, wenn das Computerprogramm auf dem Steuergerät (50) läuft. 7. Computer program product for recognizing objects (1) in road traffic comprising commands that cause a control device (50) according to claim 6 to execute a method according to any one of claims 1 to 5 when the computer program is running on the control device (50).
8. Automatisiert betreibbares Straßenfahrzeug (2) für Mobilitätsdienstleistungen um fassend 8. Automated operable road vehicle (2) for mobility services comprehensively
• wenigstens zwei an einer Außenseite des Straßenfahrzeuges (2) angeordne te Mikrofone (3), • at least two microphones (3) arranged on the outside of the road vehicle (2),
• wenigstens einen an einer Außenseite des Straßenfahrzeuges (2) angeord neten Bildgebungssensor (4) und • At least one imaging sensor (4) and arranged on an outside of the road vehicle (2)
• ein Steuergerät (50) nach Anspruch 6, • a control device (50) according to claim 6,
um Längs- und/oder Querführung des Straßenfahrzeuges (2) in Abhängigkeit von als verdeckt bestimmten Objekten (1 ) zu steuern. in order to control the longitudinal and / or lateral guidance of the road vehicle (2) as a function of objects (1) determined to be hidden.
PCT/EP2020/053305 2019-02-27 2020-02-10 Method, controller for an automatically operatable road vehicle, computer program product for detecting objects in road traffic, and automatically operatable road vehicle for mobility services WO2020173692A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019202634.6A DE102019202634B3 (en) 2019-02-27 2019-02-27 Method, control device for an automated road vehicle, computer program product for recognizing objects in road traffic and automated road vehicle for mobility services
DE102019202634.6 2019-02-27

Publications (1)

Publication Number Publication Date
WO2020173692A1 true WO2020173692A1 (en) 2020-09-03

Family

ID=69570666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/053305 WO2020173692A1 (en) 2019-02-27 2020-02-10 Method, controller for an automatically operatable road vehicle, computer program product for detecting objects in road traffic, and automatically operatable road vehicle for mobility services

Country Status (2)

Country Link
DE (1) DE102019202634B3 (en)
WO (1) WO2020173692A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114435378A (en) * 2020-11-03 2022-05-06 陕西汽车集团有限责任公司 Pure electric vehicle whole vehicle mass estimation method based on neural network

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020213723A1 (en) 2020-11-02 2022-05-05 Volkswagen Aktiengesellschaft Method, computer program and device for determining a pose of a road user
US11400958B1 (en) 2021-09-20 2022-08-02 Motional Ad Llc Learning to identify safety-critical scenarios for an autonomous vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676427B1 (en) * 2012-10-11 2014-03-18 Google Inc. Controlling autonomous vehicle using audio data
DE102016118902A1 (en) * 2015-10-06 2017-04-06 Ford Global Technologies, Llc Collision avoidance with auditor data extended by map data
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010025351A1 (en) 2010-06-28 2011-12-29 Audi Ag Method and device for assisting a vehicle driver
US9361650B2 (en) 2013-10-18 2016-06-07 State Farm Mutual Automobile Insurance Company Synchronization of vehicle sensor information
US9873428B2 (en) 2015-10-27 2018-01-23 Ford Global Technologies, Llc Collision avoidance using auditory data
US9996080B2 (en) 2016-02-26 2018-06-12 Ford Global Technologies, Llc Collision avoidance using auditory data
DE102017111468A1 (en) 2017-05-24 2018-11-29 Automotive Safety Technologies Gmbh A vehicle system and method for determining whether a vehicle occupant has sensed an off-vehicle object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676427B1 (en) * 2012-10-11 2014-03-18 Google Inc. Controlling autonomous vehicle using audio data
DE102016118902A1 (en) * 2015-10-06 2017-04-06 Ford Global Technologies, Llc Collision avoidance with auditor data extended by map data
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114435378A (en) * 2020-11-03 2022-05-06 陕西汽车集团有限责任公司 Pure electric vehicle whole vehicle mass estimation method based on neural network

Also Published As

Publication number Publication date
DE102019202634B3 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
WO2020173692A1 (en) Method, controller for an automatically operatable road vehicle, computer program product for detecting objects in road traffic, and automatically operatable road vehicle for mobility services
DE102020103130A1 (en) SYSTEM AND PROCEDURE FOR RADAR CRUISE TRACKING AND MANEUVER RISK ASSESSMENT
DE102019133034A1 (en) CONTROL OF AN AUTONOMOUS VEHICLE BASED ON A PRIOR LEARNED PASSENGER AND ENVIRONMENTALLY AWARENESS DRIVING STYLE PROFILE
EP2951804B1 (en) Creating a model for the surroundings of a vehicle
CN105242270A (en) Vehicle radar control
DE102015109832A1 (en) Object classification for vehicle radar systems
DE102019114577A1 (en) SYSTEMS, DEVICES AND METHODS FOR EMBEDDED CODING OF CONTEXT-RELATED INFORMATION USING A NEURONAL NETWORK WITH VECTOR SPACE MODELING
DE102021108470A1 (en) REALISTIC PICTURE PERSPECTIVE TRANSFORMATION USING NEURAL NETWORKS
DE112018006009T5 (en) BRAKE ASSISTANCE DEVICE, CONTROL DEVICE AND BRAKE ASSISTANCE METHOD FOR A VEHICLE
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
DE102019124155A1 (en) VOICE PROCESSING IN A VEHICLE
DE102021109395A1 (en) METHODS, SYSTEMS AND DEVICES FOR USER UNDERSTANDABLE EXPLAINABLE LEARNING MODELS
DE102021203353A1 (en) Method for determining a trajectory of an at least partially assisted motor vehicle, computer program and assistance system
DE102021104044A1 (en) NEURAL NETWORK FOR POSITIONING AND OBJECT DETECTION
DE102020128978A1 (en) TRAINING DEEP NEURAL NETWORKS WITH SYNTHETIC IMAGES
DE102018128583A1 (en) VEHICLE RADAR CONTROL
DE102018129323A1 (en) Method and apparatus for improved radar tracking with performance information
DE102021122407A1 (en) SEGMENTATION AND CLASSIFICATION OF POINT CLOUD DATA
DE102021116309A1 (en) ASSISTANCE FOR DISABLED DRIVERS
WO2020169386A1 (en) Method and computer program product for adapting the resolution of a multisensor system of a road vehicle, and controller for a multisensor system and computer program product
DE102021104178A1 (en) DYNAMICALLY ROUTED FIELD DISCRIMINATOR
DE102020203745A1 (en) Device, system and method for recognizing objects in an environment of an automated driving system
DE102023101951A1 (en) VEHICLE CONTROL FOR OPTIMIZED OPERATION
US20230162480A1 (en) Frequency-based feature constraint for a neural network
DE102018219255A1 (en) Training system, data set, training method, evaluation device and deployment system for a road vehicle for recording and classifying traffic noise

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20704837

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20704837

Country of ref document: EP

Kind code of ref document: A1