WO2023012009A1 - Verfahren, computerprogramm, eingebettetes system und fahrsystem zur kommunikation eines fahrzeuges mit verkehrsteilnehmern - Google Patents

Verfahren, computerprogramm, eingebettetes system und fahrsystem zur kommunikation eines fahrzeuges mit verkehrsteilnehmern Download PDF

Info

Publication number
WO2023012009A1
WO2023012009A1 PCT/EP2022/071076 EP2022071076W WO2023012009A1 WO 2023012009 A1 WO2023012009 A1 WO 2023012009A1 EP 2022071076 W EP2022071076 W EP 2022071076W WO 2023012009 A1 WO2023012009 A1 WO 2023012009A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
specific
signals
signal output
embedded system
Prior art date
Application number
PCT/EP2022/071076
Other languages
English (en)
French (fr)
Inventor
Patrick DEUBACH
Igor Jantzen
Thilo Jöst
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2023012009A1 publication Critical patent/WO2023012009A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/506—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to silent vehicles, e.g. for warning that a hybrid or electric vehicle is approaching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/38—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction using immovably-mounted light sources, e.g. fixed flashing lamps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2900/00—Features of lamps not covered by other groups in B60Q
    • B60Q2900/40—Several lamps activated in sequence, e.g. sweep effect, progressive activation

Definitions

  • the invention relates to a method, a computer program, an embedded system and a driving system for communication between a vehicle and road users
  • DE 10 2017 217 256 A1 discloses a driver assistance system with an environment detection sensor or a system of environment detection sensors for detecting a sign of a road user, a deployment evaluation device that is designed to feed an artificial neural network trained on a meaning of the sign with the detection of the sign and to receive a vehicle control command corresponding to the sign, and a signaling device configured to signal the vehicle control command to the road user in order to recognize a meaning of the sign and to signal to the road user a vehicle reaction to a recognized meaning of this sign.
  • the signal transmitter is designed to generate an electrical, optical and/or acoustic signal, the signal transmitter preferably being locatable in a front area and/or rear area of the vehicle, preferably on a bumper, and preferably having a light bar.
  • Road users are any people and/or objects that participate in road traffic, for example pedestrians, cyclists, motorcyclists, cars, trucks, buses, autonomous shuttles, people movers, special vehicles and emergency vehicles.
  • Road users outside the line of sight cannot see the vehicle and cannot be seen by it via the on-board sensors.
  • Road users who suddenly move onto the road can only be seen very late, which leads to heavy braking and possibly an accident and personal injury.
  • Road users in particular pedestrians, cyclists and other particularly endangered road users, so-called vulnerable road users, are particularly affected because they are very vulnerable. If they recognize vehicles too late or behave carelessly, this can lead to accidents. This uncertainty leads to a high level of risk in many situations involving pedestrians and cyclists.
  • the interaction between a human motor vehicle driver and other road users mostly takes place non-verbally, in particular via eye contact.
  • Gestures and facial expressions are usually easy to understand and unambiguous. If the driver of the highly automated vehicle is replaced by a technical system, this communication option is no longer available.
  • the object of the invention was to provide communication between road users and the vehicle, independent of the level of automation of the vehicle, which, depending on the traffic situation, communicate with road users as individually and intuitively as possible. If there are several road users, this should be possible at the same time. The communication should lead to the defusing of a dangerous situation and enable collaborative interaction in traffic. Future behavioral adaptation and/or adaptation of road users to automated vehicles, due to their increasing spread, should also be considered.
  • the invention provides a method for communication between a vehicle and road users using visual and/or auditory signals.
  • the procedure includes the steps:
  • the invention provides a computer program for communication between a vehicle and road users using visual and/or auditory signals.
  • the computer program includes instructions that cause an embedded system of the vehicle to perform the steps of the method according to the invention when the computer program is executed by the embedded system.
  • the instructions of the computer program according to the invention include machine instructions, source text or object code written in assembly language, an object-oriented programming language, for example C++, or in a procedural programming language, for example C.
  • the computer program is a hardware-independent application program which, for example, has the data carrier or according to one aspect, the data carrier signal is provided for any hardware using software over the air technology, for example via middleware.
  • the computer program is a hardware-dependent program, for example firmware of a control module of the autonomous driving system.
  • the data carrier includes volatile data storage, for example RAM, DRAM, SRAM, and non-volatile data storage, for example ROM, flash EEPROM.
  • the data carriers are, for example, flash memory cards, USB sticks.
  • the data carrier is connected to an in/out system of the embedded system, for example a microcontroller, of the driving system and transfers the computer program to the microcontroller.
  • the computer program reading in the data carrier and/or transmitting, receiving and processing the data carrier signal, the interaction between a human driver and other road users is replaced by outputting the signals using the signal output units. For example, facial expressions, gestures, eye contact and/or language are replaced.
  • the invention provides an embedded system for communication between a vehicle and road users using visual and/or auditory signals.
  • the embedded system includes
  • an application-specific hardware unit which reads the object detections in an operation of the embedded system, determines traffic scenarios based on the object detections and determines risk assessments per identified road user in the specific traffic scenarios;
  • the application-specific hardware unit adapts a signal output to the specific risk assessments, including outputting specific light projections, image and/or video displays of 2D and/or 3D artifacts, color signals, noise and/or voice outputs in specific directions, with specific volume and/or with specific light intensity, color and/or contrast based on a respective one of the determined hazard assessment and provides corresponding regulation and/or control signals;
  • the embedded system is, for example, a microcontroller or an electronic control unit, also known as an electronic control unit, of the driving system or of the vehicle.
  • the embedded system is embedded in an on-board network of the vehicle.
  • the invention provides a communication system that carries out the method according to the invention.
  • the embedded system is a central control unit of the communication system.
  • the central control unit of the communication system controls individual system parts, including light projection systems, lights and loudspeakers, on the basis of information from the environment perception system.
  • the central control unit of the communication system gives feedback to this about the state of the communication system.
  • the embedded system replaces the interaction between a human driver and other road users.
  • the embedded system receives further information via the first interface, for example information about the vehicle status, driving behavior and/or movement prediction of objects.
  • a data/signal exchange to an automation system is established via the first interface or via an additional interface.
  • the invention provides a driving system for communication between a vehicle and road users using visual and/or auditory signals.
  • the driving system comprises an environment perception system, an embedded system according to the invention that exchanges signals with the environment perception system, and signal output units that exchange signals with the embedded system.
  • the signal output units include at least one light projection unit, at least one lighting unit and/or at least one loudspeaker.
  • the solution according to the invention thus makes it possible, depending on the danger level, also referred to as criticality, to adapt the signal output in terms of its form, orientation and/or strength in order to enable notification, warning and alarming communication. This addresses both slow and fast forms of thinking.
  • Driving system designates the components and functionalities of a vehicle at system level as well as the vehicle as such.
  • the driving system will too called an automated driving system.
  • the driving system regulates and/or controls the vehicle movement, also called vehicle motion control.
  • the driving system according to the invention replaces the interaction between a human driver and other road users.
  • the driving system is an autonomous driving system.
  • Autonomous driving system designates the components and functionalities of an autonomously operated vehicle, for example highly or fully automated, at the system level as well as the autonomously operated vehicle as such. Due to the increasing spread of autonomous driving systems, a future behavioral adaptation or adaptation of road users to automated vehicles can be assumed. Although increasing automation can lead to a complete degree of automation of motorized road vehicles, for example cars, trucks, buses, in certain areas, pedestrians and cyclists, for example, will remain as human road users.
  • the invention can be used both in the manual and in the automated state.
  • the signal output units see also the second interface of the embedded system, expand the vehicle's options for action, encompassing drive, steering, brakes and supplement the existing vehicle movement control with the communication options described above.
  • the communication according to the invention defuses dangerous situations and enables a collaborative interaction in traffic, for example road traffic.
  • the signal output allows road users to adapt their behavior to the vehicle.
  • the environment perception system can recognize this behavioral adaptation for further evaluation, for example for the application-specific hardware unit of the method, provide it.
  • the collaborative interaction is bidirectional.
  • the environment perception system perceives the environment, the surroundings. It can recognize, classify and localize static and/or dynamic objects and/or follow them over time, also called tracking.
  • the environment perception system includes software and hardware modules.
  • the software modules include recognition, classification, localization and/or tracking algorithms for individual environment detection sensors and/or for data fusion.
  • the algorithms include machine learning models, for example artificial neural networks for object recognition, for example convolution networks or transformer networks.
  • the hardware modules include environment detection sensors, such as camera, lidar, radar, ultrasonic, infrared, acoustic, olfactory, GPS, and/or inertial sensors, and integrated circuit elements and circuits, such as ICs, ASICs, FPGAs, CPUs, GPUs , systems on chips or high-performance computers for signal processing.
  • environment detection sensors such as camera, lidar, radar, ultrasonic, infrared, acoustic, olfactory, GPS, and/or inertial sensors
  • integrated circuit elements and circuits such as ICs, ASICs, FPGAs, CPUs, GPUs , systems on chips or high-performance computers for signal processing.
  • the integrated circuit elements and circuits for example ICs, ASICs, FPGAs, CPUs, GPUs, systems on chips or the high-performance computer for signal processing form the application-specific hardware unit of the environment perception system and the application-specific hardware unit of the embedded system.
  • the risk assessment is determined using known criticality metrics, including time-to-collision, point of no return, and break-threat number.
  • corresponding operating stages are set depending on the threshold value.
  • the adaptation of the signal output to the specific risk assessment includes a cascaded or escalating signal output.
  • the adaptation of the signal output includes the signals being sent to the receivers in a targeted manner in terms of time and/or location, for example by positioning/aligning the signal output units on the vehicle and/or adapting the signal emission angle.
  • Determining traffic scenarios enables individual communication with the road users in the respective traffic scenario.
  • Traffic scenarios include, for example, turning maneuvers, overtaking maneuvers, pedestrians/cyclists on the roadway and entrances/exits in/from intersections/roundabouts.
  • a risk assessment per detected road user; i.e. threat assessment, in the effective range of the vehicle, one aspect is calculated in real time.
  • the signal output units include one or more light projection units, lights, display devices, for example monitors, for image and/or video display and/or loudspeakers for sound and/or voice output, which can be arranged around the vehicle, for example, one or more loudspeakers for sound - and/or voice output, which can be arranged around the vehicle.
  • the light projection units, the lights and/or the loudspeakers emit the signals in a targeted manner, for example through appropriate beamforming. If road users with increased criticality have been identified, a targeted signal output is achieved in order to enable clear and fast communication. According to a further aspect, this alignment takes place on the basis of the relative position, orientation and possibly the movement prediction of the road user.
  • the message can also be customized in its shape. For example, voice output can be designed to be simple and understandable for children, whereas more detailed information can be transmitted to adults.
  • a temporal behavior of the signal output units is adapted, comprising a constant, changing and/or sudden/one-off signal output in order to draw the attention of road users to the signal, for example through the contrast effect.
  • the light projection unit can project symbols, lines and/or text onto a surface, for example the roadway, in order to inform potentially hidden road users and/or to specifically signal selected road users.
  • the light projection unit includes a light source and shutters/mirrors to create shapes and colors.
  • the light source is, for example, a laser diode or a LED/halogen headlights.
  • the light processing can work in a similar way to a laser beamer.
  • the lights can include RGB LEDs, which achieve a larger angle of light emission, for example via a lens or mirror.
  • the various colors adjusted by adapting the signal output indicate the vehicle condition.
  • the colors enable other road users to better recognize the vehicle in different orientations and to recognize its status.
  • the lights are set according to the situation and/or to the time of day and night.
  • the loudspeakers generally give the vehicle a background noise, for example white or brown noise, which enables other road users to better perceive and localize the vehicle. This is adjusted depending on the traffic scenario.
  • the loudspeakers emit music or melodies in order to signal the vehicle's presence and to express the criticality of the situation through different meanings of the melodies, for example shephard tone.
  • the speakers form an acoustic vehicle alert system, or vehicle warning sound generator. This is beneficial for low-noise vehicles, particularly beneficial for electric vehicles and hybrid electric vehicles.
  • the loudspeakers emit warning signals in sudden critical situations in order to warn other road users.
  • Information can be output in a targeted manner by voice output. If children are recognized, a simplified language is used, which can be understood by children, according to one aspect.
  • the loudspeakers can be commercially available models, which in one aspect can be combined with other horns, horns and the like.
  • the signal outputs are adapted, the signal output units are activated and/or the signals are output in operating stages to escalate the signal outputs. The stages of operation include
  • a second level of operation which is activated in confusing traffic scenarios and/or in traffic scenarios with relatively high traffic volumes, where compared to the first level of operation, the visual signals are issued with greater intensity and/or different shapes and/or colors and/or the auditory signals are output with greater volume and/or in a different frequency spectrum;
  • a third operating level which is activated in comparison to the second operating level when the risk assessment increases, wherein compared to the second operating level, the visual signals are output more intensively and/or the auditory signals are output with greater volume and/or as specific tones or verbal commands;
  • a fifth operating level which is activated in the event of a special event, including an at least partial failure of a vehicle system, extreme weather or unexpected behavior by other road users, for example wrong-way drivers, or immediately after an accident.
  • the operating levels and the corresponding control of the signal output are determined on the basis of the recognition of the traffic scenarios.
  • the first operating level corresponds to a basic level. This basic level is active while the vehicle is in operation, regardless of the automation status.
  • the noise output is less than 80 dbA, for example 75 dbA, at a frequency spectrum that humans find comfortable.
  • the frequency spectrum is brown noise.
  • lights have a constant moderate intensity.
  • a light projection projects constant areas in front of, behind and/or to the side of the vehicle onto a roadway.
  • the second level of operation is a medium level of operation.
  • the signal output is amplified in unclear situations, in the event of increased traffic volume and/or in the event of concealment.
  • the signals are output in a targeted manner.
  • the noise output is increased in one aspect, for example to 80 dbA.
  • the frequency spectrum corresponds to white noise.
  • Light and projection will increase in intensity according to one aspect, for example depending on the situation, shape and colour.
  • dynamic behavior is used, such as blinking and/or panning, to increase contrast.
  • the third operational level is a strong operational level.
  • the intensity of the signal output is increased up to the human discomfort threshold of approx. 100-110 dbA.
  • specific tones or even spoken signals/commands are output for the sound output at a maximum sound level.
  • light signals are amplified.
  • the fourth operational level is a maximum operational level.
  • the signal output is maximized in order to immediately warn road users of an impending collision.
  • the specific values are determined by tests according to one aspect.
  • the use of intensities that are painful and/or harmful to humans may be appropriate after an ethical risk assessment. This causes a reflexive action by the road user, which corresponds to pausing (fright/freeze) or evading (flight) depending on the scenario.
  • the fifth level of operation is a special case and concerns special events or a situation directly after an accident.
  • the lights flash orange
  • the loudspeakers emit a siren sound and/or the light projections project an outline around the scene of the accident, for example.
  • the signal outputs can be specifically adapted by the solution according to the invention depending on the accident, the type of system failure, etc.
  • the signal output is thus increased in its type, form and other aspects depending on the criticality in order to address different risk levels in various scenarios and thus create security.
  • a cascaded or escalating signal output is also made possible in the event of a change from one of the operating stages to another of the operating stages, which is necessary based on the perception of the surroundings.
  • the criticality measure is subjective and is mainly recorded subconsciously in humans and thus leads to corresponding behavioral adjustments.
  • a quasi-objective measure of criticality is introduced.
  • Examples include:
  • BS Certain signal colours, representations and/or tones and/or noises are used to transmit as much information as necessary and at the same time as little as possible.
  • signal colors for example, reduce the amount of signal processing required by humans, which in turn enables faster reactions.
  • the signal color green is used in the first operating stage, yellow in the second operating stage, orange in the third operating stage and red in the fourth operating stage.
  • the signals can be understood intuitively by adapting the signal colors, shapes or pictograms.
  • the signal quantity and density is used as little as necessary in order not to disturb road users unnecessarily and to avoid ambiguity when used on multiple vehicles.
  • the system operation is designed during the development and commissioning of the automated vehicle by the vehicle manufacturer and operator. This ensures that the system behavior can effectively convey messages under widely differing conditions.
  • the application-specific hardware unit is operated in the aforementioned operating stages.
  • the embedded system thus implements an escalation of the signal output.
  • the embedded system comprises a third interface via which the computer-readable data carrier according to the invention can be read in or via which the data carrier signal according to the invention can be received and processed.
  • the third interface is, for example, an in/out interface, a vehicle-to-everything communication interface or an Internet interface.
  • the embedded system is designed to provide the environment perception system with a state of the application-specific hardware unit via the first interface.
  • FIG. 1 shows an exemplary embodiment of an embedded system according to the invention
  • FIG. 2 shows a representation of operating stages as a function of a risk assessment
  • FIG. 3 shows a schematic representation of the method according to the invention.
  • the embedded system 1 is embedded in a driving system 10 of a vehicle 10 in FIG. 1 .
  • the embedded system 1 includes an application-specific hardware unit 2 which is configured to read in signals or data from an environment perception system 30 of the vehicle 10, to process them and to control signal output units 3, 4, 5.
  • the control of the signal output units 3, 4, 5 is adapted to risk assessments 6 of road users 20 in specific traffic scenarios 7.
  • the application-specific hardware unit is, for example, an application-specific integrated circuit.
  • the signal output unit 3 is a loudspeaker or an array of loudspeakers 3 and provides warning tones to the road user 20, for example.
  • the signal output unit 4 is a light projection unit or an array of light projection units 4.
  • the light projection unit 4 projects, for example, warning symbols onto a road surface 21, for example a road.
  • the signal output unit 5 is a lighting unit or an array of lighting units 5 and provides light signals to the road user 20, for example.
  • the environment perception system 30 recognizes and processes the road user 20 and his behavior in the traffic scenario 7 adapted to the signal outputs of the embedded system 1 and makes this available to an application-specific hardware unit 31 of the environment perception system 30 .
  • the application-specific hardware unit 31 determines a risk assessment 6 for the road user 20. Based on this risk assessment, the application-specific hardware unit 2 of the embedded system 1 adapts the signal outputs.
  • the driving system 10 includes a central electronic control device AD ECU for autonomous driving functionalities.
  • the control unit AD ECU reads the evaluations of the application-specific hardware unit 31 of the environment perception system 30 as signals and determines regulation and/or control signals for actuators for the longitudinal and/or lateral control of the vehicle 10.
  • the driving system 10 or the embedded system 1 includes a third interface 33, which can be embodied as a vehicle-to-everything communication interface and via which the data carrier signal according to the invention can be received.
  • the embedded system 1 or the driving system 10 is operated in the operating stages BS1 -BS5 shown in FIG.
  • BS2 activated in confusing traffic scenarios 7 and/or in traffic scenarios 7 with a relatively high volume of traffic, the visual signals 9 being output with greater intensity and/or different shapes and/or colors and/or the auditory signals compared to the first operating stage BS1 8 are output with greater volume and/or in a different frequency spectrum;
  • BS5 activated in the event of a special event including an at least partial failure of a system of the vehicle 10, extreme weather or unexpected behavior of other road users 20 including wrong-way drivers, or directly after an accident.
  • the environment perception system 30 receives object recognitions 20, 21.
  • the application-specific hardware unit 31 of the environment perception system 30 determines traffic scenarios based on the object detections.
  • the application-specific hardware unit 31 determines risk assessments 6 per identified road user 20 in the specific traffic scenarios 7.
  • an application-specific hardware unit 2 of the embedded system 1 adapts signal outputs to the specific risk assessments 6. This includes outputting specific light projections, color signals, noises and /or voice output in specific directions and/or with a specific volume based on a particular risk assessment 6.
  • the application-specific hardware unit 2 controls the signal output units 3, 4, 5 of the vehicle 10 based on the adaptation.
  • the signal output units 3, 4, 5 output the signals 8, 9 accordingly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend die Schritte: Erhalten von Objekterkennungen (20, 21) eines Umfeldwahrnehmungssystems (30) des Fahrzeuges (10) (V1); Bestimmen von Verkehrsszenarien (7) basierend auf den Objekterkennungen (20,21) und Bestimmen von Gefahrenbewertungen (6) pro erkanntem Verkehrsteilnehmer (20) in den bestimmten Verkehrsszenarien (7) durch Ausführen von Befehlen wenigstens eines Computerprogramms zur Umfeldwahrnehmung durch eine anwendungsspezifische Hardwareeinheit (31) des Umfeldwahrnehmungssystems (30) (V2); Adaptieren von Signalausgaben an die bestimmten Gefahren bewertungen (6) umfassend Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung (6) (V3); Ansteuern von Signalausgabeeinheiten (3, 4, 5) des Fahrzeuges (10) basierend auf der Adaption und Ausgeben der Signale (8, 9) mittels der Signalausgabeeinheiten (3, 4, 5) (V4).

Description

Verfahren, Computerproqramm, eingebettetes System und Fahrsystem zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern
Die Erfindung betrifft ein Verfahren, ein Computerprogramm, ein eingebettetes System und ein Fahrsystem zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern
Die DE 10 2017 217 256 A1 offenbart ein Fahrerassistenzsystem mit einem Umfelderfassungssensor oder einem System von Umfelderfassungssensoren zur Erfassung eines Zeichens eines Verkehrsteilnehmers, einer Einsatzauswerteeinrichtung, die ausgeführt ist, ein auf eine Bedeutung des Zeichens trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens zu speisen und einen dem Zeichen entsprechenden Fahrzeugsteuerungsbefehl zu erhalten, und einem Signalgeber, der ausgeführt ist, den Fahrzeugsteuerungsbefehl dem Verkehrsteilnehmer zu signalisieren, um eine Bedeutung des Zeichens zu erkennen und dem Verkehrsteilnehmer eine Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens zu signalisieren. Der Signalgeber ist ausgeführt, ein elektrisches, optisches und/oder akustisches Signal zu erzeugen, wobei der Signalgeber vorzugsweise in einem Frontbereich und/oder Heckbereich des Fahrzeuges, vorzugsweise an einer Stoßstange, anordbar ist und vorzugsweise eine Lichtleiste aufweist.
Verkehrsteilnehmer sind jegliche Menschen und/oder Objekte, die am Straßenverkehr teilnehmen, beispielsweise Fußgänger, Radfahrer, Motoradfahrer, Pkw, LKW, Busse, autonome Shuttle, people mover, Spezialfahrzeuge und Einsatzfahrzeuge. Verkehrsteilnehmer außerhalb der Sichtlinie können das Fahrzeug nicht sehen, und nicht von ihm über die on-board Sensoren gesehen werden. Verkehrsteilnehmer, die sich plötzlich auf die Straße bewegen, können erst sehr spät gesehen werden, was zu starkem Bremsen und unter Umständen zu Unfall und Personenschaden führt.
Verkehrsteilnehmer, insbesondere Fußgänger, Radfahrer und weitere besonders gefährdete Verkehrsteilnehmer, sogenannte vulnerable road users, sind davon besonders betroffen, da sie sehr verletzlich sind. Wenn sie Fahrzeuge zu spät erkennen, oder sich unvorsichtig verhalten, kann das zu Unfällen führen. Diese Ungewissheit führt in vielen Situationen mit Fußgängern und Radfahrern zu einem hohen Risiko. Die Interaktion zwischen einem menschlichen Kraftfahrzeugfahrer und anderen Verkehrsteilnehmern findet meist nonverbal, insbesondere über Augenkontakt, statt.
Gesten und Mimik sind meist leicht verständlich und eindeutig. Wenn für das hochautomatisierte Fahrzeug der Fahrer durch ein technisches System ersetzt wird, entfällt diese Kommunikationsmöglichkeit.
Aufgabe der Erfindung war es, eine Kommunikation zwischen Verkehrsteilnehmern und Fahrzeug, unabhängig von einem Automatisierungslevel des Fahrzeuges, bereitzustellen, das in Abhängigkeit der Verkehrssituation mit den Verkehrsteilnehmern möglichst individuell, und intuitiv verständlich kommunizieren. Bei mehreren Verkehrsteilnehmern soll dies gleichzeitig möglich sein. Die Kommunikation soll zur Entschärfung einer Gefahrenlage führen und die kollaborative Interaktion im Verkehr ermöglichen. Zukünftige Verhaltensadaption und/oder Anpassung der Verkehrsteilnehmer an automatisierte Fahrzeuge, durch deren steigende Verbreitung, soll ebenfalls bedacht werden.
Die Gegenstände der Ansprüche 1 , 3, 6 und 10 lösen jeweils diese Aufgabe.
Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
Nach einem Aspekt stellt die Erfindung ein Verfahren bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen.
Das Verfahren umfasst die Schritte:
• Erhalten von Objekterkennungen eines Umfeldwahrnehmungssystems des Fahrzeuges;
• Bestimmen von Verkehrsszenarien basierend auf den Objekterkennungen und Bestimmen von Gefahrenbewertungen pro erkanntem Verkehrsteilnehmer in den bestimmten Verkehrsszenarien durch Ausführen von Befehlen wenigstens eines Computerprogramms zur Umfeldwahrnehmung durch eine anwendungsspezifische Hardwareeinheit des Umfeldwahrnehmungssystems; • Adaptieren von Signalausgaben an die bestimmten Gefahrenbewertungen umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung;
• Ansteuern von Signalausgabeeinheiten des Fahrzeuges basierend auf der Adaption und Ausgeben der Signale mittels der Signalausgabeeinheiten.
Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen. Das Computerprogramm umfasst Befehle, die ein eingebettetes System des Fahrzeuges veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm von dem eingebetteten System ausgeführt wird.
Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über den Datenträger oder das Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Nach einem weiteren Aspekt ist das Computerprogramm ein Hardware abhängiges Programm, beispielsweise eine Firmware eines Steuermoduls des autonomen Fahrsystems. Der Datenträger umfasst flüchtige Datenspeicher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Datenspeicher, beispielsweise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash- Speicherkarten, USB-Sticks. Nach einem Aspekt der Erfindung wird der Datenträger an ein In/Out System des eingebetteten Systems, beispielsweise eines Mikrocontrollers, des Fahrsystems angeschlossen und überträgt das Computerprogramm in den Mikrocontroller. Durch Ausführung des Verfahrens, des Computerprogramms, Einlesen des Datenträgers und/oder Übertragen, Empfangen und Verarbeiten des Datenträgersignals wird die Interaktion zwischen einem menschlichen Fahrer und anderen Verkehrsteilnehmern ersetzt durch Ausgabe der Signale mittels der Signalausgabeeinheiten. Beispielsweise werden Mimik, Gestik, Blickkontakt und/oder Sprache ersetzt.
Nach einem weiteren Aspekt stellt die Erfindung ein eingebettetes System bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen. Das eingebettete System umfasst
• eine erste Schnittstelle zu einem Umfeldwahrnehmungssystem des Fahrzeuges, über die das eingebettete System Objekterkennungen des Umfeldwahrnehmungssystems erhält;
• eine anwendungsspezifische Hardwareeinheit, die in einem Betrieb des eingebetteten Systems die Objekterkennungen einliest, basierend auf den Objekterkennungen Verkehrsszenarien bestimmt und in den bestimmten Verkehrsszenarien Gefahrenbewertungen pro erkanntem Verkehrsteilnehmer bestimmt;
• wobei die anwendungsspezifische Hardwareeinheit eine Signalausgabe an die bestimmten Gefahrenbewertungen adaptiert umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung und entsprechende Regel- und/oder Steuerungssignale bereitstellt;
• eine zweite Schnittstelle zu Signalausgabeeinheiten des Fahrzeuges, über die das eingebettete System die Signalausgabeeinheiten basierend auf der Adaption regelt und/oder steuert.
Das eingebettete System ist beispielsweise ein Mikrokontroller oder ein elektronisches Steuergerät, auch electronic control unit genannt, des Fahrsystems oder des Fahrzeuges. Das eingebettete System ist nach einem Aspekt in ein Bordnetzwerk des Fahrzeuges eingebettet. Nach einem Aspekt stellt die Erfindung ein Kommunikationssystem bereit, das das erfindungsgemäße Verfahren ausführt. Gemäß dieses Aspekts ist das eingebettete System ein zentrales Steuergerät des Kommunikationssystems. Das zentrale Steuergerät des Kommunikationssystems steuert einzelne Systemteile, umfassend Lichtprojektionssysteme, Leuchten und Lautsprecher, auf Basis von Informationen von dem Umfeldwahrnehmungssystem an. An dieses gibt das zentrale Steuergerät des Kommunikationssystems nach einem Aspekt Feedback über den Zustand des Kommunikationssystems. Das eingebettete System ersetzt die Interaktion zwischen einem menschlichen Fahrer und anderen Verkehrsteilnehmern.
Nach einem weiteren Aspekt erhält das eingebettete System über die erste Schnittstelle weitere Informationen, beispielsweise Informationen über den Fahrzeugzustand, Fahrverhalten und/oder Bewegungsprädiktion von Objekten.
Nach einem weiteren Aspekt wird über die erste Schnittstelle oder über eine zusätzliche Schnittstelle ein Daten-ZSignalaustausch zu einem Automatisierungssystem, auch automated driving system genannt, hergestellt.
Nach einem weiteren Aspekt stellt die Erfindung ein Fahrsystem bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen. Das Fahrsystem umfasst ein Umfeldwahrnehmungssystem, ein mit dem Umfeldwahrnehmungssystem in Signalaustausch stehendes erfindungsgemäßes eingebettetes System und mit dem eingebetteten System in Signalaustausch stehende Signalausgabeeinheiten. Die Signalausgabeeinheiten umfassen wenigstens eine Lichtprojektionseinheit, wenigstens eine Leuchteinheit und/oder wenigstens einen Lautsprecher.
Die erfindungsgemäße Lösung ermöglicht damit, in Abhängigkeit des Gefahrenle- vels, auch als Kritikalität bezeichnet, die Signalausgabe in ihrer Form, Ausrichtung und/oder Stärke anzupassen, um sowohl hinweisende, warnende als auch alarmierende Kommunikation zu ermöglichen. Damit wird sowohl langsame als auch schnelle Form des Denkens angesprochen.
Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines Fahrzeuges auf Systemebene als auch das Fahrzeug als solches. Das Fahrsystem wird auch automated driving system genannt. Das Fahrsystem regelt und/oder steuert die Fahrzeugbewegung, auch vehicle motion control genannt. Mittels des erfindungsgemäß eingebetteten Systems und den Signalausgabeeinheiten ersetzt das erfindungsgemäße Fahrsystem die Interaktion zwischen einem menschlichen Fahrer und anderen Verkehrsteilnehmern.
Nach einem Aspekt ist das Fahrsystem ein autonomes Fahrsystem. Autonomes Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines autonom betreibbaren Fahrzeuges, beispielsweise hoch- oder vollautomatisiert, auf Systemebene als auch das autonom betriebene Fahrzeug als solches. Durch steigende Verbreitung autonomer Fahrsysteme ist von einer zukünftigen Verhaltensadaption oder Anpassung der Verkehrsteilnehmer an automatisierte Fahrzeuge auszugehen. Obwohl zunehmende Automatisierung zu einem vollständigen Automatisierungsgrad von motorisierten Straßenfahrzeugen, beispielsweise PKW, LKW, Bussen, in bestimmten Gebieten führen kann, werden beispielsweise Fußgänger und Radfahrer als menschliche Verkehrsteilnehmer erhalten bleiben.
Die Erfindung kann sowohl im manuellen als auch im automatisierten Zustand eingesetzt werden. Die Signalausgabeeinheiten, siehe auch zweite Schnittstelle des eingebetteten Systems, erweitern die Handlungsoptionen des Fahrzeuges umfassend Antrieb, Lenkung, Bremse und ergänzen die vorhandene Fahrzeugbewegungssteuerung durch die voran beschriebenen Kommunikationsmöglichkeiten.
Die erfindungsgemäße Kommunikation entschärft Gefahrenlagen und ermöglicht eine kollaborative Interaktion im Verkehr, beispielsweise Straßenverkehr. Durch die Signalausgabe können die Verkehrsteilnehmer ihr Verhalten an das Fahrzeug anpassen. Das Umfeldwahrnehmungssystem kann diese Verhaltensanpassung erkennen zur weiteren Auswertung, beispielsweise für die anwendungsspezifische Hardwareeinheit des Verfahrens, bereitstellen. Damit ist die kollaborative Interaktion bidirektional.
Das Umfeldwahrnehmungssystem nimmt das Umfeld, die Umgebung wahr. Es kann statische und/oder dynamische Objekte erkennen, klassifizieren, lokalisieren und/oder diese über die Zeit verfolgen, auch tracking genannt. Das Umfeldwahrnehmungssystem umfasst Software- und Hardwaremodule. Die Softwaremodule umfassen Erkennungs-, Klassifizierungs-, Lokalisierungs- und/oder Trackingalgorithmen für einzelne Umfelderfassungssensoren und/oder für Datenfusion. Die Algorithmen umfassen nach einem Aspekt Maschinenlernmodelle, beispielsweise künstliche neuronale Netzwerke für Objekterkennung, beispielsweise Faltungsnetzwerke oder Trans- formernetzwerke. Die Hardwaremodule umfassen Umfelderfassungssensoren, beispielsweise Kamera-, Lidar-, Radar-, Ultraschall-, Infrarot-, Akustik-, Geruchs-, GPS- und/oder Inertialsensoren, und integrierte Schaltungselemente und Schaltkreise, beispielsweise ICs, ASICs, FPGAs, CPUs, GPUs, systems on chips oder Hochleistungscomputer zur Signalverarbeitung. Die integrierte Schaltungselemente und Schaltkreise, beispielsweise ICs, ASICs, FPGAs, CPUs, GPUs, systems on chips o- der Hochleistungscomputer zur Signalverarbeitung bilden die anwendungsspezifische Hardwareeinheit des Umfeldwahrnehmungssystem und die anwendungsspezifische Hardwareeinheit des eingebetteten Systems.
Durch Bestimmen der Gefahrenbewertung und Adaptieren der Signalausgabe an die die bestimmte Gefahrenbewertung wird eine Gefahrenlage vorteilhafterweise entschärft. Die Gefahren bewertung wird nach einem Aspekt mittels bekannten Kritikali- tätsmetriken, umfassend time-to-collision, point of no return, break-threat-number, bestimmt. Je nach Schwellwert werden nach einem Aspekt entsprechende Betriebsstufen eingestellt. Nach einem Aspekt umfasst das Adaptieren der Signalausgabe an die bestimmte Gefahrenbewertung eine kaskadierte oder eskalierende Signalausgabe. Nach einem weiteren Aspekt umfasst das Adaptieren der Signalausgabe, dass die Signale zeitlich und/oder örtlich gezielt an die Empfänger gesendet werden, beispielsweise durch Position ieren/Ausrichten der Signalausgabeeinheiten an dem Fahrzeug und/oder Adaptieren von Signalaustrittswinkel.
Durch das Bestimmen von Verkehrsszenarien wird eine individuelle Kommunikation mit den Verkehrsteilnehmern in dem jeweiligen Verkehrsszenario ermöglicht. Verkehrsszenarien umfassen beispielsweise Abbiegevorgänge, Überholvorgänge, Fuß- gänger-ZFahrradfahrer auf Fahrbahn und Ein-/Ausfahrten in/aus Kreuzungen/Kreis- verkehren. Eine Gefahrenbewertung pro detektierten Verkehrsteilnehmer; das heißt threat assessment, im Wirkbereich des Fahrzeugs wird nach einem Aspekt in Echtzeit berechnet.
Die Signalausgabeeinheiten umfassen eine oder mehrere Lichtprojektionseinheiten, Leuchten, Anzeigevorrichtungen, beispielsweise Monitore, zur Bild- und/oder Videoanzeige und/oder Lautsprecher zur Ton- und/oder Sprachausgabe, die beispielsweise um das Fahrzeug herum angeordnet sein können, einen oder mehrere Lautsprechern zur Ton- und/oder Sprachausgabe, die um das Fahrzeug herum angeordnet sein können.
Die Lichtprojektionseinheiten, die Leuchten und/oder die Lautsprecher geben nach einem Aspekt die Signale zielgerichtet aus, beispielsweise durch entsprechendes beamforming. Wenn Verkehrsteilnehmer mit erhöhter Kritikalität identifiziert wurden, wird damit eine gezielte Signalausgabe erreicht, um eindeutige und schnelle Kommunikation zu ermöglichen. Diese Ausrichtung erfolgt nach einem weiteren Aspekt auf Basis der relativen Position, Orientierung und gegebenenfalls der Bewegungsprädiktion des Verkehrsteilnehmers. Zusätzlich zur Richtung kann die Nachricht auch in ihrer Form angepasst werden. So ist beispielsweise Sprachausgabe gegenüber Kindern einfach und verständlich zu gestalten, wohingegen gegenüber Erwachsenen weiterführende Informationen übermittelt werden können.
Nach einem weiteren Aspekt wird ein zeitliches Verhalten der Signalausgabeeinheiten adaptiert umfassend eine konstante, wechselnde und/oder plötzliche/einmalige Signalausgabe, um beispielsweise durch die Kontrastwirkung die Aufmerksamkeit der Verkehrsteilnehmer auf das Signal zu lenken.
Die Lichtprojektionseinheit kann Symbole, Linien und/oder Text auf eine Oberfläche, beispielsweise die Fahrbahn, projizieren, um potentiell verdeckte Verkehrsteilnehmer zu informieren und/oder ausgewählte Verkehrsteilnehmer gezielt zu signalisieren. Die Lichtprojektionseinheit umfasst eine Lichtquelle und Blenden/Spiegeln, um Formen und Farben zu erzeugen. Die Lichtquelle ist beispielsweise eine Laserdiode oder ein LED- /Halogenscheinwerfer. Die Lichtverarbeitung kann ähnlich zu einem Laserbea- mer funktionieren.
Die Leuchten können RGB-LED umfassen, die beispielsweise über eine Linse oder Spiegel einen größeren Lichtaustrittswinkel erreichen. Die verschiedenen Farben, die durch Adaptieren der Signalausgabe eingestellt werden, zeigen nach einem Aspekt den Fahrzeugzustand an. Nach einem weiteren Aspekt ermöglichen die Farben es anderen Verkehrsteilnehmern, das Fahrzeug besser in verschiedenen Orientierungen zu erkennen und dessen Status zu erkennen. Nach einem weiteren Aspekt werden die Leuchten situativ und/oder zu Tages- Nachtzeit eingestellt.
Die Lautsprecher geben nach einem Aspekt allgemein dem Fahrzeug eine Geräuschkulisse beispielsweise weißes oder braunes Rauschen, welche es anderen Verkehrsteilnehmern ermöglicht, das Fahrzeug besser wahrzunehmen und zu lokalisieren. Dies wird abhängig von dem Verkehrsszenario angepasst. Nach einem weiteren Aspekt geben die Lautsprecher Musik oder Melodien aus, um die Fahrzeugpräsenz zu signalisieren und durch verschiedene Bedeutungen der Melodien die Kritika- lität der Situation auszudrücken, beispielsweise shephard tone.
Nach einem Aspekt bilden die Lautsprecher ein acoustic vehicle alert system, oder auch Fahrzeug-Warngeräusch-Generator. Dies ist vorteilhaft für geräuscharme Fahrzeuge, besonders vorteilhaft für Elektrofahrzeuge und Hybrid-Elektrofahrzeuge.
Nach einem weiteren Aspekt geben die Lautsprecher bei plötzlichen kritischen Situationen Warnsignale aus, um andere Verkehrsteilnehmer zu warnen. Durch Sprachausgabe kann gezielt Informationen ausgegeben werden. Werden Kinder erkannt, wird nach einem Aspekt eine vereinfachte Sprache genutzt, welche von Kindern verstanden werden kann. Die Lautsprecher können handelsübliche Modelle sein, die nach einem Aspekt mit anderen Hupen, Hörnern und dergleichen kombiniert werden können. Nach einem weiteren Aspekt erfolgt die Adaption der Signalausgaben, das Ansteu- ern der Signalausgabeeinheiten und/oder das Ausgeben der Signale in Betriebsstufen zur Eskalation der Signalausgaben. Die Betriebsstufen umfassen
• eine erste Betriebsstufe, die während des Betriebs des Fahrzeuges aktiv ist;
• eine zweite Betriebsstufe, die in unübersichtlichen Verkehrsszenarien und/oder in Verkehrsszenarien mit relativ hohem Verkehrsaufkommen aktiviert wird, wobei im Vergleich zur ersten Betriebsstufe die visuellen Signale mit größerer Intensität und/oder unterschiedlichen Formen und/oder Farben ausgegeben werden und/oder die auditiven Signale mit größerer Lautstärke und/oder in einem unterschiedlichen Frequenzspektrum ausgegeben werden ;
• eine dritte Betriebsstufe, die im Vergleich zur zweiten Betriebsstufe bei steigender Gefahrenbewertung aktiviert wird, wobei im Vergleich zur zweiten Betriebsstufe die visuellen Signale verstärkt ausgegeben werden und/oder die auditiven Signale mit größerer Lautstärke und/oder als spezifische Töne oder sprachliche Kommandos ausgegeben werden;
• eine vierte Betriebsstufe, die zur unmittelbaren Warnung von Verkehrsteilnehmern vor einer bevorstehenden Kollision aktiviert wird, wobei die Signalausgabe maximiert werden;
• eine fünfte Betriebsstufe, die im Falle eines besonderen Ereignisses, umfassend einen zumindest teilweisen Ausfall eines Systems des Fahrzeuges, extremes Wetter oder unerwartetes Verhalten anderer Verkehrsteilnehmer, beispielsweise Geisterfahrer, oder direkt nach einem Unfall aktiviert wird.
Die Betriebsstufen und die entsprechende Ansteuerung der Signalausgabe werden auf der Basis der Erkennung der Verkehrsszenarien bestimmt.
Die erste Betriebsstufe entspricht einer Basisstufe. Während des Betriebs des Fahrzeuges, unabhängig von einem Automatisierungszustand, ist diese Basisstufe aktiv. Die Geräuschausgabe ist nach einem Aspekt kleiner als 80 dbA, beispielsweise 75 dbA, bei einem Frequenzspektrum, welches Menschen als angenehm empfinden. Nach einem Aspekt ist das Frequenzspektrum braunes Rauschen. Nach einem Aspekt haben Leuchten eine konstante gemäßigte Intensität. Eine Lichtprojektion projiziert nach einem Aspekt gleichbleibende Bereiche vor, hinter und/oder seitlich des Fahrzeug auf eine Fahrbahn. Die voran genannten Aspekte können in beliebigen Kombinationen untereinander vorhanden sein.
Die zweite Betriebsstufe ist eine mittelstarke Betriebsstufe. In unübersichtlichen Situationen, bei erhöhtem Verkehrsaufkommen und/oder bei Verdeckungsfällen wird die Signalausgabe verstärkt. Nach einem Aspekt werden die Signale zielgerichtet ausgegeben. Die Geräuschausgabe ist nach einem Aspekt erhöht, beispielsweise auf 80 dbA. Nach einem Aspekt entspricht das Frequenzspektrum einem weißen Rauschen. Licht und Projektion werden nach einem Aspekt in Intensität zunehmen, beispielsweise je nach Situation, Form und Farbe. Nach einem weiteren Aspekt wird ein dynamisches Verhalten genutzt, beispielsweise Blinken und/oder Schwenken, um den Kontrast zu erhöhen. Die voran genannten Aspekte können in beliebigen Kombinationen untereinander vorhanden sein.
Die dritte Betriebsstufe ist eine starke Betriebsstufe. Mit ansteigender Gefahrenbewertung wird nach einem Aspekt die Signalausgabe in Ihrer Intensität bis zur menschlichen Unbehaglichkeitsschwelle von ca. 100-110 dbA erhöht. Für die Geräuschausgabe werden nach einem Aspekt spezifische Töne oder sogar sprachliche Signale/Kommandos ausgeben bei einem maximalen Schallpegel. Lichtsignale werden nach einem weiteren Aspekt verstärkt. Die voran genannten Aspekte können in beliebigen Kombinationen untereinander vorhanden sein.
Die vierte Betriebsstufe ist eine maximale Betriebsstufe. Zur unmittelbaren Warnung von Verkehrsteilnehmern vor einer bevorstehenden Kollision wird nach einem Aspekt die Signalausgabe maximiert. Die spezifischen Werte werden nach einem Aspekt durch Tests ermittelt. Die Nutzung von Intensitäten, die schmerzhaft und/oder schadhaft für Menschen sind, kann nach einer ethischen Risikobewertung zweckmäßig sein. Damit wird eine reflexartige Handlung des Verkehrsteilnehmers hervorgerufen, die entsprechend des Szenarios einem Verharren (Fright/Freeze) oder einem Ausweichen (Flight) entspricht.
Die fünfte Betriebsstufe ist ein Spezialfall und betrifft besondere Ereignisses oder eine Situation direkt nach einem Unfall. Beispielsweise blinken die Lichter orangefarben, geben die Lautsprecher einen Sirenenton aus und/oder projizieren die Lichtprojektionen beispielsweise einen Umriss um die Unfallstelle. Allgemein können durch die erfindungsgemäße Lösung in Abhängigkeit des Unfalls, der Art des Systemausfalls etc. die Signalausgaben spezifisch angepasst werden.
Damit wird die Signalausgabe in ihrer Art, Form und weiteren Aspekten abhängig zur Kritikalität erhöht, um verschiedene Risikolevel in diversen Szenarien zu adressieren und so Sicherheit herzustellen. Damit wird auch eine kaskadierte oder eskalierende Signalausgabe ermöglicht bei einem basierend auf der Umfeldwahrnehmung erforderlichen Wechsel von einer der Betriebsstufen auf eine andere der Betriebsstufen.
Das Kritikalitätsmaß ist subjektiv und wird beim Menschen hauptsächlich unterbewusst erfasst und führt so zu entsprechender Verhaltensanpassung. Für hochautomatisierte Systeme, wie hier beschrieben, wird ein quasi-objektives Maß der Kritikalität eingeführt.
Beispiele umfassen:
• hochautomatisierte (L4) Fahrt ohne spezielle Risikofaktoren -> kein spezifisches Risiko -> erste Betriebsstufe;
• bevorstehender Überholvorgang, Rechtsabbiegen, Vorfahrt gewähren, Fußgängerüberweg voraus, starker Verkehr, verdeckte Bereiche voraus -> geringes Risiko -> zweite Betriebsstufe;
• Fußgänger auf Fahrbahn voraus, Wild auf Fahrbahn voraus, hinteres Fahrzeug fährt zu nah auf -> mittleres Risiko -> dritte Betriebsstufe;
• bevorstehende Kollision, Fußgänger betritt plötzlich Straße vor dem Fahrzeug, Geisterfahrer voraus, physischer Angriff auf das Fahrzeug -> hohes Risiko -> vierte Betriebsstufe;
• Unfall ohne/mit Beteiligung ist eingetreten, in Abhängigkeit der Unfallschwere ist beispielsweise der Unfallort zu kennzeichnen und andere Verkehrsteilnehmer zu warnen -> fünfte Betriebsstufe;
• Systemausfall und/oder Panne, in Abhängigkeit der Ausfallschwere und der verbleibenden Möglichkeiten ergibt sich eine Betriebsstufe, beispielsweise -> fünfte Betriebsstufe. Nach einem Aspekt werden die Betriebsstufen für die Anwendung in einer bestimmten operational design domain und für ein bestimmtes Fahrzeug angepasst.
Nach einem weiteren Aspekt erfolgt bei den nachfolgenden Verkehrsszenarien der
Betrieb in folgenden Betriebsstufen, abgekürzt BS:
Figure imgf000015_0001
Figure imgf000016_0001
Durch bestimmte Signalfarben, -darstellungen und/oder Töne und/oder Geräusche werden so viel wie nötig und gleichzeitig so wenig wie möglich Informationen übermittelt. Zusätzlich verringern beispielsweise Signalfarben den Signalverarbeitungsaufwand beim Menschen, was wiederum ein schnelleres Reagieren ermöglicht.
Beispielsweise wird in der ersten Betriebsstufe die Signalfarbe grün, in der zweiten Betriebsstufe gelb, in der dritten Betriebsstufe orange und in der vierten Betriebsstufe rot verwendet.
Ferner sind durch Adaptieren der Signalfarben, -formen oder Piktogramme die Signale intuitiv verständlich Die Signalmenge und -dichte wird so gering wie nötig eingesetzt, um Verkehrsteilnehmer nicht unnötig zu stören und Mehrdeutigkeit bei Anwendung auf multiplen Fahrzeugen zu vermeiden.
Nach einem weiteren Aspekt wird die Gestaltung des Systembetriebs während der Entwicklung und Inbetriebnahme des automatisierten Fahrzeuges durch Fahrzeughersteller und Betreiber durchgeführt. Damit wird gewährleistet, dass das Systemverhalten unter stark unterschiedlichen Bedingungen wirkungsvoll Nachrichten übermitteln kann.
Nach einem weiteren Aspekt erfolgt bei dem eingebetteten System der Betrieb der anwendungsspezifischen Hardwareeinheit in den voran genannten Betriebsstufen. Damit realisiert das eingebettete System eine Eskalation der Signalausgabe.
Nach einem weiteren Aspekt umfasst das eingebettete System eine dritte Schnittstelle, über die der erfindungsgemäße computerlesbare Datenträger einlesbar ist o- der über die das erfindungsgemäße Datenträgersignal empfangbar und prozessierbar ist. Die dritte Schnittstelle ist beispielsweise eine In/Out Schnittstelle, eine ve- hicle-to-everything-Kommunikationsschnittstelle oder eine Internetschnittstelle. Nach einem weiteren Aspekt ist das eingebettete System ausgeführt, über die erste Schnittstelle dem Umfeldwahrnehmungssystem einen Zustand der anwendungsspezifischen Hardwareeinheit bereitzustellen.
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäß eingebetteten Systems,
Fig. 2 eine Darstellung von Betriebsstufen in Abhängigkeit einer Gefahrenbewertung und
Fig.3 eine schematische Darstellung des erfindungsgemäßen Verfahrens.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
Das eingebettete System 1 ist in Fig. 1 in ein Fahrsystem 10 eines Fahrzeuges 10 eingebettet. Das eingebettete System 1 umfasst eine anwendungsspezifische Hardwareeinheit 2, die konfiguriert ist, Signale oder Daten eines Umfeldwahrnehmungs- systems 30 des Fahrzeuges 10 einzulesen, zu verarbeiten und Signalausgabeeinheiten 3, 4, 5 anzusteuern. Die Ansteuerung der Signalausgabeeinheiten 3, 4, 5 erfolgt adaptiert an Gefahrenbewertungen 6 von Verkehrsteilnehmern 20 in spezifischen Verkehrsszenarien 7. Die anwendungsspezifische Hardwareeinheit ist beispielsweise ein application specific integrated circuit. Die Signalausgabeeinheit 3 ist ein Lautsprecher oder ein Array von Lautsprechern 3 und stellt beispielsweise Warntöne an den Verkehrsteilnehmer 20 bereit. Die Signalausgabeeinheit 4 ist eine Lichtprojektionseinheit oder ein Array von Lichtprojektionseinheiten 4. Die Lichtprojektionseinheit 4 projiziert beispielsweise Warnsymbole auf eine Fahrbahnoberfläche 21 , beispielsweise eine Straße. Die Signalausgabeeinheit 5 ist eine Leuchteinheit oder ein Array von Leuchteinheiten 5 und stellt beispielsweise Lichtsignale an den Verkehrsteilnehmer 20 bereit. Das Umfeldwahrnehmungssystem 30 erkennt und verarbeitet den Verkehrsteilnehmer 20 und dessen auf die Signalausgaben des eingebetteten Systems 1 angepassten Verhaltensweisen in dem Verkehrsszenario 7 und stellt diese einer anwendungsspezifische Hardwareeinheit 31 des Umfeldwahrnehmungssystems 30 bereit. Die anwendungsspezifische Hardwareeinheit 31 bestimmt eine Gefahrenbewertung 6 für den Verkehrsteilnehmer 20. Basierend auf dieser Gefahrenbewertung adaptiert die anwendungsspezifische Hardwareeinheit 2 des eingebetteten Systems 1 die Signalausgaben.
Das Fahrsystem 10 umfasst ein zentrale elektronisches Steuergerät AD ECU für autonomous driving Funktionalitäten. Das Steuergerät AD ECU liest die Auswertungen der anwendungsspezifische Hardwareeinheit 31 des Umfeldwahrnehmungssystems 30 als Signale ein und bestimmt Regelungs- und/oder Steuerungssignale für Aktuatoren zur Längs- und/oder Quersteuerung des Fahrzeuges 10.
Ferner umfasst das Fahrsystem 10 oder das eingebettete System 1 eine dritte Schnittstelle 33, die als eine vehicle to everything Kommunikationsschnittstelle ausgebildet sein kann und über die das erfindungsgemäße Datenträgersignal empfangen werden kann.
Der Betrieb des eingebetteten Systems 1 oder des Fahrsystems 10 erfolgt in den in Fig. 2 dargestellten Betriebsstufen BS1 -BS5 in Abhängigkeit der bestimmten Gefahrenbewertung 6. Mit steigender Gefahrenbewertung 6 lauten die Betriebsstufen:
• BS1 : während des Betriebs des Fahrzeuges 10 aktiv, Basisstufe;
• BS2: aktiviert in unübersichtlichen Verkehrsszenarien 7 und/oder in Verkehrsszenarien 7 mit relativ hohem Verkehrsaufkommen, wobei im Vergleich zur ersten Betriebsstufe BS1 die visuellen Signale 9 mit größerer Intensität und/oder unterschiedlichen Formen und/oder Farben ausgegeben werden und/oder die auditiven Signale 8 mit größerer Lautstärke und/oder in einem unterschiedlichen Frequenzspektrum ausgegeben werden;
• BS3: im Vergleich zur zweiten Betriebsstufe BS2 aktiviert bei steigender Gefahrenbewertung, wobei im Vergleich zur zweiten Betriebsstufe BS2 die visuellen Signale 9 verstärkt ausgegeben werden und/oder die auditiven Signale 8 mit größerer Lautstärke und/oder als spezifische Töne oder sprachliche Kommandos ausgegeben werden;
• BS4: aktiviert bei unmittelbaren Warnung von Verkehrsteilnehmern 20 vor einer bevorstehenden Kollision, wobei die Signalausgabe maximiert werden;
• BS5: aktiviert im Falle eines besonderen Ereignisses umfassend einen zumindest teilweisen Ausfall eines Systems des Fahrzeuges 10, extremes Wetter oder unerwartetes Verhalten anderer Verkehrsteilnehmer 20 umfassend Geisterfahrer, oder direkt nach einem Unfall.
Fig. 3 zeigt schematisch die Verfahrensschritte. In einem Verfahrensschritt V1 erhält das Umfeldwahrnehmungssystem 30 Objekterkennungen 20, 21 . In einem Verfahrensschritt V2 bestimmt die anwendungsspezifische Hardwareeinheit 31 des Umfeldwahrnehmungssystems 30 Verkehrsszenarien /basierend auf den Objekterkennungen. Außerdem bestimmt die anwendungsspezifische Hardwareeinheit 31 Gefahrenbewertungen 6 pro erkanntem Verkehrsteilnehmer 20 in den bestimmten Verkehrsszenarien 7. In einem Verfahrensschritt V3 adaptiert eine anwendungsspezifische Hardwareeinheit 2 des eingebetteten System 1 Signalausgaben an die bestimmten Gefahrenbewertungen 6. Dies umfasst ein Ausgeben von spezifischen Lichtprojektionen, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen und/oder mit spezifischer Lautstärke basierend auf einer jeweiligen der bestimmten Gefahrenbewertung 6. In einem Verfahrensschritt V4 steuert die anwendungsspezifische Hardwareeinheit 2 die Signalausgabeeinheiten 3, 4, 5 des Fahrzeuges 10 basierend auf der Adaption. Die Signalausgabeeinheiten 3, 4, 5 geben die Signale 8, 9 entsprechend aus.
Bezugszeichen
1 eingebettetes System
2 anwendungsspezifische Hardwareeinheit
3 Lautsprecher
4 Lichtprojektionseinheit
5 Leuchteinheit
6 Gefahrenbewertung
7 Verkehrsszenario
8 auditives Signal
9 visuelles Signal
10 Fahrzeug, Fahrsystem
20 Verkehrsteilnehmer
21 Fahrbahnoberfläche
30 Umfeldwahrnehmungssystem
31 anwendungsspezifische Hardwareeinheit
32 AD ECU
33 dritte Schnittstelle
BS 1 -BS5 Betriebsstufen
V1 -V4 Verfahrensschritte

Claims

Patentansprüche
1. Verfahren zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend die Schritte
• Erhalten von Objekterkennungen (20, 21 ) eines Umfeldwahrnehmungssys- tems (30) des Fahrzeuges (10) (V1 );
• Bestimmen von Verkehrsszenarien (7) basierend auf den Objekterkennungen (20,21 ) und Bestimmen von Gefahrenbewertungen (6) pro erkanntem Verkehrsteilnehmer (20) in den bestimmten Verkehrsszenarien (7) durch Ausführen von Befehlen wenigstens eines Computerprogramms zur Umfeldwahrneh- mung durch eine anwendungsspezifische Hardwareeinheit (31 ) des Umfeld- wahrnehmungssystems (30) (V2);
• Adaptieren von Signalausgaben an die bestimmten Gefahrenbewertungen (6) umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahren bewertung (6) (V3);
• Ansteuern von Signalausgabeeinheiten (3, 4, 5) des Fahrzeuges (10) basierend auf der Adaption und Ausgeben der Signale (8, 9) mittels der Signalausgabeeinheiten (3, 4, 5) (V4).
2. Verfahren nach Anspruch 1 , wobei die Adaption der Signalausgaben, das Ansteu- ern der Signalausgabeeinheiten (3, 4, 5) und/oder das Ausgeben der Signale (8, 9) in Betriebsstufen (BS1-BS5) erfolgt zur Eskalation der Signalausgaben umfassend
• eine erste Betriebsstufe (BS1 ), die während des Betriebs des Fahrzeuges (10) aktiv ist;
• eine zweite Betriebsstufe (BS2), die in unübersichtlichen Verkehrsszenarien (7) und/oder in Verkehrsszenarien (7) mit relativ hohem Verkehrsaufkommen aktiviert wird, wobei im Vergleich zur ersten Betriebsstufe (BS1 ) die visuellen Signale (9) mit größerer Intensität und/oder unterschiedlichen Formen und/oder Farben ausgegeben werden und/oder die auditiven Signale (8) mit größerer Lautstärke und/oder in einem unterschiedlichen Frequenzspektrum ausgegeben werden;
• eine dritte Betriebsstufe (BS3), die im Vergleich zur zweiten Betriebsstufe (BS2) bei steigender Gefahrenbewertung aktiviert wird, wobei im Vergleich zur zweiten Betriebsstufe (BS2) die visuellen Signale (9) verstärkt ausgegeben werden und/oder die auditiven Signale (8) mit größerer Lautstärke und/oder als spezifische Töne oder sprachliche Kommandos ausgegeben werden;
• eine vierte Betriebsstufe (BS4), die zur unmittelbaren Warnung von Verkehrsteilnehmern (20) vor einer bevorstehenden Kollision aktiviert wird, wobei die Signalausgabe maximiert werden;
• eine fünfte Betriebsstufe (BS5), die im Falle eines besonderen Ereignisses, umfassend einen zumindest teilweisen Ausfall eines Systems des Fahrzeuges (10), extremes Wetter oder unerwartetes Verhalten anderer Verkehrsteilnehmer (20), oder direkt nach einem Unfall aktiviert wird.
3. Computerprogramm zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend Befehle, die ein eingebettetes System (1 ) des Fahrzeuges (10) veranlassen, die Schritte des Verfahrens nach Anspruch 1 oder 2 auszuführen, wenn das Computerprogramm von dem eingebetteten System (1 ) ausgeführt wird.
4. Computerlesbarer Datenträger, auf dem das Computerprogramm nach Anspruch 3 gespeichert ist.
5. Datenträgersignal, das das Computerprogramm nach Anspruch 3 überträgt.
6. Eingebettetes System (1 ) zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8,9) umfassend
• eine erste Schnittstelle zu einem Umfeldwahrnehmungssystem (30) des Fahrzeuges (10), über die das eingebettete System (1 ) Objekterkennungen des Umfeldwahrnehmungssystems (30) erhält;
• eine anwendungsspezifische Hardwareeinheit (2), die in einem Betrieb des eingebetteten Systems (1 ) die Objekterkennungen einliest, basierend auf den Objekterkennungen Verkehrsszenarien (7) bestimmt und in den bestimmten Verkehrsszenarien (7) Gefahrenbewertungen (6) pro erkanntem Verkehrsteilnehmer (20) bestimmt;
• wobei die anwendungsspezifische Hardwareeinheit (2) eine Signalausgabe an die bestimmten Gefahrenbewertungen (6) adaptiert umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung (6) und entsprechende Regel- und/oder Steuerungssignale bereitstellt;
• eine zweite Schnittstelle zu Signalausgabeeinheiten (3, 4, 5) des Fahrzeuges (10), über die das eingebettete System (1 ) die Signalausgabeeinheiten (3, 4, 5) basierend auf der Adaption regelt und/oder steuert.
7. Eingebettetes System (1 ) nach Anspruch 6, wobei der Betrieb der anwendungsspezifischen Hardwareeinheit (2) in Betriebsstufen (BS1-BS5) erfolgt gemäß Anspruch 2.
8. Eingebettetes System (1 ) nach Anspruch 6 oder 7, umfassend eine dritte Schnittstelle (33), über die der computerlesbare Datenträger nach Anspruch 4 einlesbar ist oder über die das Datenträgersignal nach Anspruch 5 empfangbar und prozessierbar ist.
9. Eingebettetes System (1 ) nach einem der Ansprüche 6 bis 8, ausgeführt, über die erste Schnittstelle dem Umfeldwahrnehmungssystem (30) einen Zustand der anwendungsspezifischen Hardwareeinheit (2) bereitzustellen.
10. Fahrsystem zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend ein Umfeldwahrnehmungssystem (30), ein mit dem Umfeldwahrnehmungssystem (30) in Signalaustausch stehendes eingebettetes System (1 ) nach einem der Ansprüche 6 bis 9 und mit dem eingebetteten System (1 ) in Signalaustausch stehende Signalausgabeeinheiten (3, 4, 5) umfassend wenigstens eine Lichtprojektionseinheit (4), wenigstens eine Leuchteinheit (5) und/oder wenigstens einen Lautsprecher (3).
PCT/EP2022/071076 2021-08-04 2022-07-27 Verfahren, computerprogramm, eingebettetes system und fahrsystem zur kommunikation eines fahrzeuges mit verkehrsteilnehmern WO2023012009A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021208422.2 2021-08-04
DE102021208422.2A DE102021208422A1 (de) 2021-08-04 2021-08-04 Verfahren, Computerprogramm, eingebettetes System und Fahrsystem zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern

Publications (1)

Publication Number Publication Date
WO2023012009A1 true WO2023012009A1 (de) 2023-02-09

Family

ID=83049998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/071076 WO2023012009A1 (de) 2021-08-04 2022-07-27 Verfahren, computerprogramm, eingebettetes system und fahrsystem zur kommunikation eines fahrzeuges mit verkehrsteilnehmern

Country Status (2)

Country Link
DE (1) DE102021208422A1 (de)
WO (1) WO2023012009A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022210916A1 (de) 2022-10-17 2024-04-18 Zf Friedrichshafen Ag Warnung bei unmittelbar bevorstehendem Unfall

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175012A1 (en) * 2006-11-17 2008-07-24 Kabushiki Kaisha Toyota Chuo Kenkyusho Alerting illumination device
DE102013217057A1 (de) * 2012-08-31 2014-03-06 Denso Corporation Fussgängerunterrichtungsvorrichtung
US20150145701A1 (en) * 2010-07-27 2015-05-28 Ryan P. Beggs Methods and apparatus to detect and warn proximate entities of interest
US20170120804A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
EP3216653A1 (de) * 2016-03-10 2017-09-13 Panasonic Intellectual Property Corporation of America Vorrichtung zur präsentation eines ergebnisses der erkennung eines erkennungsziels
DE102017217256A1 (de) 2017-09-28 2019-03-28 Zf Friedrichshafen Ag Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug
US20210031681A1 (en) * 2019-07-29 2021-02-04 Waymo Llc Maintaining road safety when there is a disabled autonomous vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014226254A1 (de) 2014-12-17 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben eines insbesondere autonom oder teilautonom fahrenden/fahrbaren Kraftfahrzeugs, Signalisierungsvorrichtung, Kraftfahrzeug
US10134280B1 (en) 2016-02-23 2018-11-20 Taehyun You Vehicular notifications
AT15827U1 (de) 2016-07-07 2018-07-15 Zkw Group Gmbh Beleuchtungssystem zur Kommunikation zwischen autonomen Fahrzeugen und anderen Verkehrsteilnehmern
CN107839797A (zh) 2016-09-20 2018-03-27 福特环球技术公司 自行车安全禁区系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175012A1 (en) * 2006-11-17 2008-07-24 Kabushiki Kaisha Toyota Chuo Kenkyusho Alerting illumination device
US20150145701A1 (en) * 2010-07-27 2015-05-28 Ryan P. Beggs Methods and apparatus to detect and warn proximate entities of interest
DE102013217057A1 (de) * 2012-08-31 2014-03-06 Denso Corporation Fussgängerunterrichtungsvorrichtung
US20170120804A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
EP3216653A1 (de) * 2016-03-10 2017-09-13 Panasonic Intellectual Property Corporation of America Vorrichtung zur präsentation eines ergebnisses der erkennung eines erkennungsziels
DE102017217256A1 (de) 2017-09-28 2019-03-28 Zf Friedrichshafen Ag Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug
US20210031681A1 (en) * 2019-07-29 2021-02-04 Waymo Llc Maintaining road safety when there is a disabled autonomous vehicle

Also Published As

Publication number Publication date
DE102021208422A1 (de) 2023-02-09

Similar Documents

Publication Publication Date Title
DE102012213312B4 (de) System und Verfahren für das Bereitstellen einer Warnung für Fußgänger, wobei ein Laserstrahl benutzt wird
DE102015210781A1 (de) Verfahren und Steuereinheit zur Kommunikation zwischen einem autonomen Fahrzeug und einem Verkehrsteilnehmer
DE102015116280B4 (de) Fahrzeuginformation-Präsentationseinrichtung
DE102013226336A1 (de) Kommunikation zwischen autonomen Fahrzeugen und Menschen
DE102014226188A1 (de) Kommunikation zwischen einem Fahrzeug und einem Verkehrsteilnehmer im Umfeld des Fahrzeugs
WO2013045374A1 (de) Verfahren zur rechnergestützten verarbeitung des nahfeldes eines fahrzeugs
DE102014223881B4 (de) Warnsystem für ein Fahrzeug, Verfahren zum Betreiben eines Warnsystems
DE102019208663B4 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102015225409A1 (de) Steuereinheit und Verfahren zur Abgrenzung von Bewegungsbereichen
DE102006008981A1 (de) Assistenzsystem zur Unterstützung eines Fahrers
EP3083332B1 (de) System und verfahren zum augensicheren steuern eines fahrzeugscheinwerfers
EP3390155A1 (de) System und verfahren zur objektbasierten ansteuerung eines hochauflösenden scheinwerfers für ein kraftfahrzeug
DE102010025351A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
WO2018162221A1 (de) Kraftfahrzeug mit einem beleuchtungsmodul zur generierung einer symbolik
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102018213230A1 (de) Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
DE102011081360A1 (de) Verfahren zur Steuerung einer Lichtaussendung eines Scheinwerfers eines Fahrzeugs
DE102012023630A1 (de) Verfahren zur Information eines Fahrzeugführers hinsichtlich eines von einem auf Umgebungsdaten basierten Fahrerassistenzsystems eines Fahrzeugs ausgeführten automatischen Fahrmanövers
DE102018128634A1 (de) Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
WO2023012009A1 (de) Verfahren, computerprogramm, eingebettetes system und fahrsystem zur kommunikation eines fahrzeuges mit verkehrsteilnehmern
DE102017223439A1 (de) Warnvorrichtung vor Gefahrensituationen für ein Kraftfahrzeug
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE102014226187A1 (de) Kommunikation mittels eines Luftstoßes
DE102021108405A1 (de) Fahrerassistenzsystem
DE102018116067A1 (de) Verfahren zur Unterstützung eines Fahrzeugführers sowie Assistenzeinrichtung, Fahrzeug, Computerprogramm und System hierzu

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22758166

Country of ref document: EP

Kind code of ref document: A1