WO2013045418A1 - Fahrzeug mit einer vorrichtung zur beeinflussung der aufmerksamkeit des fahrers und zur ermittlung der blickrichtung des fahrers - Google Patents

Fahrzeug mit einer vorrichtung zur beeinflussung der aufmerksamkeit des fahrers und zur ermittlung der blickrichtung des fahrers Download PDF

Info

Publication number
WO2013045418A1
WO2013045418A1 PCT/EP2012/068821 EP2012068821W WO2013045418A1 WO 2013045418 A1 WO2013045418 A1 WO 2013045418A1 EP 2012068821 W EP2012068821 W EP 2012068821W WO 2013045418 A1 WO2013045418 A1 WO 2013045418A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driver
unit
arithmetic unit
probability
Prior art date
Application number
PCT/EP2012/068821
Other languages
English (en)
French (fr)
Inventor
Lutz Lorenz
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to CN201280047590.2A priority Critical patent/CN103858153B/zh
Publication of WO2013045418A1 publication Critical patent/WO2013045418A1/de
Priority to US14/228,870 priority patent/US9099002B2/en

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Definitions

  • the invention relates to a vehicle having a device for influencing the driver's attention, wherein the vehicle comprises a display unit for displaying information content, the vehicle has a central control unit associated with the display unit, the vehicle via a means for detecting a danger in the road and over has a means for issuing a warning of a detected hazard.
  • Modern vehicles increasingly include numerous display and
  • a central display unit which is often located substantially centrally in the dashboard and possibly the driver is slightly facing, information content is displayed. This may be technical information, navigation instructions or entertainment content.
  • a central operating unit which is often located substantially in the center console and possibly in the vicinity of the vehicle
  • Gear selector is placed, selectable. An operator input at the central
  • Operating unit can be activated by turning or pressing a control switch or by touching a contact surface e.g. a touchpad.
  • An operator input may be on the
  • Output system be followed optically.
  • driver assistance systems can focus on the driver's view of the traffic situation, especially in the event of an imminent danger.
  • the driver assistance system determines a danger in the traffic situation and outputs an alert signal in an imminent dangerous traffic situation in a suitable manner. This can be done optically and / or acoustically and / or haptically.
  • a warning is particularly useful when a driver in an imminent danger and in the operation of the control unit with a possible Mahzuengine for Display unit the level of driver's attention in time before entering a
  • the document DE 10 2008 056 343 A1 describes a warning system which cognitively takes into account the driver's attention-seeking operator actions. It is an object of the invention to provide an alternative vehicle with a device for
  • the vehicle has an arithmetic unit, which during a
  • Operating sequence and at a point of view determines the probability of a glance of the driver in the direction of the display unit and which takes into account the interaction of the driver with the vehicle to determine the viewing probability. Furthermore, the output of the warning is dependent on the determined viewing probability.
  • An operating sequence is given by a (temporal) sequence of operator inputs to the central operating unit.
  • the probability of view is to be understood with which probability the driver's gaze is aimed at the display unit.
  • the advantage of the invention is that a view of the driver on the display unit can be determined with a certain degree of accuracy, without a camera system detecting the driver with downstream image processing and expensive
  • Image recognition methods is used.
  • the arithmetic unit executes a pattern recognition algorithm for determining the viewing probability and, when performing the pattern recognition algorithm, takes into account a value of at least one input parameter, outputs a value of the viewing probability as
  • the view likelihood value reflects the likelihood that the driver's gaze is directed to the viewing unit at the viewing time. If a high probability of view value is transmitted to the means for issuing a warning, hereinafter referred to as warning system, and the vehicle recognizes or already recognizes an imminent danger in traffic (such as a slow-moving vehicle) at the time, ie at the moment of sight has, the warning system may issue an audible and / or visual and / or haptic warning.
  • a probability table is stored in the arithmetic unit for the at least one input parameter, which correlates a value of the input parameter with a visual probability value. This probability table of the at least one input parameter takes into account the arithmetic unit in the execution of the
  • a probability table can be stored in the arithmetic unit, which can be designed as a control unit.
  • the correlation between a value of the input parameter with a view probability value can be determined in the development of the vehicle. For this purpose, for example, experiments with subjects on driving simulators, in which the gaze of the subject is permanently detectable, are performed. The quality of the correlation depends in particular on the number of subjects.
  • the vehicle has a measuring means for measuring the accelerator pedal position.
  • the measuring means transmits the measured position of the accelerator pedal as a function of time to the arithmetic unit.
  • the arithmetic unit further calculates an accelerator pedal gradient which describes the time change of the accelerator pedal position, and takes into account the accelerator gradient as an input parameter in the execution of the pattern recognition algorithm.
  • the accelerator gradient may be a particularly suitable input parameter for the pattern recognition algorithm, the particular suitability of the parameter being given by a strong correlation with the driver's line of sight. For example, a high accelerator pedal gradient at the moment of bumping indicates a high degree of driver interaction with the vehicle's pedals. In this case, the driver's view is high
  • the vehicle has a measuring means for measuring the brake pedal pitch.
  • the measuring device transmits the
  • the arithmetic unit takes into account the brake pedal gradient as an input parameter when executing the pattern recognition algorithm
  • the brake pedal gradient may be a particularly suitable input parameter for the pattern recognition algorithm, the particular suitability of the parameter being given by a strong correlation with the driver's line of sight.
  • a high brake pedal gradient at the point of view means a high degree of driver interaction with the vehicle's pedals, in which case the driver's gaze is highly likely to focus heavily on the traffic and not to the display unit.
  • the vehicle has a measuring means for measuring the steering angle, wherein the measuring means transmits the measured steering angle as a function of time to the arithmetic unit. From the steering angle-time curve, the arithmetic unit calculates a steering angle number which is the number of
  • the arithmetic unit takes into account the steering angle number as an input parameter in the execution of the pattern recognition algorithm.
  • the steering angle number may be a suitable input parameter for the pattern recognition algorithm, the suitability of the parameter being given by a strong correlation with the driver's line of sight.
  • a high steering angle number at the point of view indicates a high steering activity of the driver. In this case, the driver's gaze is most likely not aimed at the display unit.
  • the operating unit has a rotation input mechanism, if the operating unit measures a rotation pause duration which describes the time period between the most recent rotation operation input and the point of view, and if
  • Operating unit transmitted the Drehpausendauer to the arithmetic unit.
  • the arithmetic unit considers the rotation pause duration as
  • the rotation pause duration may be a particularly suitable input parameter for the pattern recognition algorithm, the suitability of the parameter being given by a strong correlation with the line of sight of the driver.
  • a short rotation pause duration at the point of view which is comfortable with a high frequency of operator inputs, suggests that the point of view lies within an operating sequence and the driver's gaze is most likely directed towards the display unit.
  • the operating unit has a pressure input mechanism, wherein the operating unit measures a pressure pause duration which describes the period between the most recent print operation input and the time of gaze.
  • the operating unit transmits the printing pause duration to the arithmetic unit.
  • the arithmetic unit takes into account the pressure pause duration as an input parameter in the execution of the pattern recognition algorithm.
  • the Drehpausendauer can be a particularly suitable input parameter for the
  • Pattern recognition algorithm the suitability of the parameter is given by a strong correlation with the line of sight of the driver.
  • a short pressure pause at the point of view indicates that the point of view lies within a sequence of operations and the driver's gaze is very likely to be directed towards the display unit.
  • Touch input mechanism has and the control unit measures a Berckenpausendauer. This describes the period between the most recent touch operation input and the
  • the operating unit transmits the contact pause duration to the arithmetic unit and the arithmetic unit takes into account the contact pause duration as an input parameter when the pattern recognition algorithm is executed.
  • the Bervolutionndauer can be a suitable input parameter for the
  • Touch pause duration at the point of view indicates that the point of view lies within a control sequence.
  • the driver's gaze is likely to be directed to the display unit.
  • a vehicle may have a central display unit and a central control element. About the central display unit information can be provided to the driver. The vehicle also provides a user with various functions such as
  • Navigation or entertainment functions are available, which can be operated with the central operating unit as an input system. Individual operator inputs can be visually tracked on the display unit by changing the display of the output system associated with the operator input.
  • An operator input to the central control unit can be done by turning or pressing a control switch or by touching control elements. If the operation is performed by the driver of the vehicle, the operation can at least partially
  • the operation of the central control unit is referred to as a secondary task, the necessary for the driving of the vehicle activities of the
  • Drivers such as steering movements, shifts and pedal operation are referred to as a primary task.
  • Previous driver assistance systems take into account as part of a warning strategy risks from the immediate vicinity of the vehicle such as pedestrians or slow-moving vehicles.
  • the driver's perspective is not included. In particular, it is not recorded whether the driver at the time of detection of an imminent
  • a warning signal directed to the driver is in terms of the nature of the warning signal (optical signal, acoustic signal, haptic signal), the intensity (volume, brightness, frequency) and the warning period, ie at which time interval to the entrance of the vehicle enters the danger zone Warning is given, regardless of the driver's point of view, to assist the driver in focusing the driver's utmost attention on the primary task. Therefore, it is proposed to estimate the direction of the driver's gaze with respect to the display unit based on operator inputs on the central control unit and on the interactivity of the driver with the vehicle. At an estimate that with high
  • a vehicle has a central display unit, which in particular provides information to the driver of the vehicle. This information relates, for example, to navigation or entertainment functions, the presentation is essentially visual. Furthermore, the vehicle has a central operating element, by which various functions are made available to the user. The function is operated via the central operating unit as an input system. A single Bodieneinga e can be optically traced on the display unit by a change of the display of the output system associated with the operator input.
  • There is an intuitive operability of the control unit in order not to adversely affect the attention of the driver during a time sequence of operator inputs, which form an operating sequence. The intuitive operation is supported by a haptic feedback from the control unit, for example in the form of
  • the vehicle is also equipped with an assistance system that detects dangers and / or potential hazards in a traffic situation (hazard detection system).
  • hazard detection system e.g., a vehicle hazard detection system
  • the driver is warned by a suitable warning signal.
  • the type of warning signal optical and / or acoustic and / or haptic
  • a warning signal for example, the volume of an acoustic signal
  • the time at which the warning signal starts before the imminent danger can be part of the warning strategy.
  • Danger detection system is an important input for the warning strategy. For example, a warning of a danger at a side facing away from the road ahead of time and / or clearly perceptible than with a full view of the roadway. Based on the interaction of the driver with the vehicle, it can be estimated according to this embodiment whether the driver's gaze is likely to be directed to the display unit. If the driver's gaze is directed at the display unit, the driver's gaze is at least limited to the roadway at this time. If a hazard is detected by the hazard detection system at this time or an existing hazard has been detected at an earlier point in time, the warning strategy appropriately adjusts the warning signal. For example, the warning may start earlier.
  • the vehicle has a computer unit for executing the pattern recognition algorithm.
  • the pattern recognition algorithm has a plurality of input parameters applied to the
  • One parameter is, for example, the rotational pause duration of the operating unit when the operating unit allows operating inputs by turning a switching element or switching unit.
  • the operating unit measures the rotation pause duration as the time period between the last rotation input on the operating unit and a reference time at which the value of the rotation pause duration is determined by the operating unit and sent to the computer unit for initializing and executing the operation
  • a small value of the parameter Pivoting Pause at Reference Time means that a rotation input occurred shortly before the reference time. This is at least given a certain probability that the driver's gaze is related to the operation of the control unit just before done and is therefore directed to the display unit.
  • the printing unit correspondingly detects and transmits a printing pause duration when the operating unit comprises operating inputs by pressing a switching element or a writing unit.
  • a contact pause duration determined in an analogous manner is transmitted to the arithmetic unit when the operating unit allows operator inputs by touching sensitive areas such as a touchpad.
  • the steering angle can be measured in time-resolved manner and transmitted to the arithmetic unit.
  • the course of the steering angle in a predetermined time window which ends with the reference time, calculates the arithmetic unit, the number of turning points of the steering angle in the time window.
  • This steering angle number serves as the input parameter for the pattern recognition algorithm.
  • a high steering angle number is synonymous with frequent steering maneuvers and is highly correlated to a high degree
  • Another input parameter for the pattern recognition algorithm is the
  • Accelerator gradient at reference time The position of the accelerator pedal (accelerator pedal angle) can be determined in a time-resolved manner by means of a suitable measuring device in the vehicle.
  • the course of the accelerator pedal position in a predetermined time window, which ends with the reference time, is up-sent to the arithmetic unit.
  • the arithmetic unit calculates in the time window the number of accelerator pedal strokes, i. the number of turning points of the accelerator pedal angle. This number can be referred to as accelerator stroke number.
  • a high accelerator stroke is synonymous with a high degree of driver interaction with the vehicle's pedals.
  • the Gaspedaihubzahi and / or the accelerator gradient serve as input parameters for the ustererkennungsaigorithmus.
  • a brake pedal stroke number and / or a brake pedal gradient can be determined by the arithmetic unit. Prerequisite is a transmission of the measured
  • a high brake pedal gradient indicates a violent braking intervention at the reference time. That is why with high Probability to assume that at this moment, the reference time, the driver's gaze is most likely not aimed at the display unit.
  • the 305 brake pedal stroke rate and / or the brake pedal gradient serve as input parameters for the pattern recognition algorithm.
  • the pattern recognition algorithm determines the viewing probability with which the driver's view of the display unit takes place at the reference time. The algorithm gives you one
  • Input parameters of the algorithm are described above.
  • the algorithm is executable at arbitrary reference times, e.g. at regular intervals or at the time of detection of a hazard by the hazard detection system. This moment can then serve as reference time of the algorithm.
  • the output from the algorithm is described above.
  • Likelihood value is transmitted from the computing unit to the hazard detection system and serves as an input to the warning strategy of the hazard detection system.
  • the pattern recognition algorithm may be based on different pattern recognition algorithms.
  • An example method for determining conditional dependencies between variables here 320 between the viewing probability and the input parameters is a
  • Bayesian network An algorithm based on the principle of neural networks, a fuzzy logic or a priori rules may also be considered. Without limitation of
  • the training of the Bayesian network takes place for example on the basis of driving simulator data.
  • Each probability table forms a network node in the Bayes' network. This database is used to teach and test the Bayesian network in vehicle development. This trained Bayesian network is on the computing unit
  • the execution of the Bayesian network algorithm consists in the determination of the gaze probability value on the basis of the values of the input parameters at the reference time according to equation 1:
  • P (display) P (view) ⁇ P (BIickj turn duration) ⁇ P (view
  • Equation 1 e.g. the factor P (Blickj turning pause duration) for a node probability world in Bayesian
  • 0.29-0.35) 0.043.
  • the factor P (Bllck) stands for the probability that the driver's gaze is directed at the display unit, irrespective of the parameters "rotational pause duration”, “pressure pause duration”, “accelerator pedal gradient”, “brake pedal gradient” and “steering angle number”.
  • the Bayesian network may also have branched nodes.
  • multi-dimensional probability tables are deposited, with an additional branch corresponding to an additional dimension in the table.
  • an interaction order of the driver can be taken into account in a branched structure. This means that the algorithm is used in determining the
  • the expressiveness of the algorithm for gaze probability determination ⁇ eye estimate) can be further increased, if in the execution of the algorithm also behavior patterns of a Riders are taken into account when interacting with the vehicle.
  • the sequence of operator inputs ie an operating sequence, can be used, for example, to deduce how speedily an operator task (eg input of a navigation target) is achieved.
  • Vehicle development can be determined, for example, whether an operating task, for example, quickly or slowly or directly in a menu tree or detours in a menu is accessible. If the subject's gaze is recorded during the operating task with a camera system, the recorded data can be used to expand and teach the algorithm so that the algorithm assigns the operator to a group of operating classes. An operator is then assigned by the learned algorithm without a camera system in the vehicle and only due to the characteristics of an operating sequence in the vehicle with a certain probability of an operator group.
  • Affiliation of the driver for example by the vehicle key, by a
  • Speech input system or recognizable by a fingerprint input system can also be used as a node, i. E., In the further execution of the Bayesian network algorithm.
  • Weighting factor are taken into account.
  • Pattern recognition algorithm without a driver recording camera system can be given a probability with which the driver's gaze at a certain time on the display unit. This probability can be used to adapt the warning strategy of an in-vehicle hazard detection assistant.
  • the proposed solution can be implemented in a production vehicle without the integration of hard-line peripherals, in particular without the integration of an interior camera system, if the algorithm is for example installed on an existing control unit is executable and the vehicle already has the (usual and otherwise used in the vehicle) measuring means of the input parameters, especially in mass production, thereby the cost of development costs are overcompensated with a simulating the large number of production vehicles driving simulators.
  • the following is the algorithms for the enhancement and supplementation of the algorithm for detecting a behavior pattern of the operator with respect to the operating and
  • a vehicle may have a central display unit and a central control unit. About the central display unit information can be provided to the driver. The vehicle also provides a user with various functions such as
  • Navigation or entertainment functions are available, which can be operated with the central operating unit as an input system. Individual operator inputs can be visually tracked on the display unit by changing the display of the output system associated with the operator input.
  • An operator input to the central control unit can be done by turning or pressing a control switch or by touching control elements. If the operation is performed by the driver of the vehicle, the operation requires at least the partial attention of the driver.
  • the operation of the central operating unit is called
  • a warning signal directed to the driver is in terms of the nature of the warning signal (visual signal, acoustic signal, haptic signal), the intensity (volume, brightness, frequency) and the warning time, i. at which time interval to the entrance of the vehicle in the
  • Hazardous area occurs the warning takes place, regardless of the state of attention of the Driver to assist the driver to turn the full attention of the primary task.
  • the driver's attention can be estimated on the basis of operator inputs on the central operating unit and on the basis of the driving behavior or a driving situation.
  • characteristics of the warning signal are adjusted to the driver's estimated attention.
  • the vehicle detects an operation of the driver with respect to the operation of the central operation unit, assigns a driver's deflection amount to the operation of the driver, and outputs the warning depending on the deflection amount.
  • the extent to which the driver's gaze is directed at the display unit and away from the traffic situation can be determined without a camera system and with high probability.
  • a warning signal can already be displayed at a particularly early point in time.
  • the vehicle has a control unit or arithmetic unit, of which the period between two operating inputs of a control sequence is measurable.
  • the period between two operator inputs is referred to below as a service break.
  • An operating sequence is given by a sequence of operating inputs to the central operating unit.
  • the operator's gaze may be frequent and long during the sequence of operator inputs
  • the control unit can be used to calculate the mode of operation to calculate an average operating pause.
  • a predetermined characteristic curve is stored in the control unit, which correlates the deflection measure with the average service break, so that the value of the average service break is given a value for the deflection measure by the control unit on the basis of the characteristic curve
  • a relationship determined in vehicle development between the average operating pause and the deflection measure can be stored in the control unit or the arithmetic unit. The allocation is made on the basis of the width of the middle service break. This offers the advantage that a distraction measure of the driver can be determined solely by the operating unit and the control unit. As a result, a cost-effective and simple solution for determining the distraction of the driver is ensured, which manages without a complex camera system with automatic vision detection. Since common display and control units for vehicles already have a control unit, the solution according to the invention is very robust, since they only with little effort for the integration software and
  • the warning may occur earlier and / or the warning may be due to better visibility by the driver
  • the accelerator pedal engagement limit and the brake pedal intervention limit may be stored in the controller or the processor. If in a short time a strong change of one
  • a steering intervention is given by a change in the steering angle with time, wherein the change in the steering angle over time exceeds a Lenkwinkeleingriflsgrenze.
  • the Lenkwinkeleingriflsinho may be stored in the controller or the computing unit. If in a short time a strong change in the steering angle, so that the
  • Steering angle intervention limit is exceeded, ends an operating sequence. It is then assumed that a traffic situation demanding the full attention of the driver has occurred (for example a sharp curve) and a sequence of operator inputs has been temporarily interrupted at least until operator input is continued. The continuation of the operator input justifies a new operating sequence.
  • the interruption threshold value can be stored in the control unit. If, over a period of time greater than the interruption threshold value, it is to be assumed that the user has ended the sequence of operator inputs. This is e.g. then on, if the user has successfully set a specific function, such as another radio station. It can also be stored in the control unit, a threshold indicating a minimum duration for a service break. Only if an operating pause exceeds this value will it contribute to averaging. This is particularly advantageous for rotary switches or switches with a scroll function. Then it is preventable that an indefinite scrolling or turning of the switch is detected, which occurs, for example, especially when the operating unit is "played" and less occurs when a function is to be purposefully set.
  • the vehicle arranges the driver in relation to the operation of the central
  • Control unit of an operating-type class the vehicle over several assignable Operating type classes has.
  • the warning is dependent on the driver type class assigned to the driver.
  • This discontinuous assignment of the deflection measure is particularly useful if the correlation between the deflection measure and the mean service break obtained in the vehicle development has such a high standard deviation that the continuous assignment of the deflection measure justifies false inaccuracy,
  • FIG. 1 shows a relationship between a unit-less deflection measure on the y-axis and an average operating pause of a central operating unit on the x-axis.
  • the correlation according to FIG. 1 is stored in a control device or a computing unit of the vehicle as a look-up characteristic curve.
  • An operating pause is measured according to the period between two operator inputs on the central operating unit within a control sequence.
  • An operating sequence is given by a sequence of operating inputs to the central operating unit and starts by a first operating input.
  • the operating pauses are detected by the control unit and stored at least temporarily.
  • an average of the operating pauses is formed, which is referred to as average operating pause.
  • the control unit assigns a value of the deflection measure to the determined value of the average service pause.
  • the deflection amount (AM) according to the y-axis in Fig. 1 is described with respect to an operation sequence as:
  • FIG. Class 1 shows users who are essentially looking at the road during the operating task.
  • the haptic feedback of the switch or the control surfaces or buttons is sufficient for a user of Class 1 to solve the operating task.
  • a user of the class 1 is characterized by a high operational safety and can be used as "Blind be referred operator *.
  • a class 3 user designated as a "control operator," is distracted by frequent and long control glances at the display unit during operation of the central control unit.
  • the value of the attention measure can be determined with reference to a control sequence.
  • a mean amount of attention for the driver can be determined, wherein several values of the attention level are controlled by the control unit.
  • a deflection measure over several journeys by the control unit is individually for a driver. This may result in the Reflect the value of the distraction that the user acquires a more familiar handling of the display and control unit through a learning effect, so that can lead to a low Abtenkungshack. It is also possible that a value determined by means of a plurality of journeys and operating sequences for the abbreviation for the respective identified driver 810 can be stored in the control unit without newly determining the value for the deflection measure during a later journey.
  • the value of the attention measure serves as an input parameter for the warning system of the vehicle. At a low level of attentiveness by the driver that is
  • warning signal or are the warning signals compared to a higher value of the
  • the volume of a warning tone is increased, the light intensity of a warning lamp or the blinking frequency of a warning light
  • Warning light device increased. Also, the Haitteiamplitude of the steering wheel as known in the prior art of lane change assistance systems can be increased. Besides, it is
  • 620 possible to trigger the warning at a earlier time before reaching the danger zone by the vehicle.
  • An earlier warning can be combined with a clearer warning. This can also be done continuously, with the warning intensity with the
  • the driver's angle of view can also be detected.
  • the warning strategy can then be adapted not only to the driver's driving class, but to a combination of the driver's perception of an imminent danger and the operating class. For example, if a "control operator" at the moment of detection of the danger by the vehicle
  • the warning is to be displayed earlier than in the case of a "blind operator" since the second-named operator is more likely to return the sight to the street in good time and without warning.
  • the information about the assigned operating class is up to the algorithm for calculating the 635 view probability value.
  • the algorithm for assigning the driver to an operating class can also be part of the algorithm for calculating the
  • the information about an operating class is used in the execution of the pattern recognition algorithm for calculating the
  • the control class information may be used to adjust thresholds. Any a-priori rules may be: If the rotation pause duration is a threshold
  • This threshold is e.g. the information "blind operator” is assigned a lower time value than the information "operator on-line”.

Abstract

Fahrzeug, insbesondere Kraftfahrzeug, mit einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers, wobei das Fahrzeug über eine Anzeigeeinheit zur Anzeige von Informationsinhalten verfügt, das Fahrzeug über eine der Anzeigeeinheit zugeordnete zentrale Bedieneinheit verfügt, das Fahrzeug über ein Mittel zur Erfassung einer Gefahr im Straßenverkehr verfügt, und das Fahrzeug über ein Mittel zur Ausgabe einer Warnung vor einer erfassten Gefahr verfügt, und weiterhin das Fahrzeug eine Recheneinheit aufweist, die Recheneinheit während einer Bediensequenz und zu einem Blickzeitpunkt die Blickwahrscheinlichkeit des Fahrers in Richtung der Anzeigeeinheit ermittelt, die Recheneinheit zur Ermittlung der Blickwahrscheinlichkeit die Interaktion des Fahrers mit dem Fahrzeug berücksichtigt, und die Ausgabe der Warnung abhängig von der ermittelten Blickwahrscheinlichkeit erfolgt.

Description

Fahrzeug mit einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers und zur Ermittlung der Blickrichtung des Fahrers
Die Erfindung betrifft ein Fahrzeug mit einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers, wobei das Fahrzeug eine Anzeigeeinheit zur Anzeige von Informationsinhalten umfasst, das Fahrzeug eine der Anzeigeeinheit zugeordnete zentrale Bedieneinheit aufweist, das Fahrzeug über ein Mittel zur Erfassung einer Gefahr im Straßen erkehr und über ein Mittel zur Ausgabe einer Warnung vor einer erfassten Gefahr verfügt. Moderne Fahrzeuge umfassen in zunehmendem Maße zahlreiche Anzeige- und
Bedienmöglichkeiten. Über eine zentrale Anzeigeeinheit, die häufig im Wesentlichen mittig in der Armaturentafel und möglicherweise dem Fahrer leicht zugewandt befindlich ist, werden Informationsinhalte anzeigt. Dies können technische Informationen, Navigationshinweise oder Entertainmentinhalte sein.
Funktionen, die das Fahrzeug dem Nutzer bereitstellt, sind durch eine zentrale Bedieneinheit, die häufig im Wesentlichen in der Mittelkonsole und möglicherweise in der Nähe des
Gangwahlschalters platziert ist, auswählbar. Eine Bedieneingabe an der zentralen
Bedieneinheit kann durch Drehen oder Drücken eines Bedienschalters oder durch Berühren einer Berührfläche z.B. eines Touchpads erfolgen. Eine Bedieneingabe kann auf der
Anzeigeeinheit durch eine der Bedieneingabe zugeordnete Änderung der Anzeige des
Ausgabesystems optisch mitverfolgt werden.
Die Bedienung der Bedieneinheit ist in modernen Fahrzeugen intuitiv und eingängig gestaltet, um die Aufmerksamkeit des Fahrers nicht zu beeinträchtigen und den Fahrer nicht vom Verkehrsgeschehen abzulenken. Ferner können insbesondere bei einer bevorstehenden Gefahr Fahrerassistenzsysteme den Blick des Fahrers auf das Verkehrsgeschehen konzentrieren. Hierzu ermittelt das Fahrerassistenzsystem eine Gefahr im Verkehrsgeschehen und gibt bei einer bevorstehenden gefahrvollen Verkehrssituation ein Warnsignal in geeigneter Weise aus. Dies kann optisch und/oder akustisch und/oder haptisch erfolgen.
Eine Warnung ist insbesondere dann sinnvoll, wenn bei einem Fahrer bei einer bevorstehenden Gefahr und bei der Bedienung der Bedieneinheit mit einer möglichen Blickzuwendung zur Anzeigeeinheit das Maß an Aufmerksamkeit des Fahrers rechtzeitig vor Eintritt einer
Gefahrensituation optimierbar ist.
Aus der Schrift DE 10 2008 056 343 A1 wird ein Warnsystem beschrieben, das kognitiv die Aufmerksamkeit des Fahrers beanspruchende Bedienhandlungen berücksichtigt. Es ist eine Aufgabe der Erfindung, ein alternatives Fahrzeug mit einer Vorrichtung zur
Beeinflussung der Aufmerksamkeit des Fahrers anzugeben.
Gelöst wird diese Aufgabe durch ein Fahrzeug mit einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers gemäß Anspruch 1. Vorteilhafte Ausführungsformen und
Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Erfindungsgemäß weist das Fahrzeug eine Recheneinheit auf, welche während einer
Bediensequenz und zu einem Blickzeitpunkt die Wahrscheinlichkeit eines Blicks des Fahrers in Richtung der Anzeigeeinheit ermittelt und welche zur Ermittlung der Blickwahrscheinlichkeit die Interaktion des Fahrers mit dem Fahrzeug berücksichtigt. Ferner erfolgt die Ausgabe der Warnung abhängig von der ermittelten Blickwahrscheinlichkeit.
Eine Bediensequenz ist durch eine (zeitliche) Abfolge von Bedieneingaben an der zentralen Bedieneinheit gegeben. Unter der Blickwahrscheinlichkeit ist zu verstehen, mit welcher Wahrscheinlichkeit der Blick des Fahrers gezielt auf die Anzeigeeinheit gerichtet ist. Der Vorteil der Erfindung besteht darin, dass ein Blick des Fahrers auf die Anzeigeeinheit mit einem bestimmten Maß an Genauigkeit ermittelbar ist, ohne dass ein den Fahrer erfassendes Kamerasystem mit nachgeschalteter Bildverarbeitung und aufwendigen
Bilderkennungsmethoden zum Einsatz kommt.
Gemäß einer besonders bevorzugten Ausführungsform der vorliegenden Erfindung führt die Recheneinheit einen Mustererkennungsalgorithmus zur Ermittlung der Blickwahrscheinlichkeit aus und berücksichtigt bei der Ausführung des Mustererkennungsalgorithmus einen Wert zumindest eines Eingangsparameters, gibt einen Wert der Blickwahrscheinlichkeit als
Ausgabeparameter aus und übermittelt den Blickwahrscheinlichkeitswert an das Mittel zur Ausgabe einer Warnung. Der Blickwahrscheinlichkeitswert gibt die Wahrscheinlichkeit wieder, mit der der Blick des Fahrers zu dem Blickzeitpunkt auf die Anzeigeeinheit gerichtet ist. Falls ein hoher Blickwahrscheinlichkeitswert an das Mittel zur Ausgabe einer Warnung, das in der Folge als Warnsystem bezeichnet ist, übermittelt wird und das Fahrzeug zu dem Zeitpunkt, d.h. zum Blickzeitpunkt, eine bevorstehende Gefahr im Straßenverkehr (etwa ein langsam vorausfahrendes Fahrzeug) erkennt oder bereits erkannt hat, kann das Warnsystem eine akustische und/oder optische und/oder haptische Warnung ausgeben. Vorzugsweise ist in der Recheneinheit für den zumindest einen Eingangsparameter eine Wahrscheinlichkeitstabelle hinterlegt, die einen Wert des Eingangsparameters mit einem Blickwahrscheinlichkeitswert korreliert. Diese Wahrscheinlichkeitstabelle des zumindest einen Eingangsparameters berücksichtigt die Recheneinheit bei der Ausführung des
Mustererkennungsalgorithmus.
Eine Wahrscheinlichkeitstabelle kann in der Recheneinheit, die als Steuergerät ausgeführt sein kann, gespeichert sein. Die Korrelation zwischen einem Wert des Eingangsparameters mit einem Blickwahrscheinlichkeitswert kann in der Entwicklung des Fahrzeugs ermittelt werden. Hierzu können beispielsweise Versuche mit Probanden an Fahrsimulatoren, bei denen die Blickrichtung des Probanden permanent erfassbar ist, durchgeführt werden. Die Güte der Korrelation ist insbesondere von der Anzahl der Probanden abhängig.
Gemäß einer weiteren Variante verfügt das Fahrzeug über ein Messmittel zur Messung der Gaspedalstellung. Nach dieser Variante übermittelt das Messmittel die gemessene Stellung des Gaspedals in Abhängigkeit von der Zeit an die Recheneinheit. Die Recheneinheit berechnet ferner einen Gaspedalgradienten, welcher die zeitliche Änderung der Gaspedalstellung beschreibt, und berücksichtigt bei der Ausführung des Mustererkennungsalgorithmus den Gaspedalgradienten als Eingangsparameter. Insbesondere der Gaspedalgradient kann ein besonders geeigneter Eingangsparameter für den Mustererkennungsalgorithmus sein, wobei die besondere Eignung des Parameters durch eine starke Korrelation mit der Blickrichtung des Fahrers gegeben ist. Zum Beispiel deutet ein hoher Gaspedalgradient zum Bückzeitpunkt auf ein hohes Maß an Interaktion des Fahrers mit der Pedalerie des Fahrzeugs hin. In diesem Fall ist der Blick des Fahrers mit hoher
Wahrscheinlichkeit nicht auf die Anzeigeeinheit gerichtet. Nach einer bevorzugten Weiterbildung der vorliegenden Erfindung verfügt das Fahrzeug über ein Messmittel zur Messung der Bremspedalsteilung. Das Messmittel übermittelt die
gemessene Stellung des Bremspedals in Abhängigkeit von der Zeit an die Recheneinheit, die 105 Recheneinheit berechnet einen Bremspedalgradienten, welcher die zeitliche Änderung der Bremspedalsteilung beschreibt, und die Recheneinheit berücksichtigt bei der Ausführung des Mustererkennungsalgorithmus den Bremspedalgradienten als Eingangsparameter,
Insbesondere der Bremspedalgradient kann ein besonders geeigneter Eingangsparameter für 110 den Mustererkennungsalgorithmus sein, wobei die besondere Eignung des Parameters durch eine starke Korrelation mit der Blickrichtung des Fahrers gegeben ist. Zum Beispiel bedeutet ein hoher Bremspedalgradient zum Blickzeitpunkt ein hohes Maß an Interaktion des Fahrers mit der Pedalerie des Fahrzeugs, in diesem Fali ist der Blick des Fahrers mit hoher Wahrscheinlichkeit stark auf den Straßenverkehr konzentriert und nicht auf die Anzeigeeinheit gerichtet.
115
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung verfügt das Fahrzeug über ein Messmittel zur Messung des Lenkwinkels, wobei das Messmittel den gemessenen Lenkwinkel in Abhängigkeit von der Zeit an die Recheneinheit übermittelt. Aus dem Lenkwinkel- Zeit-Verlauf berechnet die Recheneinheit eine Lenkwinkelzahl, welche die Anzahl von
120 Lenkwinkelwendepunkten in einem vorgegebenen Zeitraum beschreibt. Weiterhin berücksichtigt die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus die Lenkwinkelzahl als Eingangsparameter.
Insbesondere die Lenkwinkelzahl kann ein geeigneter Eingangsparameter für den 125 Mustererkennungsalgorithmus sein, wobei die Eignung des Parameters durch eine starke Korrelation mit der Blickrichtung des Fahrers gegeben ist. Zum Beispiel deutet eine hohe Lenkwinkelzahl zum Blickzeitpunkt auf eine hohe Lenkaktivität des Fahrers hin. In diesem Fall ist der Blick des Fahrers mit hoher Wahrscheinlichkeit nicht auf die Anzeigeeinheit gerichtet.
130 Es kann auch vorteilhaft sein, wenn die Bedieneinheit über einen Dreheingabemechanismus verfügt, wenn die Bedieneinheit eine Drehpausendauer misst, welche den Zeitraum zwischen der jüngsten Drehbedieneingabe und dem Blickzeitpunkt beschreibt, und wenn die
Bedieneinheit die Drehpausendauer an die Recheneinheit übermittelt. Bei der Ausführung des Mustererkennungsalgorithmus berücksichtigt die Recheneinheit die Drehpausendauer als
135 Eingangsparameter. Die Drehpausendauer kann ein besonders geeigneter Eingangsparameter für den Mustererkennungsalgorithmus sein, wobei die Eignung des Parameters durch eine starke Korrelation mit der Blickrichtung des Fahrers gegeben ist. So lässt eine kurze Drehpausendauer zum Blickzeitpunkt, die mit einer hohen Frequenz an Bedieneingaben geleich beutend ist, darauf schließen, dass der Blickzeitpunkt innerhalb einer Bediensequenz liegt und der Blick des Fahrers mit hoher Wahrscheinlichkeit auf die Anzeigeeinheit gerichtet.
Nach einer weiteren Variante der vorliegenden Erfindung verfügt die Bedieneinheit über einen Druckeingabemechanismus, wobei die Bedieneinheit eine Druckpausendauer misst, welche den Zeitraum zwischen der jüngsten Druckbedieneingabe und dem Blickzeitpunkt beschreibt. Die Bedieneinheit übermittelt die Druckpausendauer an die Recheneinheit. Die Recheneinheit berücksichtigt bei der ÄusfOhrung des Mustererkennungsalgorithmus die Druckpausendauer als Eingangsparameter.
Die Drehpausendauer kann ein besonders geeigneter Eingangsparameter für den
Mustererkennungsalgorithmus sein, wobei die Eignung des Parameters durch eine starke Korrelation mit der Blickrichtung des Fahrers gegeben ist. Eine kurze Druckpausendauer zum Blickzeitpunkt deutet darauf hin, dass der Blickzeitpunkt innerhalb einer Bediensequenz liegt und der Blick des Fahrers mit hoher Wahrscheinlichkeit auf die Anzeigeeinheit gerichtet ist.
Es kann zudem vorteilhaft sein, wenn die Bedieneinheit über einen
Berühreingabemechanismus verfügt und die Bedieneinheit eine Berührpausendauer misst. Diese beschreibt den Zeitraum zwischen der jüngsten Berührbedieneingabe und dem
Bückzeitpunkt. Die Bedieneinheit übermittelt die Berührpausendauer an die Recheneinheit und die Recheneinheit berücksichtigt bei der Ausführung des Mustererkennungsalgorithmus die Berührpausendauer als Eingangsparameter,
Insbesondere die Berührpausendauer kann ein geeigneter Eingangsparameter für den
Mustererkennungsalgorithmus sein, wobei die Eignung des Parameters durch eine starke Korrelation mit der Blickrichtung des Fahrers gegeben ist. So deutet eine kurze
Berührpausendauer zum Blickzeitpunkt darauf hin, dass der Blickzeitpunkt innerhalb einer Bediensequenz liegt. In diesem Fall ist der Blick des Fahrers mit hoher Wahrscheinlichkeit auf die Anzeigeeinheit gerichtet. Die Erfindung beruht auf den nachfolgend dargelegten Überlegungen:
Ein Fahrzeug kann Ober eine zentrale Anzeigeeinheit und über ein zentrales Bedienelement verfügen. Ober die zentrale Anzeigeeinheit können dem Fahrer Informationen bereitgestellt werden. Das Fahrzeug stellt einem Nutzer zudem verschiedene Funktionen wie etwa
Navigations - oder Entertainmentfunktionen zur Verfügung, die mit der zentralen Bedieneinheit als Eingabesystem bedienbar sind. Einzelne Bedieneingaben können auf der Anzeigeeinheit durch eine der Bedieneingabe zugeordnete Änderung der Anzeige des Ausgabesystems optisch mitverfolgt werden.
Eine Bedieneingabe an der zentralen Bedieneinheit kann durch Drehen oder Drücken eines Bedienschalters oder durch Berühren von Bedienschaltelementen erfolgen. Falls die Bedienung durch den Fahrer des Fahrzeugs erfolgt, kann die Bedienung zumindest teilweise die
Aufmerksamkeit des Fahrers verlangen. Die Bedienung der zentralen Bedieneinheit wird als Sekundäraufgabe bezeichnet, die für das Führen des Fahrzeugs nötigen Aktivitäten des
Fahrers wie Lenkbewegungen, Schaltvorgänge und Pedalbedienung werden als Primäraufgabe bezeichnet.
Bisherige Fahrerassistenzsysteme berücksichtigen im Rahmen einer Warnstrategie Gefahren aus der unmittelbaren Umgebung des Fahrzeugs wie Fußgänger oder langsam vorausfahrende Fahrzeuge. Dabei wird der Blickwinkel des Fahrers nicht mit einbezogen. Es wird insbesondere nicht erfasst, ob der Fahrer im Zeitpunkt des Erkennens einer bevorstehenden
Gefahrensituation durch das Fahrzeug seinen Blick auf die Straße bzw. auf die
Gefahrensituation konzentriert hat.
Ein an den Fahrer gerichtetes Warnsignal ist hinsichtlich der Art des Warnsignais (optisches Signal, akustisches Signal, haptisches Signal), der Intensität (Lautstärke, Helligkeit, Frequenz) und des Warnzeitraums, d.h. in welchem zeitlichen Abstand zum Eintritt des Fahrzeugs in den Gefahrenbereich eintritt die Warnung erfolgt, unabhängig vom Blickwinkel des Fahrers, um den Fahrer dabei zu unterstützen, die höchste Aufmerksamkeit des Fahrers auf die Primäraufgabe zu konzentrieren. Deshalb wird vorgeschlagen, anhand von Bedieneingaben an der zentralen Bedieneinheit und anhand der Interaktivität des Fahrers mit dem Fahrzeug die Richtung des Blickes des Fahrers in Bezug auf die Anzeigeeinheit abzuschätzen. Bei einer Schätzung, die mit hoher
Wahrscheinlichkeit einen auf die Anzeigeeinheit gerichteten Blick ergibt, werden Eigenschaften des Warnsignals entsprechend angepasst. Die Schätzung kommt ohne ein im Fahrzeug integriertes Kamerasystem aus und beruht auf einem Mustererkennungsaigortthmus. Im Folgenden wird ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus und aus der beigefügten Zeichnung ergeben sich wettere Details, bevorzugte
Ausführungsformen und Weiterbildungen der Erfindung.
Ein Fahrzeug verfügt über eine zentrale Anzeigeeinheit, die insbesondere dem Fahrer des Fahrzeugs Informationen bereitstellt. Diese Informationen betreffen beispielsweise Navigations - oder Entertainmentfunktionen, die Darstellungsweise ist im Wesentlichen optisch. Weiterhin weist das Fahrzeug ein zentrales Bedienelement auf, durch das dem Nutzer verschiedene Funktionen zur Verfügung gestellt werden. Die Funktionsbedienung erfolgt über die zentrale Bedieneinheit als Eingabesystem. Eine einzelne Bodieneinga e kann auf der Anzeigeeinheit durch eine der Bedieneingabe zugeordnete Änderung der Anzeige des Ausgabesystems optisch mitverfolgt werden. Es ist eine intuitive Bedienbarkeit der Bedieneinheit gegeben, um die Aufmerksamkeit des Fahrers während einer zeitlichen Abfolge von Bedieneingaben, die eine Bediensequenz bilden, nicht nachteilig zu beeinträchtigen. Unterstützt wird die intuitive Bedienbarkeit durch eine haptische Rückmeldung der Bedieneinheit etwa in Form von
Raststellungen während einer Drehbewegung.
Das Fahrzeug ist außerdem mit einem Assistenzsystem ausgestattet, das Gefahren und/oder mögliche Gefahren in einer Verkehrssituation erkennt (Gefahrerkennungssystem). Gemäß einer Warnstrategie des Assistenten wird der Fahrer durch ein geeignetes Warnsignal gewarnt. Die Art des Warnsignals (optisch und/oder akustisch und/oder haptisch), die Intensität des
Warnsignals (z.B. Lautstärke bei akustischem Signal) und der Zeitpunkt des Beginns des Warnsignals vor der bevorstehenden Gefahr können Bestandteil der Warnstrategie sein.
Der Blickwinkel des Fahrers zum Zeitpunkt des Erkennens der Gefahr durch das
Gefahrerkennungssystem ist eine wichtige Eingangsgröße für die Warnstrategie. Beispielsweise hat eine Warnung vor einer Gefahr bei einem von der Fahrbahn abgewandtem Blick frühzeitiger und/oder deutlich wahrnehmbarer zu erfolgen als bei einem voll umfänglich auf die Fahrbahn gerichteten Blick. Anhand der Interaktion des Fahrers mit dem Fahrzeug ist gemäß dieses Ausführungsbeispiels schätzbar, ob der Blick des Fahrers mit hoher Wahrscheinlichkeit auf die Anzeigeeinheit gerichtet ist. Falls der Blick des Fahrers auf die Anzeigeeinheit gerichtet ist, ist der Blick des Fahrers zu diesem Zeitpunkt zumindest nur eingeschränkt auf die Fahrbahn gerichtet. Falls in diesem Zeitpunkt durch das Gefahrerkennungssystem eine Gefahr erkannt ist oder zu einem früheren Zeitpunkt eine noch bestehende Gefahr erkannt wurde, ist passt die Warnstrategie das Warnsignal in geeigneter Weise an. Zum Beispiel kann die Warnung zu einem früheren Zeitpunkt einsetzen.
Zur Detektion eines Blickes des Fahrers auf die Anzeigeeinheit kommt ein
Mustererkennungsalgorithmus zum Einsatz. Das Fahrzeug verfügt über eine Rechnereinheit zur Ausführung des Mustererkennungsalgorithmus.
Der Mustererkennungsalgorithmus weist mehrere Eingangsparameter auf, die an die
Rechnereinheit übermittelt werden.
Ein Parameter ist zum Beispiel die Drehpausendauer der Bedieneinheit, wenn die Bedieneinheit Bedieneingaben durch Drehen eines Schaltelements oder Schalteinheit ermöglicht. Die Bedieneinheit misst die Drehpausendauer als den Zeitraum zwischen der letzten Dreheingabe an der Bedieneinheit einem Bezugszeitpunkt, zu dem der Wert der Drehpausendauer von der Bedieneinheit ermittelt und an die Rechnereinheit zum Initialisieren und Ausführen des
Algorithmus übertragen wird.
Ein kleiner Wert des Parameters Drehpausendauer zum Bezugszeitpunkt bedeutet, dass zeitlich kurz vor dem Bezugszeitpunkt eine Dreheingabe erfolgte. Damit ist zumindest mit einer bestimmten Wahrscheinlichkeit gegeben, dass der Blick des Fahrers mit der kurz zuvor erfolgten Bedienung der Bedieneinheit in Zusammenhang steht und demzufolge auf die Anzeigeeinheit gerichtet ist. Zum gleichen Bezugszeitpunkt wird von der Bedieneinheit in entsprechender Weise eine Druckpausendauer erfasst und übermittelt, wenn die Bedieneinheit Bedieneingaben durch Drücken eines Schaltelements oder einer Scharteinheit umfasst.
Auch eine in analoger Weise ermittelte Berührpausendauer wird zu der Recheneinheit übertragen, wenn die Bedieneinheit Bedieneingaben durch Berühren sensibler Flächen wie etwa eines Touchpads ermöglicht.
Durch die Lenkungseinheit des Fahrzeugs ist der Lenkwinkel zeitaufgelöst messbar und an die Recheneinheit überm ittelbar. Der Verlauf des Lenkwinkels in einem vorgegebenen Zeitfenster, das mit dem Bezugszeitpunkt endet, berechnet die Recheneinheit die Anzahl der Wendepunkte des Lenkwinkels in dem Zeitfenster. Diese Lenkwinkelzahl dient als Eingangsparameter für den Mustererkennungsalgorithmus. Eine hohe Lenkwinkelzahl ist mit häufigen Lenkmanövern gleichbedeutend und korreliert mit hoher Wahrscheinlichkeit mit einem hohen Maß an
Aufmerksamkeit des Fahrers für das Verkehrsgeschehen und einem geringeren Maß an Aufmerksamkeit des Fahrers für die Anzeige der Anzeigeeinheit.
Ein weiterer Eingangsparameter für den Mustererkennungsalgorithmus ist der
Gaspedalgradient zum Bezugszeitpunkt. Die Stellung des Gaspedals (Gaspedalwinkel) ist durch ein geeignetes Messmittel im Fahrzeug zeitaufgelöst ermittelbar. Der Verlauf der Gaspedalstellung in einem vorgegebenen Zeitfenster, das mit dem Bezugszeitpunkt endet, wird an die Recheneinheit Obermittelt. Die Recheneinheit berechnet in dem Zeitfenster die Anzahl der Gaspedalhübe, d.h. die Anzahl der Wendepunkte des Gaspedalwinkels. Diese Anzahl kann als Gaspedalhubzahl bezeichnet werden. Eine hohe Gaspedaihubzahi ist mit einem hohen Maß an Interaktion des Fahrers mit der Pedalerie des Fahrzeugs gleichbedeutend. Die
Wahrscheinlichkeit eines Blicks des Fahrers auf die Anzeigeeinheit ist in diesem Fall gering. Alternativ oder zusätzlich kann die Recheneinheit im Bezugszeitpunkt einen
Gaspedalgradienten ermittein. Die Gaspedaihubzahi und/oder der Gaspedalgradient dienen als Eingangsparameter für den ustererkennungsaigorithmus.
In entsprechender Weise sind eine Bremspedalhubzahl und/oder ein Bremspedalgradient von der Recheneinheit ermittelbar. Voraussetzung ist eine Übermittlung des gemessenen
Zeitverlaufs der Bremspedalstellung an die Recheneinheit. Ein hoher Bremspedalgradient deutet auf einen heftigen Bremseingriff zum Bezugszeitpunkt hin. Deshalb ist mit hoher Wahrscheinlichkeit davon auszugehen, dass in diesem Moment, dem Bezugszeitpunkt, der Blick des Fahrers mit hoher Wahrscheinlichkeit nicht auf die Anzeigeeinheit gerichtet ist. Die 305 Bremspedaihubzahl und/oder der Bremspedalgradient dienen als Eingangsparameter für den Mustererkennungsalgorithmus.
Der Mustererkennungsalgorithmus ermittelt die Blickwahrscheinlichkeit, mit der der Blick des Fahrers zum Bezugszeitpunkt auf die Anzeigeeinheit erfolgt. Der Algorithmus gibt einen
310 Blickwahrscheinlichkeitswert zwischen 0 % und 100 % oder 0 und 1 aus. Die
Eingangsparameter des Algorithmus sind oben beschrieben. Der Algorithmus ist zu beliebigen Bezugszeitpunkten ausführbar, z.B. in regelmäßigen Zeitabständen oder zum Zeitpunkt des Erkennens einer Gefahr durch das Gefahrerkennungssystem. Dieser Moment kann dann als Bezugszeitpunkt des Algorithmus dienen. Der vom Algorithmus ausgegebene
315 Blickwahrscheinlichkeitswert wird von der Recheneinheit an das Gefahrerkennungssystem übermittelt und dient als Eingangswert für die Warnstrategie des Gefahrerkennungssystems.
Der Mustererkennungsalgorithmus kann auf verschiedenen Mustererkennungsalgorithmen beruhen. Eine beispielhafte Methode, um bedingte Abhängigkeiten zwischen Variablen (hier 320 zwischen der Blickwahrscheinlichkeit und den Eingangsparametern) zu ermitteln, ist ein
Bayes'sches Netz. Auch ein Algorithmus nach dem Prinzip von Neuronalen Netzen, einer Fuzzy Logic oder von A-Priori-Regeln kann in Betracht kommen. Ohne Beschränkung der
Allgemeinheit wird weiterhin von einem Bayes'schen Netz ausgegangen.
325 Das Anlernen des Bayes'schen Netzes erfolgt beispielsweise anhand von Fahrsimulatordaten.
Zum Anlernen des Netzes werden im Wesentlichen alle Bedieneingaben in die Bedieneinheit des Fahrsimulators sowie der Blick des Fahrers im Fahrsimulator mit einem Kamerasystem zeitlich aufgezeichnet. Aus diesen Informationen sind Wahrscheinlichkeitstabellen für jeden Eingangsparameter nach der Maximum-ükelihood- ethode ermittelbar, die die
330 Wahrscheinlichkeit des Blickes des Fahrers auf die Anzeigeeinheit im Fahrsimulator mit einem Wert des betreffenden Eingangsparameters korrelieren. Der Blick auf die Anzeigeeinheit wird auch als Anzeigeblick bezeichnet. Jede Wahrscheinlichkeitstabelle bildet einen Netzknoten im Bayes' Netz. Diese Datenbasis dient zum Anlernen und Testen des Bayes'schen Netzes in der Fahrzeugentwicklung. Dieses angelernte Bayes'sche Netz wird auf der Recheneinheit
335 implementiert und auf der Recheneinheit ausführbar. Die Ausführung des Bayes'sches Netz-Algorithmus besteht in der Ermittlung des Blickwahrscheinlichkeitswertes anhand der Werte der Eingangsparameter zum Bezugszeitpunkt gemäß der Gleichung 1 :
P (Anzeigebück) = P(Blick) · P(BIickjDrehpausendauer) · P(Blick|Druckpausendauer)■ • P(Blick|Gaspedalgradient) ■ P(Blick!Bremspedalgradient) · P(Blick!Lenkwinkeizahl)
, wobei P(Anzeigeblick) der Wahrscheinlichkeit entspricht, dass der Blick des Fahrers auf die Anzeigeeinheit gerichtet ist (Biickwahrscheiniichkeitswert). In der Gleichung 1 steht z.B. der Faktor P(BlickjDrehpausendauer) für einen Knotenwahrscheinlichkeitswelt im Bayes'schen
Hetz, der die Wahrscheinlichkeit angibt, dass der Blick des Fahrers bei einem bestimmten Wert der Drehpausendauer auf die Anzeigeeinheit gerichtet ist. Dies geht aus der
Wahrscheinüchkeitstabelle für die Drehpausendauer hervor. Liegt beispielsweise die
Drehpausendauer zwischen 0,29 Sekunden und 0,35 Sekunden, so trägt die bedingte
Knotenwahrscheinlichkeit P(Blick|0,29-0,35) den Wert 0,043. Dabei steht der Faktor P(Bllck) für die Wahrscheinlichkeit, dass der Blick des Fahrers unabhängig von den Parametern „Drehpausendauer",„Druckpausendauer",„Gaspedalgradienf",„Bremspedalgradient" und „Lenkwinkelzahl" auf die Anzeigeeinheit gerichtet ist.
Das Bayes'sche Netz kann auch verzweigte Knoten aufweisen. In diesem Fall werden mehrdimensionale Wahrscheinlichkeitstabellen hinterlegt, wobei eine zusätzliche Verzweigung einer zusätzlichen Dimension in der Tabelle entspricht. Beispielsweise kann in einer verzweigten Struktur eine Interaktionsreihenfolge des Fahrers berücksichtigt werden. Dies bedeutet, dass der Algorithmus bei der Ermittlung des
Blickwahrscheinlichkeitswertes auf Basis der angelernten Daten die Reihenfolge von
Fahrerinteraktionen mit dem Fahrzeug in einem vorgegeben Zeitraum vor dem Bezugszeitpunkt berücksichtigt. Falls beispielsweise ein Lenkwinkelausschlag in dem Zeitraum zeitlich vor einer Drückbedieneingabe als die beiden jüngsten Interaktionseingaben erfolgte, ermittelt der Algorithmus eine andere Bückwahrscheinlichkeit als im umgekehrten Fall, d.h. wenn ein Lenkwinkelausschlag als jüngste Interaktion auf eine Drückbedieneingabe folgt.
Die Aussagekraft des Algorithmus zur Blickwahrscheinlichkeitsermittlung {Blickschätzung) kann weiter erhöht werden, wenn bei der Ausführung des Algorithmus auch Verhaltensmuster eines Fahrers bei der Interaktion mit dem Fahrzeug Berücksichtigung finden. An der Abfolge von Bedieneingaben, d.h. an einer Bediensequenz, ist beispielsweise ableitbar wie zügig eine Bedienaufgabe (z.B. Eingabe eines Navigationszieles) erreicht wird. Unter Zuhilfenahme eines Fahrsimulators und mit der Unterstützung einer Vielzahl von Probanden in der
Fahrzeugentwicklung ist beispielsweise ermittelbar, ob eine Bedienaufgabe beispielsweise schnell oder langsam bzw. auf direktem Wege in einem Menübaum oder auf Umwegen in einer Menüführung erreichbar ist. Falls der Blick des Probanden während der Bedienaufgabe mit einem Kamerasystem aufgezeichnet wird, kann mit den aufgezeichneten Daten der Algorithmus dahingehend erweitert und angelernt werden, dass der Algorithmus den Bediener einer Gruppe von Bedienem bzw. einer Bedienklasse zuweist. Ein Bediener ist dann durch den angelernten Algorithmus ohne ein Kamerasystem im Fahrzeug und nur aufgrund der Merkmale einer Bediensequenz im Fahrzeug mit einer bestimmten Wahrscheinlichkeit einer Bedienergruppe zuordenbar. So wählt beispielsweise ein„Blind-Bediener" typischerweise einen direkten Weg im Menübaum während ein Kontroll-Bediener tendenziell mehrmals Eingaben korrigiert. Anhand der Probandendaten ist bekannt, dass ein„Bünd-Bediener* eine Bedienaufgabe nahezu ohne einen Blick auf die Anzeigeeinheit löst. Ein„Kontroll-Bediener" blickt während der
Bediensequenz hingegen mehrmals auf die Anzeigeeinheit. Die Information Ober die
Zugehörigkeit des Fahrers, der etwa durch den Fahrzeugschlüssel, durch ein
Spracheingabesystem oder durch ein Finger-Print-Eingabesystem erkennbar ist, kann bei der weiteren Ausführung des Bayes'schen Netz-Algorithmus ebenfalls als Knoten, d.h. als
Eingangsparameter mit einer zugehörigen Wahrscheinlichkeitstabelle, oder etwa als
Wichtungsfaktor berücksichtigt werden.
Das Ausführungsbeispiel zeigt, wie mit einem in der Fahrzeugentwicklung angelernten
Mustererkennungsalgorithmus ohne ein den Fahrer aufzeichnendes Kamerasystem eine Wahrscheinlichkeit angegeben werden kann, mit der der Blick des Fahrers zu einem bestimmten Zeitpunkt auf die Anzeigeeinheit erfolgt. Diese Wahrscheinlichkeit kann zu einer Anpassung der Warnstrategie eines im Fahrzeug befindlichen Gefahrerkennungsassistenten genutzt werden.
Damit ist eine kostengünstige Verbesserungsmaßnahme für ein Gefahrerkennungssystem umsetzbar. Die vorgeschlagene Lösung ist in ein Serienfahrzeug ohne die Integration von Harde areumfängen, insbesondere ohne die Integration eines Innenraumkamerasystems, implementierbar, wenn der Algorithmus zum Beispiel auf einem bestehenden Steuergerät ausführbar ist und das Fahrzeug bereits Ober die (gängigen und anderweitig im Fahrzeug genutzten) Messmittel der Eingangsparameter verfügt, insbesondere in der Großserie sind dadurch die Kosten für Entwicklungsaufwand mit einem die Vielzahl von Serienfahrzeugen simulierenden Fahrsimulatoren überkompensierbar. Folgend ist der den Algorithmus zur Blickschätzung erweiternde und ergänzende Algorithmus zur Erkennung eines Verhaltensmusters des Bedieners in Bezug auf die Bedien- und
Anzeigeeinheit des Fahrzeugs näher beschrieben;
Ein Fahrzeug kann über eine zentrale Anzeigeeinheit und Ober ein zentrales Bedieneiement verfügen. Über die zentrale Anzeigeeinheit können dem Fahrer Informationen bereitgestellt werden. Das Fahrzeug stellt einem Nutzer zudem verschiedene Funktionen wie etwa
Navigations - oder Entertainmentfunktionen zur Verfügung, die mit der zentralen Bedieneinheit als Eingabesystem bedienbar sind. Einzelne Bedieneingaben können auf der Anzeigeeinheit durch eine der Bedieneingabe zugeordnete Änderung der Anzeige des Ausgabesystems optisch mitverfolgt werden.
Eine Bedieneingabe an der zentralen Bedieneinheit kann durch Drehen oder Drücken eines Bedienschalters oder durch Berühren von Bedienschaltelementen erfolgen. Falls die Bedienung durch den Fahrer des Fahrzeugs erfolgt, erfordert die Bedienung zumindest die teilweise Aufmerksamkeit des Fahrers. Die Bedienung der zentralen Bedieneinheit wird als
Sekundäraufgabe bezeichnet, die für das Führen des Fahrzeugs nötigen Aktivitäten des Fahrers wie Lenkbewegungen, Schaltvorgänge und Pedalbedienung werden als Primäraufgabe bezeichnet. Bisherige Fahrerassistenzsysteme berücksichtigen im Rahmen einer Warnstrategie Gefahren aus der unmittelbaren Umgebung des Fahrzeugs wie Fußgänger oder langsam vorausfahrende Fahrzeuge. Dabei wird der Aufmerksamkeitszustand des Fahrers nicht mit einbezogen. Es wird insbesondere nicht erfasst, ob der Fahrer die bevorstehende Gefahrensituation visuell erkennt oder etwa infolge der Bedienung von Fahrzeugfunktionen visuell abgelenkt ist. Ein an den Fahrer gerichtetes Warnsignal ist hinsichtlich der Art des Warnsignals (optisches Signal, akustisches Signal, haptisches Signal), der Intensität (Lautstärke, Helligkeit, Frequenz) und des Warnzeitpunkts, d.h. in welchem zeitlichen Abstand zum Eintritt des Fahrzeugs in den
Gefahrenbereich eintritt die Warnung erfolgt, unabhängig vom Aufmerksamkeitszustand des Fahrers, um den Fahrer dabei zu unterstützen, die die volle Aufmerksamkeit der Primäraufgabe zuzuwenden.
Deshalb liegen besondere Vorteile vor, wenn anhand von Bedieneingaben an der zentralen Bedieneinheit und anhand des Fahrverhaltens oder einer Fahrsituation die Aufmerksamkeit des Fahrers schätzbar ist. Bei einer Gefahrensituation werden Eigenschaften des Warnsignals der abgeschätzten Aufmerksamkeit des Fahrers angepasst.
Das Fahrzeug erfasst eine Bedienweise des Fahrers in Bezug auf die Bedienung der zentralen Bedieneinheit, ordnet der Bedienweise des Fahrers ein Ablenkungsmaß des Fahrers zu und gibt die Warnung abhängig von dem Ablenkungsmaß aus.
Anhand der Art und Weise wie die Bedienung der zentralen Bedieneinheit durch den Fahrer erfolgt, ist ohne ein Kamerasystem und mit hoher Wahrscheinlichkeit ermittelbar, in welchem Maße der Blick des Fahrers auf die Anzeigeeinheit gerichtet und vom Verkehrsgeschehen abgewandt ist. Bei einem hohen Maß an Ablenkung kann ein Warnsignal beispielsweise bereits zu einem besonders frühen Zeitpunkt angezeigt werden.
Weiterhin verfügt das Fahrzeug über eine Steuereinheit oder Recheneinheit, von welcher der Zeitraum zwischen zwei Bedieneingaben einer Bediensequenz messbar ist. Der Zeitraum zwischen zwei Bedieneingaben wird in der Folge als Bedienpause bezeichnet.
Eine Bediensequenz ist durch eine Abfolge von Bedieneingaben an der zentralen Bedieneinheit gegeben. Bei einem hohen Ablenkungsmaß ist der Blick des Bedieners der Bedieneinheit während der Abfolge von Bedieneingaben möglicherweise häufig und lang vom
Verkehrsgesehen weggerichtet. Bei einem niedrigen Ablenkungsmaß ist der Blick des
Bedieners der Bedieneinheit während der Abfolge von Bedieneingaben meist der Straße zugewandt.
Durch das Steuergerät ist zur Erfassung der Bedienweise eine mittlere Bedienpause berechenbar. Zudem ist in der Steuereinheit eine vorgegebene Kennlinie hinterlegt, die das Ablenkungsmaß mit der mittleren Bedienpause korreliert, so dass durch Steuereinheit auf Basis der Kennlinie dem Wert der mittleren Bedienpause ein Wert für das Ablenkungsmaß
zuordenbar ist. Ein in der Fahrzeugentwicklung ermittelter Zusammenhang zwischen der mittleren Bedienpause und dem Ablenkungsmaß ist in dem Steuergerät oder der Recheneinheit hinterlegbar. Die Zuordnung erfolgt auf Basis des Weites der mittleren Bedienpause. Dies bietet den Vorteil, dass ein Ablenkungsmaß des Fahrers allein durch die Bedieneinheit und das Steuergerät ermittelbar sind. Dadurch ist eine kostengünstige und einfache Lösung zur Ermittlung des Ablenkungsmaßes des Fahrers sichergestellt, die ohne ein komplexes Kamerasystem mit automatischer Gesichtsfelderkennung auskommt. Da gängige Anzeige- und Bedieneinheiten für Fahrzeug ohnehin über ein Steuergerät verfügen, ist die erfindungsgemäße Lösung sehr robust, da sie nur mit einem geringen Aufwand für die Integration Software und
Integrationsaufwand von Hardware ins Fahrzeug einhergeht. Es kann bei einem hohen Wert des Ablenkungsmaßes die Warnung frühzeitiger erfolgen und/oder die Warnung ist durch eine bessere Wahrnehmbarkeit durch den Fahrer
gekennzeichnet ist.
Dies bietet den Vorteil, dass ein vom Verkehrsgeschehen abgelenkter Fahrer frühzeitiger und deutlicher auf eine Gefahr hinweisbar ist und somit seine Aufmerksamkeit effektiver auf das Verkehrsgeschehen zurückgerichtet werden kann.
Es ist der Beginn einer Bediensequenz durch eine erste Bedieneingabe gegeben. Eine
Bediensequenz endet bei einem Pedaleingriff oder bei einem Lenkeingriff oder bei einer Bedienunterbrechung,
Falls eine Bediensequenz durch einen Pedaleingriff endet, ist es besonders vorteilhaft, wenn ein Pedaleingriff gegeben ist durch eine zeitliche Änderung der Gaspedalstellung oder der Bremspedalstellung, bei welchem die zeitliche Änderung der Gaspedalstellung eine
Gaspedaleingriffsgrenze überschreitet oder die zeitliche Änderung der Bremspedalstellung eine Bremspedaleingriffsgrenze überschreitet.
Die Gaspedaleingriffsgrenze und die Bremspedaleingriffsgrenze können in dem Steuergerät oder der Recheneinheit hinterlegt sein. Falls in kurzer Zeit eine starke Änderung einer
Pedalstellung erfolgt, so dass die jeweilige Eingriffsgrenze überschritten ist, endet eine
Bediensequenz. Dann ist davon auszugehen, dass eine die volle Aufmerksamkeit des Fahrers fordernde Verkehrssituation eingetreten ist (z.B. eine Vollbremsung) und eine Folge von Bedieneingaben zumindest solange vorübergehend unterbrochen ist, bis die Bedieneingabe fortgesetzt wird. Die Fortsetzung der Bedieneingabe begründet eine neue Bediensequenz.
Falls eine Bediensequenz durch einen Lenkeingriff endet, ist ein Lenkeingriff gegeben durch eine zeitliche Änderung des Lenkwinkels, wobei die zeitliche Änderung des Lenkwinkeis eine Lenkwinkeleingriflsgrenze überschreitet. Die Lenkwinkeleingriflsgrenze kann in dem Steuergerät oder der Recheneinheit hinterlegt sein. Falls in kurzer Zeit eine starke Änderung des Lenkwinkels erfolgt, so dass die
Lenkwinkeieingriffsgrenze überschritten ist, endet eine Bediensequenz. Dann ist davon auszugehen, dass eine die volle Aufmerksamkeit des Fahrers fordernde Verkehrssituation eingetreten ist (z.B. eine scharfe Kurve) und eine Folge von Bedieneingaben zumindest solange vorübergehend unterbrochen ist, bis die Bedieneingabe fortgesetzt wird. Die Fortsetzung der Bedieneingabe begründet eine neue Bediensequenz.
Es ist auch vorteilhaft, wenn eine Bedienunterbrechung bei einer Bedieneingabe eintritt, auf welche eine Bedienpause folgt, die einen Unterbrechungsscheilwert überschreitet.
Der Unterbrechungsschwellwert kann in dem Steuergerät hinterlegt sein. Falls über einen Zeitraum, der größer ist als der Unterbrechungsschweiiwert ist davon auszugehen, dass der Nutzer die Abfolge von Bedieneingaben beendet hat. Dies ist tritt z.B. dann ein, wenn der Nutzer erfolgreich eine bestimmte Funktion eingestellt hat etwa einen anderen Radiosender. Es kann in dem Steuergerät auch ein Schwellwert hinterlegt sein, der eine Mindestdauer für eine Bedienpause angibt. Nur falls eine Bedienpause diesen Wert Oberschreitet, trägt diese zur Mittelwertbildung bei. Dies ist insbesondere bei Drehschaltern oder bei Schaltern mit einer Scrollfunktion vorteilhaft. Dann ist verhinderbar, dass ein wahlloses Scrollen oder Drehen des Schalters erfasst wird, das sich beispielsweise besonders dann ereignet, wenn mit der Bedieneinheit„gespielt" wird und weniger dann ereignet, wenn zielgerichtet eine Funktion eingestellt werden soll.
Letztlich ordnet das Fahrzeug den Fahrer in Bezug auf die Bedienweise der zentralen
Bedieneinheit einer Bedientypklasse zu, wobei das Fahrzeug über mehrere zuordenbare Bedientypklassen verfügt. Die Warnung erfolgt abhängig von der dem Fahrer zugeordneten Bedientypklasse.
Diese diskontinuierliche Zuordnung des Ablenkungsmaßes ist insbesondere dann sinnvoll, wenn die in der Fahrzeugentwicklung gewonnene Korrelation zwischen dem Ablenkungsmaß und der mittleren Bedienpause eine so hohe Standardabweichung aufweist, dass die kontinuierliche Zuordnung des Ablenkungsmaßes eine Scheingenauigkeit begründet,
Fig. 1 zeigt einen Zusammenhang zwischen einem einheitenlosen Ablenkungsmaß an der y- Achse und einer mittleren Bedienpause einer zentralen Bedieneinheit an der x- Achse. Die Korrelation nach Fig. 1 ist in einem Steuergerät oder einer Recheneinheit des Fahrzeugs als Look-up-Kennlinie hinterlegt.
Eine Bedienpause bemisst sich nach dem Zeitraum zwischen zwei Bedieneingaben an der zentralen Bedieneinheit innerhalb einer Bediensequenz. Eine Bediensequenz ist durch eine Abfolge von Bedieneingaben an der zentralen Bedieneinheit gegeben und setzt durch eine erste Bedieneingabe ein. Die Bedienpausen werden von dem Steuergerät erfasst und zumindest zeitweilig gespeichert.
Sobald eine vorgegebene Anzahl von Bedienpausen durch das Steuergerät oder die
Recheneinheit erfasst ist, wird ein Mittelwert der Bedienpausen gebildet, der als mittlere Bedienpause bezeichnet wird.
Das Steuergerät ordnet gemäß der Look-up-Tabelle dem ermittelten Wert der mittleren Bedienpause einen Wert des Ablenkungsmaßes zu. Das Ablenkungsmaß (AM) gemäß der y-Achse in Fig. 1 ist bezogen auf eine Bediensequenz beschrieben als:
^ To i _ Σ Dauer Blick auf Änzeigeeinhsit [sec]
°J Σ Dauer Blick auf Anzeigeeinheit [secj + Σ Dauer Blick auf Verkehrsgeschehen[sec\
Zu einer vorgegebenen Bedienaufgabe, die in einer Abfolge an Bedieneingaben in Form einer Bediensequenz lösbar ist, gibt das Ablenkungsmaß an, in weichem Maß der Fahrer während der Fahrt seinen Blick der Anzeigeeinheit zuwendet. Ein häufiger Blick in die Anzeigeeinheit bedeutet ein hohes Maß an Ablenkung vom Straßenverkehr, Dies korreliert mit einem mangelnden Maß an Aufmerksamkeit. Anhand von Probanden in einem Fahrsimulator in der Fahrzeugentwicklung mit Blickerfassung des Fahrers ist der in Fig. 1 dargestellte Zusammenhang zwischen dem Abienkungsmaß und der mittleren Bedienpause ermittelbar. Es zeigt sich anhand eines signifikanten Trends, dass eine Bediensequenz mit längeren zeitlichen Abständen zwischen zwei Bedieneingaben mit einem geringen Maß an Ablenkung korreliert. Möchte der Proband die Bediensequenz möglichst schnell durchlaufen und die Bedienaufgabe in einem kurzen Zeitraum lösen, erfordert dies ein hohes Maß an Aufmerksamkeit zu Lasten der Erfassung der Verkehrssituation durch den Fahrer. Der in der Fahrzeugentwicklung mit statistischer Relevanz ermittelte Verlauf nach Fig. t ist im Kundenfahrzeug als Look-up Kennlinie hinterlegbar. Es besteht zudem die Möglichkeit, die Zuordnung zwischen der mittleren Bedienpause der
Bediensequenz und dem Ablenkungsmaß diskontinuierlich vorzunehmen. Hierzu sind in Fig. 1 drei Gruppen von Bedienklassen angezeigt. Die Klasse 1 zeigt Nutzer, die während der Bedienaufgabe im Wesentlichen den Blick auf die Straße richten. Die haptische Rückmeldung des Schalters oder der Bedienflächen oder -knöpfe ist für einen Nutzer der Klasse 1 ausreichend, um die Bedienaufgabe zu lösen. Ein Nutzer der Klasse 1 zeichnet sich durch eine hohe Bediensicherheit aus und kann als„Blind Bediener* bezeichnet werden. Bei einem „Normal- Bedienet* der Klasse 2 ist das Verhältnis zwischen der Blickdauer auf die
Änzeigeeinheit und auf das Verkehrsgeschehen in etwa ausgeglichen. Ein Nutzer der Klasse 3, als„Kontroll-Bediener" benennbar, ist während der Bedienung der zentralen Bedieneinheit durch häufige und lange Kontrollblicke auf die Anzeigeeinheit abgelenkt.
Der Wert des Aufmerksamkeitsmaßes ist bezogen auf eine Bediensequenz ermittelbar. Bei mehreren Bediensequenzen während einer Fahrt ist ein mittleres Aufmerksamkeitsmaß für den Fahrer ermittelbar, wobei mehrere Werte des Aufmerksamkeitsmaßes durch Steuergerät gemrttelt werden.
Falls ein Fahrer durch das Fahrzeug mit einer Fahrererkennung identifizierbar ist - beispielsweise durch Fingerprinterkennung, durch ein Kamerasystem im Fahrzeug oder durch einen dem Fahrer zugeordneten Schlüssel, ist für einen Fahrer individuell ein Ablenkungsmaß über mehrere Fahrten hinweg durch das Steuergerät ermitte!bar. Dadurch kann sich in dem Wert des Ablenkungsmaßes niederschlagen, dass der Nutzer durch einen Lerneffekt einen vertrauteren Umgang mit der Anzeige- und Bedieneinheit erlangt, so dass zu einem geringen Abtenkungsmaß kommen kann. Möglicherweise kann auch ein über eine Vielzahl von Fahrten und Bediensequenzen ermittelter Wert für das Abtenkungsmaß für den jeweiligen erkannten 810 Fahrer in dem Steuergerät hinterlegt sein, ohne den Wert für das Ablenkungsmaß während einer späteren Fahrt neu zu ermitteln.
Der Wert des Aufmerksamkeitsmaßes dient als Eingangsparameter für das Warnsystem des Fahrzeugs. Bei einem niedrigen Wert an Aufmerksamkeitsmaß durch den Fahrer ist das
615 Warnsignal oder sind die Warnsignale im Vergleich zu einem höheren Wert des
Aufmerksamkeitsmaßes bei einer bevorstehenden Gefahr verdeutlicht. Die Lautstärke eines Warntons wird erhöht, die Lichtintensität einer Warnlampe oder die Blinkfrequenz einer
Warnleuchteinrichtung erhöht. Auch die Rütteiamplitude des Lenkrades wie nach dem Stand der Technik von Spurwechselassistenzsystemen bekannt kann erhöht sein. Außerdem ist es
620 möglich, die Warnung zu einem frühzeitigeren Zeitpunkt vor Erreichen des Gefahrenbereichs durch das Fahrzeug auszulösen. Eine frühere Warnung ist mit einer deutlicheren Warnung kombinierbar. Dies kann auch kontinuierlich erfolgen, wobei die Warnintensität mit dem
Näherkommen der Gefahrensituation steigerbar ist.
625 Falls das Fahrzeug über ein den Fahrer erfassendes Kamerasystem verfügt, kann zusätzlich der Blickwinkel des Fahrers erfasst werden. Die Warnstrategie kann dann nicht nur an die Bedienklasse des Fahrers angepasst werden, sondern an eine Kombination aus erfasstem Blickwinkel des Fahrers bei einer bevorstehenden Gefahr und der Bedienklasse. Falls beispielsweise ein„Kontroll-Bediener" im Moment der Detektion der Gefahr durch das Fahrzeug
630 den Blick auf die Anzeigeeinheit gerichtet hat, ist die Warnung frühzeitiger als bei einem„Biind- Bediener" anzuzeigen, da beim zweitgenannten Bediener die Wahrscheinlichkeit höher ist, dass der Blick rechtzeitig und ohne Warnung auf die Straße zurückgerichtet wird.
Die Information über die zugeordnete Bedienklasse ist an die Algorithmus zur Berechnung des 635 Blickwahrscheinlichkeitswertes Obermittelbar. Alternativ kann der Algorithmus zur Zuordnung des Fahrers zu einer Bedienklasse auch Teil des Algorithmus zur Berechnung des
Blickwahrscheinlichkeitswertes sein. Die Information über eine Bedienklasse wird bei der Ausführung des Mustererkennungsalgorithmus zur Berechnung des
Blickwahrscheinlichkeitswertes in geeigneter Weise berücksichtigt. Falis beispielsweise der Mustererkennungsalgorithmus ein für die Serie in der Fahrzeugentwicklung angelerntes A-priori Modell ist, das auf Abhängigkeitsregeln zwischen einem Blick des Fahrers auf die Anzeigeeinheit und einem Wert eines Eingangsparameters beruht, kann die Information über die Bedienklasse zur Anpassung von Schwellwerten dienen. Eine etwaige A-priori-Regeln kann sein: Falls Drehpausendauer einen Schwellwert
unterschreitet, ist der Blick des Fahrers auf die Anzeigeeinheit gerichtet. Diesem Schwellwert wird z.B. bei der Information„Blind-Bediener" einen geringerer Zeitwert zugewiesen als bei der Information„ ontroll-Bediener".

Claims

Patentansprüche
1 . Fahrzeug, insbesondere Kraftfahrzeug, mit einer Vorrichtung zur Beeinflussung der
Aufmerksamkeit des Fahrers, wobei
- das Fahrzeug über eine Anzeigeeinheit zur Anzeige von Informationsinhalten verfügt,
- das Fahrzeug über eine der Anzeigeeinheit zugeordnete zentrale Bedieneinheit verfügt,
- das Fahrzeug über ein Mittel zur Erfassung einer Gefahr im Straßenverkehr verfügt, und
- das Fahrzeug über ein Mittel zur Ausgabe einer Warnung vor einer erfassten Gefahr verfügt,
dadurch gekennzeichnet, dass
- das Fahrzeug eine Recheneinheit aufweist,
- die Recheneinheit während einer Bediensequenz und zu einem Blickzeitpunkt die
Blickwahrscheinlichkeit des Fahrers in Richtung der Anzeigeeinheit ermittelt,
- die Recheneinheit zur Ermittlung der Blickwahrscheinlichkeit die Interaktion des Fahrers mit dem Fahrzeug berücksichtigt,
- die Ausgabe der Warnung abhängig von der ermittelten Blickwahrscheinlichkeit erfolgt.
2. Fahrzeug nach Anspruch 1 ,
dadurch gekennzeichnet, dass
- die Recheneinheit zur Ermittlung der Blickwahrscheinlichkeit einen
Mustererkennungsalgorithmus ausführt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus den Wert zumindest eines Eingangsparameters berücksichtigt,
- die Recheneinheit einen Wert der Blickwahrscheinlichkeit als Ausgabeparameter
ausgibt,
- der Blickwahrscheinlichkeitswert die Wahrscheinlichkeit wiedergibt, mit der der Blick des Fahrers zu dem Blickzeitpunkt auf die Anzeigeeinheit gerichtet ist,
- die Recheneinheit den Blickwahrscheinlichkeitswert an das Mittel zur Ausgabe einer Warnung übermittelt.
3. Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet, dass
- in der Recheneinheit für den zumindest einen Eingangsparameter eine
Wahrscheinlichkeitstabelle hinterlegt ist, die einen Wert des Eingangsparameters mit einem Blickwahrscheinlichkeitswert korreliert,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus die
Wahrscheinlichkeitstabelle des zumindest einen Eingangsparameters berücksichtigt.
4. Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet, dass
- das Fahrzeug über ein Messmitte! zur Messung der Gaspedalstellung verfügt und das Messmittel die gemessene Stellung des Gaspedals in Abhängigkeit von der Zeit an die Recheneinheit übermittelt,
- die Recheneinheit einen Gaspedalgradienten berechnet, welcher die zeitliche Änderung der Gaspedalstellung beschreibt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus den
Gaspedalgradienten als Eingangsparameter berücksichtigt.
5. Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet, dass
- das Fahrzeug Ober ein Messmittel zur Messung der Bremspedalstellung verfügt und das Messmittel die gemessene Stellung des Bremspedals in Abhängigkeit von der Zeit an die Recheneinheit übermittelt,
- die Recheneinheit einen Bremspedalgradienten berechnet, welcher die zeitliche
Änderung der Bremspedalstellung beschreibt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus den
Bremspedaigradienten als Eingangsparameter berücksichtigt. Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet,
- dass das Fahrzeug über ein Messmittei zur Messung des Lenkwinkels verfügt und das Messmittel den gemessenen Lenkwinkel in Abhängigkeit von der Zeit an die
Recheneinheit übermittelt,
- die Recheneinheit eine Lenkwinkeizahl berechnet, welche die Anzahl von
Lenkwinkelwendepunkten in einem vorgegebenen Zeitraum beschreibt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus die
Lenkwinkelzahl als Eingangsparameter berücksichtigt.
Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet, dass
- die Bedieneinheit über einen Dreheingabemechanismus verfügt,
- die Bedieneinheit eine Drehpausendauer misst, welche den Zeitraum zwischen der jüngsten Drehbedieneingabe und dem Blickzeitpunkt beschreibt,
- die Bedieneinheit die Drehpausendauer an die Recheneinheit übermittelt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus die
Drehpausendauer als Eingangsparameter berücksichtigt.
Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet, dass
- die Bedieneinheit über einen Druckeingabemechanismus verfügt,
- die Bedieneinheit eine Druckpausendauer misst, welche den Zeitraum zwischen der jüngsten Druckbedieneingabe und dem Blickzeitpunkt beschreibt,
- die Bedieneinheit die Druckpausendauer an die Recheneinheit übermittelt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus die
Druckpausendauer als Eingangsparameter berücksichtigt.
9. Fahrzeug nach Anspruch 2,
dadurch gekennzeichnet, dass
- die Bedieneinheit Ober einen Berühreingabemechanismus verfügt,
- die Bedieneinheit eine BerOhrpausendauer misst, welche den Zeitraum zwischen der jüngsten Berührbedieneingabe und dem Blickzeitpunkt beschreibt,
- die Bedieneinheit die BerOhrpausendauer an die Recheneinheit übermittelt,
- die Recheneinheit bei der Ausführung des Mustererkennungsalgorithmus die
BerOhrpausendauer als Eingangsparameter berücksichtigt.
PCT/EP2012/068821 2011-09-30 2012-09-25 Fahrzeug mit einer vorrichtung zur beeinflussung der aufmerksamkeit des fahrers und zur ermittlung der blickrichtung des fahrers WO2013045418A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280047590.2A CN103858153B (zh) 2011-09-30 2012-09-25 具有用于影响驾驶员的注意力的并且用于确定驾驶员的视向的设备的车辆
US14/228,870 US9099002B2 (en) 2011-09-30 2014-03-28 Vehicle having a device for influencing the attentiveness of the driver and for determining the viewing direction of the driver

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011083833A DE102011083833A1 (de) 2011-09-30 2011-09-30 Fahrzeug mit einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers und zur Ermittlung der Blickrichtung des Fahrers
DE102011083833.3 2011-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/228,870 Continuation US9099002B2 (en) 2011-09-30 2014-03-28 Vehicle having a device for influencing the attentiveness of the driver and for determining the viewing direction of the driver

Publications (1)

Publication Number Publication Date
WO2013045418A1 true WO2013045418A1 (de) 2013-04-04

Family

ID=47008551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/068821 WO2013045418A1 (de) 2011-09-30 2012-09-25 Fahrzeug mit einer vorrichtung zur beeinflussung der aufmerksamkeit des fahrers und zur ermittlung der blickrichtung des fahrers

Country Status (4)

Country Link
US (1) US9099002B2 (de)
CN (1) CN103858153B (de)
DE (1) DE102011083833A1 (de)
WO (1) WO2013045418A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105034984A (zh) * 2014-04-30 2015-11-11 福特全球技术公司 用于驾驶员定制的交互时间警报的方法和系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429368B2 (ja) 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
DE102013021854B4 (de) 2013-12-21 2017-12-14 Audi Ag Sicht- und Bedienvorrichtung zur Durchführung eines Verfahrens zum Ermitteln eines Gefahrenpotentials in einem Fahrzeug
CN104680714A (zh) * 2015-03-24 2015-06-03 北京嘀嘀无限科技发展有限公司 用于向用户发送提醒的方法及系统
US9845097B2 (en) 2015-08-12 2017-12-19 Ford Global Technologies, Llc Driver attention evaluation
KR20180070401A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 자율주행차량의 운전 제어권 이양을 판단하는 시스템 및 방법
US20190072955A1 (en) * 2017-09-05 2019-03-07 Delphi Technologies, Inc. Driver alert system for an automated vehicle
EP3732085A4 (de) * 2017-12-27 2021-08-11 Bayerische Motoren Werke Aktiengesellschaft Vorhersage eines spurwechsels eines fahrzeugs
CN109711239B (zh) * 2018-09-11 2023-04-07 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
KR20200107023A (ko) * 2019-03-05 2020-09-16 현대자동차주식회사 차량 안전주행 지원 장치 및 방법
DE102019205004A1 (de) * 2019-04-08 2020-10-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung von Verkehrsinformationen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338244A1 (de) * 1992-11-13 1994-05-19 Mitsubishi Electric Corp Gefahrenvermeidungssystem für ein Fahrzeug
US20020140562A1 (en) * 2001-03-30 2002-10-03 Philips Electronics North America Corporation System for monitoring a driver's attention to driving
US20030153846A1 (en) * 2002-02-08 2003-08-14 Marple-Horvat Dilwyn Edwin Method of and an apparatus for measuring a person's ability to perform a motor control task
DE102008056343A1 (de) 2008-11-07 2010-05-12 Bayerische Motoren Werke Aktiengesellschaft Warnsystem für ein Kraftfahrzeug

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720920B2 (en) * 1997-10-22 2004-04-13 Intelligent Technologies International Inc. Method and arrangement for communicating between vehicles
US7085637B2 (en) * 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
DE10039795C2 (de) * 2000-08-16 2003-03-27 Bosch Gmbh Robert Verfahren zur Warnung eines Fahrers eines Fahrzeugs
AU2003211065A1 (en) * 2002-02-19 2003-09-09 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
DE10210130B4 (de) * 2002-03-08 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerwarnung
US20050125121A1 (en) * 2003-11-28 2005-06-09 Denso Corporation Vehicle driving assisting apparatus
US7138938B1 (en) * 2005-05-06 2006-11-21 Ford Global Technologies, Llc System and method for preemptively sensing an object and selectively operating both a collision countermeasure system and a parking assistance system aboard an automotive vehicle
DE102008003205A1 (de) * 2008-01-04 2009-07-09 Wabco Gmbh Vorrichtung, Verfahren und Computerprogramm zur Kollisionsvermeidung oder zur Verminderung der Kollisionsschwere infolge einer Kollision für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102009009975A1 (de) * 2008-09-24 2010-04-01 Audi Ag Verfahren zur Ermittlung eines die Aufmerksamkeit eines Fahrers während einer Fahrt, insbesondere einer Autobahnfahrt, beschreibenden Aufmerksamkeitswertes und Kraftfahrzeug
DE102008042521A1 (de) * 2008-10-01 2010-04-08 Robert Bosch Gmbh Verfahren für eine Anzeige einer visuellen Warndarstellung
CN101416877A (zh) * 2008-11-13 2009-04-29 清华大学 一种用于对驾驶员疲劳和注意力分散状态进行报警的装置
US20100198491A1 (en) * 2009-02-05 2010-08-05 Paccar Inc Autonomic vehicle safety system
CN101540090B (zh) * 2009-04-14 2011-06-15 华南理工大学 基于多元信息融合的驾驶员疲劳监测方法
DE102009041187A1 (de) * 2009-08-13 2011-02-17 Volkswagen Ag Verfahren und Vorrichtung zur Adaption von Parametern eines Fahrerassistenzsystems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338244A1 (de) * 1992-11-13 1994-05-19 Mitsubishi Electric Corp Gefahrenvermeidungssystem für ein Fahrzeug
US20020140562A1 (en) * 2001-03-30 2002-10-03 Philips Electronics North America Corporation System for monitoring a driver's attention to driving
US20030153846A1 (en) * 2002-02-08 2003-08-14 Marple-Horvat Dilwyn Edwin Method of and an apparatus for measuring a person's ability to perform a motor control task
DE102008056343A1 (de) 2008-11-07 2010-05-12 Bayerische Motoren Werke Aktiengesellschaft Warnsystem für ein Kraftfahrzeug

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105034984A (zh) * 2014-04-30 2015-11-11 福特全球技术公司 用于驾驶员定制的交互时间警报的方法和系统

Also Published As

Publication number Publication date
DE102011083833A1 (de) 2013-04-04
CN103858153B (zh) 2016-10-19
US9099002B2 (en) 2015-08-04
US20140214313A1 (en) 2014-07-31
CN103858153A (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
WO2013045418A1 (de) Fahrzeug mit einer vorrichtung zur beeinflussung der aufmerksamkeit des fahrers und zur ermittlung der blickrichtung des fahrers
EP1630756B1 (de) Warnvorrichtung in einem Fahrzeug
EP2774133B1 (de) Verfahren zum ausgeben von warnmeldungen eines fahrerassistenzsystems und dazugehöriges fahrerassistenzsystem
DE102012210145A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Spurführung eines Fahrzeugs auf einer Fahrbahn
EP2620314B1 (de) Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
DE102011087459A1 (de) Fahrerassistenzsystem für ein Kraftfahrzeug
EP3700795B1 (de) Verfahren zum frühzeitigen hinweisen auf einen betriebsbereich mit einem unzureichenden verlässlichkeitsstatus eines assistenzsystems eines fortbewegungsmittels, system und automobil
EP1932742A2 (de) Verfahren für ein Fahrerassistenzsystem und Fahrerassistenzsystem
DE102006059254A1 (de) Fahrsicherheitssystem für ein Fahrzeug
EP2704634B1 (de) Multifunktionsbedieneinrichtung
DE102016009133A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems
DE102014201037A1 (de) Informationsübermittlung durch Oberflächenveränderung
EP2933164B1 (de) Informationsverfahren und Informationssystem für den Fahrer eines Kraftfahrzeugs
DE102017002587A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems
DE102011122564A1 (de) Fahrerassistenzvorrichtung und Verfahren für eine Informationsausgabe an einen Fahrer
DE102012013546A1 (de) Verfahren zum Betrieb einer Assistenzvorrichtung eines Fahrzeuges
WO2018166780A1 (de) Verfahren und vorrichtung zur erinnerung eines fahrers an ein anfahren an einer lichtsignaleinrichtung mit variabler ausgabefunktion
WO2022161810A1 (de) Schätzung eines fahrer-ablenkungsgrades
DE102018200980B4 (de) Verfahren zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit, mit welcher ein Fahrer eines Kraftfahrzeugs Objekte in einem Umfeld des Kraftfahrzeugs wahrnimmt, sowie Steuervorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102019213559A1 (de) Verfahren zur Übermittlung von Informationen im Straßenverkehr, Datenverarbeitungseinrichtung, Kraftfahrzeug und Computerprogrammprodukt
DE102015214393A1 (de) Verfahren und Vorrichtung zum Erkennen einer Absicht eines Fahrers eines Fahrzeugs bezüglich eines Ausführens einer Spurwechselaktion und/oder einer Abbiegeaktion des Fahrzeugs sowie Bedienelement
DE102019008318A1 (de) Verfahren zur Steuerung zumindest eines Fahrassistenzsystems
DE102011083836A1 (de) Fahrzeug mir einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers und zur Ermittlung der Bediensicherheit
DE102019122895A1 (de) Vorrichtung, Verfahren sowie Computerprogramm zum Betreiben eines automatisiert fahrbaren Fahrzeugs mit einem von einem Nutzer des Fahrzeugs bedienbaren Bedienelement
DE102014214698B3 (de) Benutzerschnittstelle und Bedienverfahren zur blickbasierten Bedienung eines Geschwindigkeitsregelungssystems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12770051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12770051

Country of ref document: EP

Kind code of ref document: A1