WO2022228745A1 - Method for user evaluation, control device for carrying out such a method, evaluation device comprising such a control device and motor vehicle comprising such an evaluation device - Google Patents

Method for user evaluation, control device for carrying out such a method, evaluation device comprising such a control device and motor vehicle comprising such an evaluation device Download PDF

Info

Publication number
WO2022228745A1
WO2022228745A1 PCT/EP2022/054322 EP2022054322W WO2022228745A1 WO 2022228745 A1 WO2022228745 A1 WO 2022228745A1 EP 2022054322 W EP2022054322 W EP 2022054322W WO 2022228745 A1 WO2022228745 A1 WO 2022228745A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
recording
created
viewing
sensor
Prior art date
Application number
PCT/EP2022/054322
Other languages
German (de)
French (fr)
Inventor
Andreas Petrovic
Cedric Perauer
Original Assignee
Mercedes-Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes-Benz Group AG filed Critical Mercedes-Benz Group AG
Publication of WO2022228745A1 publication Critical patent/WO2022228745A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Definitions

  • the invention relates to a method for user evaluation, a control device for carrying out such a method, an evaluation device with such a control device and a motor vehicle with such an evaluation device.
  • the invention is based on the object of creating a method for user evaluation, a control device for carrying out such a method, an evaluation device with such a control device and a motor vehicle with such an evaluation device, the disadvantages mentioned being at least partially eliminated, preferably avoided.
  • the object is achieved in particular by creating a method for user evaluation, with at least one first recording of a user, in particular of a user's head, being created by means of a first sensor. At least one visual path, in particular a first visual path, of the user is created on the basis of the at least one first recording. Furthermore, a second recording of an environment of the user is created by means of a second sensor. The second shot is analyzed using a method for object recognition. In addition, an observation object is determined on the basis of the at least one visual path and the second recording.
  • the at least one visual path of the user and thus a visual perception of the user is viewed together with the second recording, which in particular represents a detection of the surroundings.
  • both the at least one visual path and the second recording are used to evaluate the user.
  • the method is preferably carried out in a motor vehicle in order in particular to evaluate the visual perception and attentiveness of a driver.
  • this can increase road safety.
  • the method for user evaluation can preferably be used to identify a user who is advantageously suitable for training a motor vehicle, in particular that is driving autonomously, in particular by means of an imitation learning algorithm.
  • Data collected during the method is preferably used in order to train a motor vehicle, in particular that is driving autonomously, in particular by means of an imitation learning algorithm.
  • the first sensor is preferably an optical sensor, in particular a camera, particularly preferably a stereo camera or a TOF camera.
  • a camera particularly preferably a stereo camera or a TOF camera.
  • Such an optical sensor can advantageously be used to calculate and/or obtain depth information from the at least one first recording.
  • the second sensor is preferably a 360° all-round view sensor system, which is preferably designed to record depth information.
  • the 360° all-round view sensor system has a plurality of sub-sensors and a computing device, with the information from the plurality of sub-sensors being combined by the computing device of the 360° all-round view sensor system to form a particularly coherent, particularly three-dimensional environment.
  • the second recording is preferably a three-dimensional recording of the user's surroundings.
  • the second recording is preferably a two-dimensional projection of the surroundings onto a surface of a first cylinder, with the radius of the first cylinder preferably corresponding to a sensor illumination of the second sensor.
  • objects recognized by the method for object recognition are classified, with the recognized objects preferably being assigned an object importance, preferably in the form of a scale from 0 (unimportant) to 100 (very important).
  • the detected objects of a category selected from a group consisting of multi-axle motor vehicles,
  • the object importance being preferably determined based on the assigned category.
  • at least one property selected from a group consisting of the speed, the distance to the second sensor, and the orientation in relation to the second sensor, is assigned to the detected objects, with the at least one property preferably being used to determine the object - Importance is used.
  • the detected objects are preferably classified as static or dynamic.
  • the recognized objects are preferably marked in the second recording according to the classification and/or the object importance.
  • the object is recognized in the second recording and/or the recognized objects are classified by means of a neural network.
  • At least one viewing path cone is assigned to the at least one viewing path, the at least one viewing path cone preferably being a right circular cone with the at least one viewing path as the axis, and the at least one viewing path cone preferably having an opening angle of at most 10 °, particularly preferably at most 5°.
  • the performance of a human eye can thus advantageously be taken into account.
  • an inaccuracy in the determination of the at least one viewing path can advantageously be compensated for.
  • the at least one visual path and the second recording, in particular the detected objects, are preferably created and/or determined with respect to an identical coordinate system.
  • the sensor illumination of the second sensor is preferably used in order to determine the object under observation based on the at least one visual path and the second recording.
  • At least one sensor selected from a group consisting of a speed sensor, an acceleration sensor and a steering angle sensor, is preferably used to determine the at least one visual path and/or the object under observation.
  • a check is made as to whether the object under consideration is an object recognized by means of the object recognition.
  • it can thus be determined whether the user is looking at an object recognized by means of the object recognition or whether the user is focusing on a different area of the environment.
  • an associated, in particular cuboid, envelope is determined for at least one object recognized by means of the method for object recognition.
  • the associated in particular cuboid envelope is preferably determined for each object recognized by means of the method for object recognition. All points of a recognized object preferably lie within the associated, in particular cuboid, envelope.
  • it is preferably analyzed whether the at least one viewing path intersects one of the in particular cuboidal envelopes. Alternatively or additionally, it is preferably analyzed whether the at least one viewing path cone intersects one of the in particular cuboidal envelopes.
  • the at least one first recording and the second recording are created simultaneously.
  • the object under consideration which is focused in particular by the user, is also imaged in the second recording of the user's surroundings.
  • a Bayesian method in particular a Kalman filter, can be used to at least partially compensate for the time difference between the creation of the at least one first recording and the creation of the second recording compensate.
  • a position and/or an orientation of a head of the user is determined in the at least one first recording.
  • preference is given to at least a pupil of the user is detected, the at least one visual path being created, in particular on a vector basis, based on the position and/or the orientation of the user's head and preferably the at least one detected pupil of the user.
  • the position of the at least one recognized pupil advantageously determines a viewing vector from which the at least one viewing path can be calculated.
  • the position and the orientation of the user's head are determined in the at least one first recording.
  • exactly two pupils of the user are preferably recognized.
  • a gaze vector can be determined for each pupil of the exactly two recognized pupils of the user.
  • the two viewing vectors preferably intersect at a common focal point, which in particular indicates a focusing of the user.
  • the position of the user's head is preferably determined by means of face recognition.
  • at least one feature point in particular a plurality of feature points, is determined on the user's head, with the at least one feature point being able to calculate the orientation of the user's head.
  • at least one piece of information selected from a group consisting of the at least one feature point, the orientation of the user's head, and the depth information of the at least one first recording is used to protect at least one eye of the user, in particular at least one pupil of the user , to recognize.
  • the viewing vector is preferably perpendicular to a pupil center of the at least one recognized pupil. If only one pupil is detected, the at least one viewing path is identical to the viewing vector. If two pupils are detected, the at least one visual path is calculated from the two visual vectors.
  • the at least one visual path is created using the at least one first recording, taking into account an actual position of at least one mirror.
  • the actual position of the at least one mirror it can be recognized whether the observed object is being viewed by the user by means of the at least one mirror is observed.
  • the at least one viewing path can thus advantageously be both linear and also have a kink.
  • a plurality of first recordings and a plurality of second recordings, in particular pairs associated with the first recordings are created.
  • a plurality of viewing paths is created, with a plurality of observation objects being determined on the basis of the plurality of viewing paths and the plurality of associated second recordings.
  • the first sensor preferably has an image rate of 60 Hz for creating the plurality of first recordings. It is thus advantageously possible to detect every eye movement, in particular every pupil movement, of the user, since a movement rate of one pupil is typically a maximum of 50 Hz.
  • the first sensor creates the majority of the first recordings at a time interval of 50 ms.
  • the second sensor creates the plurality of second recordings at a time interval of 200 ms.
  • Four first recordings are thus assigned to a second recording.
  • four viewing paths are assigned to every second recording, with a maximum of four viewing objects being able to be determined by means of the four viewing paths.
  • a first first recording, a second first recording, a third first recording and a fourth first recording are assigned to a first second recording.
  • the first visual path is created in the first first recording
  • a second visual path is created in the second first recording
  • a third visual path is created in the third first recording
  • a fourth visual path is created in the fourth first recording.
  • the associated, in particular cuboid, envelope is preferably determined for each object recognized by means of the method for object recognition.
  • a partial user rating for the first second recording is preferably determined based on the number of intersection points of the view paths with the envelopes.
  • a partial user rating is better the more intersections of view paths with envelopes be recognized.
  • a user rating is preferably calculated as the mean of all partial user ratings. The user rating advantageously indicates whether the user is suitable for training a motor vehicle, in particular one that is driving autonomously, using an imitation learning algorithm.
  • one viewing point is derived from each viewing path of the plurality of viewing paths.
  • a local frequency distribution is created from the plurality of observation points, with the user preferably being evaluated using the local frequency distribution.
  • Each viewing path of the plurality of viewing paths can thus advantageously be assigned to a cell of a matrix.
  • a viewing point preferably corresponds to a circular area if the viewing path cone is used as the viewing path.
  • the plurality of viewpoints can be projected onto a surface of a second cylinder by means of a two-dimensional projection, the second cylinder preferably corresponding to the first cylinder.
  • the second recording which is available as a two-dimensional projection, and the two-dimensional projection of the plurality of viewing points that are temporally assigned to the second recording are preferably compared with one another to evaluate the user. All objects recognized in the second recording that do not overlap with at least one viewing point are preferably used for the user rating. The object importances of these objects are preferably summed up, as a result of which the user rating turns out better the lower the sum of the object importances of these objects is.
  • the viewing points can be projected onto a spherical surface.
  • the points of view are preferably combined, in particular clustered, into at least one area under consideration.
  • at least one distance between a first viewing area and a second viewing area is preferably determined, with the user evaluation preferably being carried out on the basis of the at least one distance. In particular, the user's attention is reduced the smaller the greatest distance between two viewing areas.
  • the local frequency distribution is compared with a predetermined target frequency distribution. Based on the comparison, an additional user evaluation is carried out.
  • the target frequency distribution is preferably created using a plurality of local frequency distributions from a plurality of other users.
  • the plurality of local frequency distributions are preferably summed up in order to create the target frequency distribution.
  • an area importance is assigned to at least one area in the target frequency distribution.
  • a first area with a higher value of the target frequency distribution is preferably assigned a higher area importance than a second area with a lower value of the target frequency distribution.
  • a first area, selected from the instrument display, in particular speedometer, road, and mirror is assigned a higher area importance than a second area, selected from the interior, sky, and rear seat.
  • the attention of the driver is assessed independently of any recognition of individual objects in the second recording.
  • a motor vehicle in which the method is carried out is controlled and/or operated autonomously.
  • the motor vehicle is preferably stopped if the user rating is not within a predetermined rating range.
  • the motor vehicle is stopped if the user's attention is below a predetermined threshold attention.
  • a warning signal is additionally output based on the user rating in order to warn the user.
  • the warning signal is preferably output if the user rating is not within the predetermined rating range.
  • the warning signal is issued if the user's attention is below the predetermined threshold attention.
  • the object is also achieved by creating a control device that is set up to carry out a method according to the invention or a method according to one or more of the embodiments described above.
  • the control device is preferably a computing device, particularly preferably as a Computer, or as a control unit, in particular as a control unit of a motor vehicle.
  • a computing device particularly preferably as a Computer
  • a control unit in particular as a control unit of a motor vehicle.
  • the control device is preferably set up to be operatively connected to the first sensor and the second sensor and set up to actuate them in each case.
  • the control device is preferably set up, particularly when used in a motor vehicle, to be operatively connected to an engine controller and/or a brake controller and set up for their respective activation.
  • the object is also achieved by creating an evaluation device which has a first sensor, a second sensor and a control device according to the invention or a control device according to one or more of the embodiments described above.
  • an evaluation device which has a first sensor, a second sensor and a control device according to the invention or a control device according to one or more of the embodiments described above.
  • the control device is preferably operatively connected to the first sensor and the second sensor and set up to control them in each case.
  • the control device is preferably operatively connected to the engine controller and/or the brake controller, particularly when used in a motor vehicle, and is set up for their respective activation.
  • the object is also achieved by creating a motor vehicle with an evaluation device according to the invention or an evaluation device according to one or more of the embodiments described above.
  • an evaluation device according to the invention or an evaluation device according to one or more of the embodiments described above.
  • the motor vehicle is designed as a passenger car.
  • the motor vehicle it is also possible for the motor vehicle to be a truck, a commercial vehicle or another motor vehicle.
  • Fig. 1 is a schematic representation of an embodiment of a motor vehicle
  • Fig. 2 is a schematic representation of a flowchart of a
  • Embodiment of a method for user evaluation Embodiment of a method for user evaluation.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1 with an evaluation device 3 .
  • the evaluation device 3 has a first sensor 5 , a second sensor 7 and a control device 9 .
  • the control device 9 is only shown schematically here and is set up in an operatively connected manner with the first sensor 5 and the second sensor 7 in a manner that is not explicitly shown, in order to actuate them in each case.
  • the control device 9 is set up in particular to carry out a method for user evaluation. The method is explained in more detail with reference to FIG.
  • FIG. 2 shows a schematic representation of a flowchart of an exemplary embodiment of the method for user evaluation.
  • a step a) at least one first image 11 of a user, in particular of the eyes of the user, in particular of the user of the motor vehicle 1 , is created by means of the first sensor 5 .
  • a step b) at least one visual path 13, in particular a first visual path 13, of the user is created on the at least one first recording 11.
  • a position and/or an orientation of a user's head is preferably determined in the at least one first recording 11 .
  • at least one pupil of the user is preferably recognized in the at least one first recording 11, with the at least one visual path 13 preferably being created, in particular vector-based, on the position and/or the orientation of the user's head and the at least one recognized pupil of the user .
  • the at least one viewing path 13 is created using the at least one first recording 11, taking into account an actual position of at least one mirror.
  • a second recording 15 of an environment of the user is created by means of the second sensor 7 .
  • step d the second recording 15 is analyzed using a method for object recognition.
  • a method for classifying the detected objects is preferably also carried out in step d).
  • an observation object 17 is determined on the basis of the at least one visual path 13 and the second recording 15 .
  • step f it is preferably checked whether the object under observation 17 is an object recognized by means of the object recognition from step d).
  • Steps a) and b) and/or steps c) and d) are preferably carried out iteratively, with a plurality of viewing paths 13 and/or a plurality of second recordings 15 being created.
  • a plurality of observation objects 17 are determined on the basis of the plurality of viewing paths 13 and the plurality of associated second recordings 15 .
  • a viewing point is derived from each viewing path 13 of the plurality of viewing paths 13, with a local frequency distribution 19 being created from the plurality of viewing points.
  • the user is preferably evaluated using the local frequency distribution 19 in an optional step h).

Abstract

The invention relates to a method for evaluation of a user, wherein - at least a first image capture (11) of a user, in particular of the eyes of the user, is created by a first sensor (5), wherein - at least one path of gaze (13), in particular a first path of the user's gaze (13) is created based on the at least one first image capture (11), wherein - a second image capture (15) of an environment of the user is created by a second sensor (7), wherein the second image capture (15) is analyzed by means of an object recognition method, wherein - an object of observation (17) is determined based on the at least one path of gaze (13) and the second image capture (15).

Description

Verfahren zur Benutzerbewertung, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Bewertungsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Bewertungsvorrichtung Method for user evaluation, control device for carrying out such a method, evaluation device with such a control device and motor vehicle with such an evaluation device
Die Erfindung betrifft ein Verfahren zur Benutzerbewertung, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Bewertungsvorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Bewertungsvorrichtung. The invention relates to a method for user evaluation, a control device for carrying out such a method, an evaluation device with such a control device and a motor vehicle with such an evaluation device.
Es sind Verfahren bekannt, bei denen mittels einer Augenerkennung eines Benutzers die Aufmerksamkeit des Benutzers bewertet wird. Nachteilig an diesen Verfahren ist, dass lediglich eine Bewegung der Augen genutzt wird, um den Benutzer und insbesondere die Aufmerksamkeit des Benutzers zu bewerten. Methods are known in which the user's attention is evaluated by recognizing the user's eyes. A disadvantage of this method is that only a movement of the eyes is used to evaluate the user and in particular the attention of the user.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Benutzerbewertung, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Bewertungsvorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Bewertungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind. The invention is based on the object of creating a method for user evaluation, a control device for carrying out such a method, an evaluation device with such a control device and a motor vehicle with such an evaluation device, the disadvantages mentioned being at least partially eliminated, preferably avoided.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen. The object is achieved by providing the present technical teaching, in particular the teaching of the independent claims and the embodiments disclosed in the dependent claims and the description.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Benutzerbewertung geschaffen wird, wobei mittels eines ersten Sensors mindestens eine erste Aufnahme von einem Benutzer, insbesondere von einem Kopf des Benutzers, erstellt wird. Anhand der mindestens einen ersten Aufnahme wird mindestens ein Sichtpfad, insbesondere ein erster Sichtpfad, des Benutzers erstellt. Weiterhin wird mittels eines zweiten Sensors eine zweite Aufnahme einer Umgebung des Benutzers erstellt. Die zweite Aufnahme wird mittels eines Verfahrens zur Objekterkennung analysiert. Zusätzlich wird anhand des mindestens einen Sichtpfads und der zweiten Aufnahme ein Betrachtungsgegenstand ermittelt. Vorteilhafterweise wird der mindestens eine Sichtpfad des Benutzers und damit eine visuelle Wahrnehmung des Benutzers zusammen mit der zweiten Aufnahme, welche insbesondere eine Umgebungserfassung darstellt, betrachtet. Vorteilhafterweise werden sowohl der mindestens eine Sichtpfad als auch die zweite Aufnahme zur Bewertung des Benutzers herangezogen. The object is achieved in particular by creating a method for user evaluation, with at least one first recording of a user, in particular of a user's head, being created by means of a first sensor. At least one visual path, in particular a first visual path, of the user is created on the basis of the at least one first recording. Furthermore, a second recording of an environment of the user is created by means of a second sensor. The second shot is analyzed using a method for object recognition. In addition, an observation object is determined on the basis of the at least one visual path and the second recording. Advantageously, the at least one visual path of the user and thus a visual perception of the user is viewed together with the second recording, which in particular represents a detection of the surroundings. Advantageously, both the at least one visual path and the second recording are used to evaluate the user.
Vorzugsweise wird das Verfahren in einem Kraftfahrzeug durchgeführt, um insbesondere die visuelle Wahrnehmung und Aufmerksamkeit eines Fahrers zu bewerten. Vorteilhafterweise kann damit die Sicherheit im Straßenverkehr erhöht werden. The method is preferably carried out in a motor vehicle in order in particular to evaluate the visual perception and attentiveness of a driver. Advantageously, this can increase road safety.
Alternativ oder zusätzlich kann das Verfahren zur Benutzerbewertung vorzugsweise genutzt werden, um einen Benutzer zu identifizieren, welcher vorteilhafterweise geeignet ist, um ein insbesondere autonom fahrendes Kraftfahrzeug insbesondere mittels eines Imitationslernen-Algorithmus zu trainieren. Vorzugsweise werden während des Verfahrens gesammelte Daten genutzt, um ein insbesondere autonom fahrendes Kraftfahrzeug insbesondere mittels eines Imitationslernen-Algorithmus zu trainieren. As an alternative or in addition, the method for user evaluation can preferably be used to identify a user who is advantageously suitable for training a motor vehicle, in particular that is driving autonomously, in particular by means of an imitation learning algorithm. Data collected during the method is preferably used in order to train a motor vehicle, in particular that is driving autonomously, in particular by means of an imitation learning algorithm.
Vorzugsweise ist der erste Sensor ein optischer Sensor, insbesondere eine Kamera, besonders bevorzugt eine Stereokamera oder eine TOF-Kamera. Vorteilhafterweise können mit einem solchen optischen Sensor Tiefeninformationen aus der mindestens einen ersten Aufnahme errechnet und/oder erhalten werden. The first sensor is preferably an optical sensor, in particular a camera, particularly preferably a stereo camera or a TOF camera. Such an optical sensor can advantageously be used to calculate and/or obtain depth information from the at least one first recording.
Vorzugsweise ist der zweite Sensor eine 360°-Rundumsicht-Sensorik, welche vorzugsweise ausgebildet ist zur Erfassung von Tiefeninformationen. In einer Ausgestaltung weist die 360°-Rundumsicht-Sensorik eine Mehrzahl an Teilsensoren und eine Recheneinrichtung auf, wobei die Informationen der Mehrzahl an Teilsensoren von der Recheneinrichtung der 360°-Rundumsicht-Sensorik zu einer insbesondere kohärenten insbesondere dreidimensionalen Umgebung zusammengefügt werden. The second sensor is preferably a 360° all-round view sensor system, which is preferably designed to record depth information. In one embodiment, the 360° all-round view sensor system has a plurality of sub-sensors and a computing device, with the information from the plurality of sub-sensors being combined by the computing device of the 360° all-round view sensor system to form a particularly coherent, particularly three-dimensional environment.
Vorzugsweise ist die zweite Aufnahme eine dreidimensionale Aufnahme der Umgebung des Benutzers. Alternativ oder zusätzlich ist vorzugsweise die zweite Aufnahme eine zweidimensionale Projektion der Umgebung auf eine Oberfläche eines ersten Zylinders, wobei der Radius des ersten Zylinders vorzugsweise einer Sensorausleuchtung des zweiten Sensors entspricht. In einer bevorzugten Ausgestaltung werden mittels des Verfahrens zur Objekterkennung erkannte Objekte klassifiziert, wobei vorzugsweise den erkannten Objekten eine Objekt- Wichtigkeit, vorzugsweise in Form einer Skala von 0 (unwichtig) bis 100 (sehr wichtig), zugeordnet wird. Vorzugsweise werden die erkannten Objekte einer Kategorie, ausgewählt aus einer Gruppe, bestehend aus mehrachsigen Kraftfahrzeugen,The second recording is preferably a three-dimensional recording of the user's surroundings. Alternatively or additionally, the second recording is preferably a two-dimensional projection of the surroundings onto a surface of a first cylinder, with the radius of the first cylinder preferably corresponding to a sensor illumination of the second sensor. In a preferred embodiment, objects recognized by the method for object recognition are classified, with the recognized objects preferably being assigned an object importance, preferably in the form of a scale from 0 (unimportant) to 100 (very important). Preferably, the detected objects of a category selected from a group consisting of multi-axle motor vehicles,
Menschen, insbesondere Fußgänger, Fahrräder, Roller, Motorräder, Mopeds, Verkehrsschilder, und Ampeln, zugeordnet, wobei die Objekt-Wichtigkeit vorzugsweise basierend auf der zugeordneten Kategorie bestimmt wird. Alternativ oder zusätzlich wird den erkannten Objekten vorzugsweise mindestens eine Eigenschaft, ausgewählt aus einer Gruppe, bestehend aus der Geschwindigkeit, dem Abstand zum zweiten Sensor, und die Ausrichtung in Bezug auf den zweiten Sensor, zugeordnet, wobei die mindestens eine Eigenschaft vorzugsweise zu Bestimmung der Objekt-Wichtigkeit genutzt wird. Alternativ oder zusätzlich werden vorzugsweise die erkannten Objekte als statisch oder dynamisch klassifiziert. Vorzugsweise werden die erkannten Objekte in der zweiten Aufnahme entsprechend der Klassifizierung und/oder der Objekt-Wichtigkeit markiert. Assigned to people, in particular pedestrians, bicycles, scooters, motorcycles, mopeds, traffic signs and traffic lights, the object importance being preferably determined based on the assigned category. Alternatively or additionally, at least one property, selected from a group consisting of the speed, the distance to the second sensor, and the orientation in relation to the second sensor, is assigned to the detected objects, with the at least one property preferably being used to determine the object - Importance is used. Alternatively or additionally, the detected objects are preferably classified as static or dynamic. The recognized objects are preferably marked in the second recording according to the classification and/or the object importance.
Vorzugsweise erfolgt die Objekterkennung in der zweiten Aufnahme und/oder die Klassifikation der erkannten Objekte mittels eines neuronalen Netzes. Preferably, the object is recognized in the second recording and/or the recognized objects are classified by means of a neural network.
In einer weiteren bevorzugten Ausgestaltung wird dem mindestens einen Sichtpfad mindestens ein Sichtpfad-Kegel zugeordnet, wobei der mindestens eine Sichtpfad-Kegel vorzugsweise ein gerader Kreiskegel mit dem mindestens einen Sichtpfad als Achse ist und wobei der mindestens eine Sichtpfad-Kegel vorzugsweise einen Öffnungswinkel von höchstens 10°, besonders bevorzugt höchstens 5°, aufweist. Vorteilhafterweise kann damit die Leistungsfähigkeit eines menschlichen Auges berücksichtigt werden. In a further preferred embodiment, at least one viewing path cone is assigned to the at least one viewing path, the at least one viewing path cone preferably being a right circular cone with the at least one viewing path as the axis, and the at least one viewing path cone preferably having an opening angle of at most 10 °, particularly preferably at most 5°. The performance of a human eye can thus advantageously be taken into account.
Zusätzlich kann damit vorteilhafterweise eine Ungenauigkeit in der Bestimmung des mindestens einen Sichtpfades kompensiert werden. In addition, an inaccuracy in the determination of the at least one viewing path can advantageously be compensated for.
Vorzugsweise werden der mindestens eine Sichtpfad und die zweite Aufnahme, insbesondere die erkannten Objekte, bezüglich eines identischen Koordinatensystems erstellt und/oder bestimmt. The at least one visual path and the second recording, in particular the detected objects, are preferably created and/or determined with respect to an identical coordinate system.
Alternativ oder zusätzlich wird vorzugsweise die Sensorausleuchtung des zweiten Sensors genutzt, um anhand des mindestens einen Sichtpfads und der zweiten Aufnahme den Betrachtungsgegenstand zu ermitteln. Vorzugsweise wird mindestens ein Sensor, ausgewählt aus einer Gruppe, bestehend aus einem Drehzahlsensor, einem Beschleunigungssensor, und einem Lenkwinkelsensor, genutzt, um den mindestens einen Sichtpfad und/oder den Betrachtungsgegenstand zu ermitteln. Alternatively or additionally, the sensor illumination of the second sensor is preferably used in order to determine the object under observation based on the at least one visual path and the second recording. At least one sensor, selected from a group consisting of a speed sensor, an acceleration sensor and a steering angle sensor, is preferably used to determine the at least one visual path and/or the object under observation.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass geprüft wird, ob der Betrachtungsgegenstand ein mittels der Objekterkennung erkanntes Objekt ist. Vorteilhafterweise kann damit ermittelt werden, ob der Benutzer ein mittels der Objekterkennung erkanntes Objekt ansieht oder ob sich der Benutzer auf einen davon abweichenden Bereich der Umgebung fokussiert. According to a development of the invention, it is provided that a check is made as to whether the object under consideration is an object recognized by means of the object recognition. Advantageously, it can thus be determined whether the user is looking at an object recognized by means of the object recognition or whether the user is focusing on a different area of the environment.
In einer bevorzugten Ausgestaltung wird für mindestens ein mittels des Verfahrens zur Objekterkennung erkanntes Objekt eine zugehörige insbesondere quaderförmige Einhüllende bestimmt. Alternativ wird vorzugsweise für jedes mittels des Verfahrens zur Objekterkennung erkanntes Objekt die zugehörige insbesondere quaderförmige Einhüllende bestimmt. Vorzugsweise liegen alle Punkte eines erkannten Objekts innerhalb der zugehörigen insbesondere quaderförmigen Einhüllenden. Zusätzlich wird vorzugsweise analysiert, ob der mindestens eine Sichtpfad eine der insbesondere quaderförmigen Einhüllenden schneidet. Alternativ oder zusätzlich wird vorzugsweise analysiert, ob der mindestens eine Sichtpfad-Kegel eine der insbesondere quaderförmigen Einhüllenden schneidet. In a preferred refinement, an associated, in particular cuboid, envelope is determined for at least one object recognized by means of the method for object recognition. Alternatively, the associated in particular cuboid envelope is preferably determined for each object recognized by means of the method for object recognition. All points of a recognized object preferably lie within the associated, in particular cuboid, envelope. In addition, it is preferably analyzed whether the at least one viewing path intersects one of the in particular cuboidal envelopes. Alternatively or additionally, it is preferably analyzed whether the at least one viewing path cone intersects one of the in particular cuboidal envelopes.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die mindestens eine erste Aufnahme und die zweite Aufnahme gleichzeitig erstellt werden. Vorteilhafterweise kann damit gewährleistet werden, dass der Betrachtungsgegenstand, welcher insbesondere von dem Benutzer fokussiert wird, auch in der zweiten Aufnahme der Umgebung des Benutzers abgebildet wird. According to a development of the invention, it is provided that the at least one first recording and the second recording are created simultaneously. Advantageously, it can thus be ensured that the object under consideration, which is focused in particular by the user, is also imaged in the second recording of the user's surroundings.
Falls die mindestens eine erste Aufnahme und die zweite Aufnahme nicht gleichzeitig aufgenommen werden, kann ein Bayessches Verfahren, insbesondere ein Kalman-Filter, verwendet werden, um die zeitliche Differenz zwischen der Erstellung der mindestens einen ersten Aufnahme und der Erstellung der zweiten Aufnahme zumindest teilweise zu kompensieren. If the at least one first recording and the second recording are not recorded simultaneously, a Bayesian method, in particular a Kalman filter, can be used to at least partially compensate for the time difference between the creation of the at least one first recording and the creation of the second recording compensate.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der mindestens einen ersten Aufnahme eine Position und/oder eine Orientierung eines Kopfes des Benutzers bestimmt wird. In der mindestens einen ersten Aufnahme wird bevorzugt mindestens eine Pupille des Benutzers erkannt, wobei anhand der Position und/oder der Orientierung des Kopfes des Benutzers und vorzugsweise der mindestens einen erkannten Pupille des Benutzers der mindestens eine Sichtpfad insbesondere Vektor basiert erstellt wird. Vorteilhafterweise bestimmt insbesondere die Position der mindestens einen erkannten Pupille einen Blickvektor, aus welchem der mindestens eine Sichtpfad berechnet werden kann. According to a development of the invention, it is provided that a position and/or an orientation of a head of the user is determined in the at least one first recording. In the at least one first recording, preference is given to at least a pupil of the user is detected, the at least one visual path being created, in particular on a vector basis, based on the position and/or the orientation of the user's head and preferably the at least one detected pupil of the user. In particular, the position of the at least one recognized pupil advantageously determines a viewing vector from which the at least one viewing path can be calculated.
In einer bevorzugten Ausgestaltung werden in der mindestens einen ersten Aufnahme die Position und die Orientierung des Kopfes des Benutzers bestimmt. In a preferred embodiment, the position and the orientation of the user's head are determined in the at least one first recording.
Alternativ oder zusätzlich werden vorzugsweise genau zwei Pupillen des Benutzers erkannt. Für jede Pupille der genau zwei erkannten Pupillen des Benutzers können jeweils ein Blickvektor bestimmt werden. Vorzugsweise schneiden sich die beiden Blickvektoren in einem gemeinsamen Brennpunkt, welcher insbesondere eine Fokussierung des Benutzers angibt. Alternatively or additionally, exactly two pupils of the user are preferably recognized. A gaze vector can be determined for each pupil of the exactly two recognized pupils of the user. The two viewing vectors preferably intersect at a common focal point, which in particular indicates a focusing of the user.
Vorzugsweise wird mittels einer Gesichtserkennung die Position des Kopfes des Benutzers bestimmt. Zusätzlich wird vorzugsweise, insbesondere nach der Gesichtserkennung, mindestens ein Merkmalspunkt, insbesondere eine Mehrzahl an Merkmalspunkten, an dem Kopf des Benutzers bestimmt, wobei mittels des mindestens einen Merkmalspunktes die Orientierung des Kopfes des Benutzers berechnet werden kann. Zusätzlich wird vorzugsweise mindestens eine Information, ausgewählt aus einer Gruppe, bestehend aus dem mindestens einen Merkmalspunkt, der Orientierung des Kopfes des Benutzers, und der Tiefeninformation der mindestens einen ersten Aufnahme, verwendet, um mindestens ein Auge des Benutzers, insbesondere mindestens eine Pupille des Benutzers, zu erkennen. Vorzugsweise steht der Blickvektor senkrecht auf einer Pupillenmitte der mindestens einen erkannten Pupille. Wird nur eine Pupille erkannt, ist der mindestens eine Sichtpfad identisch zu dem Blickvektor. Werden zwei Pupillen erkannt, errechnet sich der mindestens eine Sichtpfad aus den beiden Blickvektoren. The position of the user's head is preferably determined by means of face recognition. In addition, preferably, in particular after face recognition, at least one feature point, in particular a plurality of feature points, is determined on the user's head, with the at least one feature point being able to calculate the orientation of the user's head. In addition, preferably at least one piece of information selected from a group consisting of the at least one feature point, the orientation of the user's head, and the depth information of the at least one first recording is used to protect at least one eye of the user, in particular at least one pupil of the user , to recognize. The viewing vector is preferably perpendicular to a pupil center of the at least one recognized pupil. If only one pupil is detected, the at least one viewing path is identical to the viewing vector. If two pupils are detected, the at least one visual path is calculated from the two visual vectors.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der mindestens eine Sichtpfad anhand der mindestens einen ersten Aufnahme unter Berücksichtigung einer Ist-Position von mindestens einem Spiegel erstellt wird. Vorteilhafterweise kann anhand der Berücksichtigung der Ist-Position des mindestens einen Spiegels erkannt werden, ob der Beobachtungsgegenstand von dem Benutzer mittels des mindestens einen Spiegels beobachtet wird. Damit kann der mindestens eine Sichtpfad vorteilhafterweise sowohl linear sein als auch einen Knick aufweisen. According to one development of the invention, it is provided that the at least one visual path is created using the at least one first recording, taking into account an actual position of at least one mirror. Advantageously, by taking into account the actual position of the at least one mirror, it can be recognized whether the observed object is being viewed by the user by means of the at least one mirror is observed. The at least one viewing path can thus advantageously be both linear and also have a kink.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass eine Mehrzahl an ersten Aufnahmen und eine Mehrzahl an den ersten Aufnahmen insbesondere paarweise zugeordneten zweiten Aufnahmen erstellt wird. Zusätzlich wird eine Mehrzahl an Sichtpfaden erstellt, wobei anhand der Mehrzahl an Sichtpfaden und der Mehrzahl an zugeordneten zweiten Aufnahmen eine Mehrzahl an Betrachtungsgegenständen ermittelt wird. Vorteilhafterweise ist es damit möglich, in einer dynamischen Szene zu ermitteln, welche Betrachtungsgegenstände der Benutzer fokussiert. Vorteilhafterweise wird damit eine Bewertung des Benutzers möglich. According to one development of the invention, it is provided that a plurality of first recordings and a plurality of second recordings, in particular pairs associated with the first recordings, are created. In addition, a plurality of viewing paths is created, with a plurality of observation objects being determined on the basis of the plurality of viewing paths and the plurality of associated second recordings. In this way, it is advantageously possible to determine in a dynamic scene which observation objects the user is focusing on. Advantageously, this enables the user to be evaluated.
Vorzugsweise weist der erste Sensor eine Bildrate zur Erstellung der Mehrzahl an ersten Aufnahmen von 60 Hz auf. Damit ist es vorteilhaft möglich, jede Augenbewegung, insbesondere jede Pupillenbewegung, des Benutzers zu erfassen, da eine Bewegungsrate von einer Pupille typischerweise maximal 50 Hz beträgt. The first sensor preferably has an image rate of 60 Hz for creating the plurality of first recordings. It is thus advantageously possible to detect every eye movement, in particular every pupil movement, of the user, since a movement rate of one pupil is typically a maximum of 50 Hz.
In einer bevorzugten Ausgestaltung erstellt der erste Sensor die Mehrzahl der ersten Aufnahmen in einem zeitlichen Abstand von 50 ms. Zusätzlich erstellt der zweite Sensor die Mehrzahl an zweiten Aufnahmen in einem zeitlichen Abstand von 200 ms. Damit werden vier erste Aufnahmen einer zweiten Aufnahme zugeordnet. Weiterhin werden jeder zweiten Aufnahme vier Sichtpfade zugeordnet, wobei mittels der vier Sichtpfade höchstens vier Betrachtungsgegenstände ermittelt werden können. Insbesondere werden eine erste erste Aufnahme, eine zweite erste Aufnahme, eine dritte erste Aufnahme und eine vierte erste Aufnahme einer ersten zweiten Aufnahme zugeordnet. Zusätzlich werden in der ersten ersten Aufnahme der erste Sichtpfad, in der zweiten ersten Aufnahme ein zweiter Sichtpfad, in der dritten ersten Aufnahme ein dritter Sichtpfad und in der vierten ersten Aufnahme ein vierter Sichtpfad erstellt. Vorzugsweise wird in der ersten zweiten Aufnahme für jedes mittels des Verfahrens zur Objekterkennung erkannten Objekts die zugehörige insbesondere quaderförmige Einhüllende bestimmt. Zusätzlich wird vorzugsweise getestet, ob mindestens ein Sichtpfad, vorzugsweise alle Sichtpfade, ausgewählt aus dem ersten ersten Sichtpfad, dem zweiten ersten Sichtpfad, dem dritten ersten Sichtpfad, und dem vierten ersten Sichtpfad, mindestens eine Einhüllende schneidet. Basierend auf der Anzahl der Schnittpunkte der Sichtpfade mit den Einhüllenden wird vorzugsweise eine Teil- Benutzerbewertung für die erste zweite Aufnahme ermittelt. Insbesondere fällt eine Teil- Benutzerbewertung besser aus, je mehr Schnittpunkte von Sichtpfaden mit Einhüllenden erkannt werden. Zusätzlich wird vorzugsweise eine Benutzerbewertung als Mittelwert über alle Teil-Benutzerbewertungen errechnet. Vorteilhafterweise gibt die Benutzerbewertung an, ob der Benutzer geeignet ist, um ein insbesondere autonom fahrendes Kraftfahrzeug mittels eines Imitationslernen-Algorithmus zu trainieren. In a preferred embodiment, the first sensor creates the majority of the first recordings at a time interval of 50 ms. In addition, the second sensor creates the plurality of second recordings at a time interval of 200 ms. Four first recordings are thus assigned to a second recording. Furthermore, four viewing paths are assigned to every second recording, with a maximum of four viewing objects being able to be determined by means of the four viewing paths. In particular, a first first recording, a second first recording, a third first recording and a fourth first recording are assigned to a first second recording. In addition, the first visual path is created in the first first recording, a second visual path is created in the second first recording, a third visual path is created in the third first recording, and a fourth visual path is created in the fourth first recording. In the first second recording, the associated, in particular cuboid, envelope is preferably determined for each object recognized by means of the method for object recognition. In addition, it is preferably tested whether at least one view path, preferably all view paths, selected from the first first view path, the second first view path, the third first view path, and the fourth first view path, intersects at least one envelope. A partial user rating for the first second recording is preferably determined based on the number of intersection points of the view paths with the envelopes. In particular, a partial user rating is better the more intersections of view paths with envelopes be recognized. In addition, a user rating is preferably calculated as the mean of all partial user ratings. The user rating advantageously indicates whether the user is suitable for training a motor vehicle, in particular one that is driving autonomously, using an imitation learning algorithm.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass aus jedem Sichtpfad der Mehrzahl an Sichtpfaden jeweils ein Betrachtungspunkt abgeleitet wird. Aus der Mehrzahl an Betrachtungspunkten wird eine örtliche Häufigkeitsverteilung erstellt, wobei vorzugsweise der Benutzer anhand der örtlichen Häufigkeitsverteilung bewertet wird. Vorteilhafterweise kann damit jeder Sichtpfad der Mehrzahl an Sichtpfaden einer Zelle einer Matrix zugeordnet werden. According to a further development of the invention, it is provided that one viewing point is derived from each viewing path of the plurality of viewing paths. A local frequency distribution is created from the plurality of observation points, with the user preferably being evaluated using the local frequency distribution. Each viewing path of the plurality of viewing paths can thus advantageously be assigned to a cell of a matrix.
Vorzugsweise entspricht ein Betrachtungspunkt einer Kreisfläche, falls als Sichtpfad der Sichtpfad-Kegel genutzt wird. A viewing point preferably corresponds to a circular area if the viewing path cone is used as the viewing path.
In einer bevorzugten Ausgestaltung können die Mehrzahl an Betrachtungspunkte mittels einer zweidimensionalen Projektion auf eine Oberfläche eines zweiten Zylinders projiziert werden, wobei der zweite Zylinder vorzugsweise dem ersten Zylinder entspricht. Zusätzlich werden zur Bewertung des Benutzers vorzugsweise die zweite Aufnahme, welche als zweidimensionale Projektion vorliegt, und die zweidimensionale Projektion der Mehrzahl an Betrachtungspunkte, die zeitlich der zweiten Aufnahme zugeordnet sind, miteinander verglichen. Vorzugsweise werden alle in der zweiten Aufnahme erkannten Objekte, die nicht mit mindestens einem Betrachtungspunkt überlappen, zu der Benutzerbewertung verwendet. Vorzugsweise werden die Objekt-Wichtigkeiten dieser Objekte aufsummiert, wodurch die Benutzerbewertung besser ausfällt, je geringer die Summe der Objekt-Wichtigkeiten dieser Objekte ist. In a preferred embodiment, the plurality of viewpoints can be projected onto a surface of a second cylinder by means of a two-dimensional projection, the second cylinder preferably corresponding to the first cylinder. In addition, the second recording, which is available as a two-dimensional projection, and the two-dimensional projection of the plurality of viewing points that are temporally assigned to the second recording are preferably compared with one another to evaluate the user. All objects recognized in the second recording that do not overlap with at least one viewing point are preferably used for the user rating. The object importances of these objects are preferably summed up, as a result of which the user rating turns out better the lower the sum of the object importances of these objects is.
In einer weiteren bevorzugten Ausgestaltung können die Betrachtungspunkte auf eine Kugeloberfläche projiziert werden. Zusätzlich werden vorzugsweise die Betrachtungspunkte zu mindestens einem Betrachtungsgebiet zusammengefasst, insbesondere geclustert. Zusätzlich wird vorzugsweise mindestens ein Abstand zwischen einem ersten Betrachtungsgebiet und einem zweiten Betrachtungsgebiet bestimmt, wobei vorzugsweise anhand des mindestens einen Abstands die Benutzerbewertung durchgeführt wird. Insbesondere verringert sich eine Aufmerksamkeit des Benutzers, je kleiner der größte Abstand zwischen zwei Betrachtungsgebieten ist. In einer weiteren bevorzugten Ausgestaltung wird die örtliche Häufigkeitsverteilung mit einer vorbestimmten Soll-Häufigkeitsverteilung verglichen. Basierend auf dem Vergleich wird eine zusätzliche Benutzerbewertung durchgeführt. Vorzugsweise wird die Soll- Häufigkeitsverteilung anhand einer Mehrzahl an örtlichen Häufigkeitsverteilungen von einer Mehrzahl an anderen Benutzern erstellt. Insbesondere werden die Mehrzahl an örtlichen Häufigkeitsverteilungen vorzugsweise aufsummiert, um die Soll- Häufigkeitsverteilung zu erstellen. Alternativ oder zusätzlich wird in der Soll- Häufigkeitsverteilung mindestens einem Bereich eine Bereichs-Wichtigkeit zugeordnet. Vorzugsweise wird einem ersten Bereich mit einem höheren Wert der Soll- Häufigkeitsverteilung eine höhere Bereichs-Wichtigkeit zugeordnet als einem zweiten Bereich mit einem niedrigeren Wert der Soll-Häufigkeitsverteilung. Insbesondere wird einem ersten Bereich, ausgewählt aus Instrumentenanzeige, insbesondere Tacho, Straße, und Spiegel, eine höhere Bereichs-Wichtigkeit zugeordnet als einem zweiten Bereich, ausgewählt aus Innenraum, Himmel, und Rückbank. In a further preferred embodiment, the viewing points can be projected onto a spherical surface. In addition, the points of view are preferably combined, in particular clustered, into at least one area under consideration. In addition, at least one distance between a first viewing area and a second viewing area is preferably determined, with the user evaluation preferably being carried out on the basis of the at least one distance. In particular, the user's attention is reduced the smaller the greatest distance between two viewing areas. In a further preferred embodiment, the local frequency distribution is compared with a predetermined target frequency distribution. Based on the comparison, an additional user evaluation is carried out. The target frequency distribution is preferably created using a plurality of local frequency distributions from a plurality of other users. In particular, the plurality of local frequency distributions are preferably summed up in order to create the target frequency distribution. Alternatively or additionally, an area importance is assigned to at least one area in the target frequency distribution. A first area with a higher value of the target frequency distribution is preferably assigned a higher area importance than a second area with a lower value of the target frequency distribution. In particular, a first area, selected from the instrument display, in particular speedometer, road, and mirror, is assigned a higher area importance than a second area, selected from the interior, sky, and rear seat.
Vorteilhafterweise wird mit der zusätzlichen Benutzerbewertung die Aufmerksamkeit des Fahrers unabhängig von einem Erkennen einzelner Objekte der zweiten Aufnahme bewertet. Advantageously, with the additional user assessment, the attention of the driver is assessed independently of any recognition of individual objects in the second recording.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass basierend auf der Benutzerbewertung ein Kraftfahrzeug, in welchem das Verfahren durchgeführt wird, autonom gesteuert und/oder autonom betrieben wird. Vorzugsweise wird das Kraftfahrzeug gestoppt, falls die Benutzerbewertung nicht in einem vorbestimmten Bewertungsbereich liegt. Insbesondere wird das Kraftfahrzeug gestoppt, falls die Aufmerksamkeit des Benutzers unterhalb einer vorbestimmten Schwellen- Aufmerksamkeit liegt. According to one development of the invention, it is provided that, based on the user rating, a motor vehicle in which the method is carried out is controlled and/or operated autonomously. The motor vehicle is preferably stopped if the user rating is not within a predetermined rating range. In particular, the motor vehicle is stopped if the user's attention is below a predetermined threshold attention.
In einer bevorzugten Ausgestaltung wird zusätzlich basierend auf der Benutzerbewertung ein Warnsignal ausgegeben, um den Benutzer zu warnen. Vorzugsweise wird das Warnsignal ausgegeben, falls die Benutzerbewertung nicht in dem vorbestimmten Bewertungsbereich liegt. Insbesondere wird das Warnsignal ausgegeben, falls die Aufmerksamkeit des Benutzers unterhalb der vorbestimmten Schwellen-Aufmerksamkeit liegt. In a preferred embodiment, a warning signal is additionally output based on the user rating in order to warn the user. The warning signal is preferably output if the user rating is not within the predetermined rating range. In particular, the warning signal is issued if the user's attention is below the predetermined threshold attention.
Die Aufgabe wird auch gelöst, in dem eine Steuervorrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer oder mehrerer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuervorrichtung ist vorzugsweise als Rechenvorrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Kraftfahrzeugs, ausgebildet. In Zusammenhang mit der Steuervorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden. The object is also achieved by creating a control device that is set up to carry out a method according to the invention or a method according to one or more of the embodiments described above. The control device is preferably a computing device, particularly preferably as a Computer, or as a control unit, in particular as a control unit of a motor vehicle. In connection with the control device, there are in particular the advantages that have already been explained in connection with the method.
Die Steuervorrichtung ist bevorzugt eingerichtet, um mit dem ersten Sensor und dem zweiten Sensor wirkverbunden zu werden und eingerichtet zu deren jeweiliger Ansteuerung. Zusätzlich ist die Steuervorrichtung insbesondere bei einer Verwendung in einem Kraftfahrzeug vorzugsweise eingerichtet, um mit einer Motorsteuerung und/oder einer Bremssteuerung wirkverbunden zu werden und eingerichtet zu deren jeweiliger Ansteuerung. The control device is preferably set up to be operatively connected to the first sensor and the second sensor and set up to actuate them in each case. In addition, the control device is preferably set up, particularly when used in a motor vehicle, to be operatively connected to an engine controller and/or a brake controller and set up for their respective activation.
Die Aufgabe wird auch gelöst, indem eine Bewertungsvorrichtung geschaffen wird, die einen ersten Sensor, einen zweiten Sensor und eine erfindungsgemäße Steuervorrichtung oder eine Steuervorrichtung nach einer oder mehrerer der zuvor beschriebenen Ausführungsformen aufweist. In Zusammenhang mit der Bewertungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuervorrichtung erläutert wurden. The object is also achieved by creating an evaluation device which has a first sensor, a second sensor and a control device according to the invention or a control device according to one or more of the embodiments described above. In connection with the evaluation device, there are in particular the advantages that have already been explained in connection with the method and the control device.
Die Steuervorrichtung ist bevorzugt mit dem ersten Sensor und dem zweiten Sensor wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. Zusätzlich ist Steuervorrichtung insbesondere bei einer Verwendung in einem Kraftfahrzeug vorzugsweise mit der Motorsteuerung und/oder der Bremssteuerung wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. The control device is preferably operatively connected to the first sensor and the second sensor and set up to control them in each case. In addition, the control device is preferably operatively connected to the engine controller and/or the brake controller, particularly when used in a motor vehicle, and is set up for their respective activation.
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Bewertungsvorrichtung oder einer Bewertungsvorrichtung nach einer oder mehrerer der zuvor beschriebenen Ausführungsformen geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuervorrichtung und der Bewertungsvorrichtung erläutert wurden. Finally, the object is also achieved by creating a motor vehicle with an evaluation device according to the invention or an evaluation device according to one or more of the embodiments described above. In connection with the motor vehicle, there are in particular the advantages that have already been explained in connection with the method, the control device and the evaluation device.
In einer bevorzugten Ausgestaltung ist das Kraftfahrzeug als ein Personenkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Lastkraftwagen, ein Nutzfahrzeug oder ein anderes Kraftfahrzeug ist. In a preferred embodiment, the motor vehicle is designed as a passenger car. However, it is also possible for the motor vehicle to be a truck, a commercial vehicle or another motor vehicle.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen: The invention is explained in more detail below with reference to the drawing. show:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs, und Fig. 1 is a schematic representation of an embodiment of a motor vehicle, and
Fig. 2 eine schematische Darstellung eines Ablaufdiagramm einesFig. 2 is a schematic representation of a flowchart of a
Ausführungsbeispiels eines Verfahrens zur Benutzerbewertung. Embodiment of a method for user evaluation.
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1 mit einer Bewertungsvorrichtung 3. Die Bewertungsvorrichtung 3 weist einen ersten Sensor 5, einen zweiten Sensor 7 und eine Steuervorrichtung 9 auf. Die Steuervorrichtung 9 ist hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit dem ersten Sensor 5 und dem zweiten Sensor 7 wirkverbunden eingerichtet zu deren jeweiliger Ansteuerung. FIG. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1 with an evaluation device 3 . The evaluation device 3 has a first sensor 5 , a second sensor 7 and a control device 9 . The control device 9 is only shown schematically here and is set up in an operatively connected manner with the first sensor 5 and the second sensor 7 in a manner that is not explicitly shown, in order to actuate them in each case.
Die Steuervorrichtung 9 ist insbesondere eingerichtet zur Durchführung eines Verfahrens zur Benutzerbewertung. Das Verfahren wird anhand von Figur 2 näher erläutert. The control device 9 is set up in particular to carry out a method for user evaluation. The method is explained in more detail with reference to FIG.
Figur 2 zeigt eine schematische Darstellung eines Ablaufdiagramm seinen Ausführungsbeispiels des Verfahrens zur Benutzerbewertung. FIG. 2 shows a schematic representation of a flowchart of an exemplary embodiment of the method for user evaluation.
In einem Schritt a) wird mittels des ersten Sensors 5 mindestens eine erste Aufnahme 11 von einem Benutzer, insbesondere von den Augen des Benutzers, insbesondere des Benutzers des Kraftfahrzeugs 1 , erstellt. In a step a), at least one first image 11 of a user, in particular of the eyes of the user, in particular of the user of the motor vehicle 1 , is created by means of the first sensor 5 .
In einem Schritt b) wird an der mindestens einen ersten Aufnahme 11 mindestens ein Sichtpfad 13, insbesondere ein erster Sichtpfad 13, des Benutzers erstellt. Vorzugsweise wird in der mindestens einen ersten Aufnahme 11 eine Position und oder eine Orientierung eines Kopfes des Benutzers bestimmt. Weiterhin wird vorzugsweise in der mindestens einen ersten Aufnahme 11 mindestens eine Pupille des Benutzers erkannt, wobei vorzugsweise an der Position und/oder der Orientierung des Kopfes des Benutzers und der mindestens einen erkannten Pupille des Benutzers der mindestens eine Sichtpfad 13 insbesondere Vektor-basiert erstellt wird. Alternativ oder zusätzlich wird der mindestens eine Sichtpfad 13 anhand der mindestens einen ersten Aufnahme 11 unter Berücksichtigung einer Ist-Position von mindestens einem Spiegel erstellt. In a step b), at least one visual path 13, in particular a first visual path 13, of the user is created on the at least one first recording 11. A position and/or an orientation of a user's head is preferably determined in the at least one first recording 11 . Furthermore, at least one pupil of the user is preferably recognized in the at least one first recording 11, with the at least one visual path 13 preferably being created, in particular vector-based, on the position and/or the orientation of the user's head and the at least one recognized pupil of the user . Alternatively or additionally, the at least one viewing path 13 is created using the at least one first recording 11, taking into account an actual position of at least one mirror.
In einem Schritt c) wird mittels des zweiten Sensors 7 eine zweite Aufnahme 15 einer Umgebung des Benutzers erstellt. Vorzugsweise werden Schritt c), insbesondere die Erstellung der zweiten Aufnahme 15, und Schritt a), insbesondere die Erstellung der mindestens einen ersten Aufnahme 11, gleichzeitig durchgeführt. In a step c), a second recording 15 of an environment of the user is created by means of the second sensor 7 . Preferably, step c), in particular Creation of the second recording 15, and step a), in particular the creation of the at least one first recording 11, carried out simultaneously.
In einem Schritt d) wird die zweite Aufnahme 15 mittels eines Verfahrens zur Objekterkennung analysiert. Vorzugsweise wird in dem Schritt d) ebenfalls ein Verfahren zur Klassifikation der erkannten Objekte durchgeführt. In a step d), the second recording 15 is analyzed using a method for object recognition. A method for classifying the detected objects is preferably also carried out in step d).
In einem Schritt e) wird anhand des mindestens einen Sichtpfads 13 und der zweiten Aufnahme 15 ein Betrachtungsgegenstand 17 ermittelt. In a step e), an observation object 17 is determined on the basis of the at least one visual path 13 and the second recording 15 .
Vorzugsweise wird in einem optionalen Schritt f) geprüft, ob der Betrachtungsgegenstand 17 eine mittels der Objekterkennung aus Schritt d) erkanntes Objekt ist. In an optional step f), it is preferably checked whether the object under observation 17 is an object recognized by means of the object recognition from step d).
Vorzugsweise werden die Schritte a) und b) und/oder die Schritte c) und d) iterativ durchgeführt, wobei eine Mehrzahl an Sichtpfaden 13 und/oder eine Mehrzahl an zweiten Aufnahmen 15 erstellt werden. Zusätzlich werden in dem Schritt e) anhand der Mehrzahl an Sichtpfaden 13 und der Mehrzahl an zugeordneten zweiten Aufnahmen 15 eine Mehrzahl an Betrachtungsgegenständen 17 ermittelt. Steps a) and b) and/or steps c) and d) are preferably carried out iteratively, with a plurality of viewing paths 13 and/or a plurality of second recordings 15 being created. In addition, in step e) a plurality of observation objects 17 are determined on the basis of the plurality of viewing paths 13 and the plurality of associated second recordings 15 .
Vorzugsweise wird in einem optionalen Schritt g) aus jedem Sichtpfad 13 der Mehrzahl an Sichtpfaden 13 jeweils ein Betrachtungspunkt abgeleitet, wobei aus der Mehrzahl an Betrachtungspunkten eine örtliche Häufigkeitsverteilung 19 erstellt wird. In an optional step g), a viewing point is derived from each viewing path 13 of the plurality of viewing paths 13, with a local frequency distribution 19 being created from the plurality of viewing points.
Vorzugsweise wird der Benutzer anhand der örtlichen Häufigkeitsverteilung 19 in einem optionalen Schritt h) bewertet. The user is preferably evaluated using the local frequency distribution 19 in an optional step h).

Claims

Patentansprüche patent claims
1. Verfahren zur Benutzerbewertung, wobei mittels eines ersten Sensors (5) mindestens eine erste Aufnahme (11) von einem Benutzer, insbesondere von den Augen des Benutzers, erstellt wird, wobei anhand der mindestens einen ersten Aufnahme (11) mindestens ein Sichtpfad (13), insbesondere ein erster Sichtpfad (13), des Benutzers erstellt wird, wobei mittels eines zweiten Sensors (7) eine zweite Aufnahme (15) einer Umgebung des Benutzers erstellt wird, wobei die zweite Aufnahme (15) mittels eines Verfahrens zur Objekterkennung analysiert wird, wobei anhand des mindestens einen Sichtpfads (13) und der zweiten Aufnahme (15) ein Betrachtungsgegenstand (17) ermittelt wird. 1. Method for user evaluation, wherein at least one first recording (11) of a user, in particular of the user's eyes, is created by means of a first sensor (5), wherein at least one visual path (13 ), in particular a first visual path (13) of the user is created, a second recording (15) of an area surrounding the user being created using a second sensor (7), the second recording (15) being analyzed using a method for object recognition , An observation object (17) being determined on the basis of the at least one visual path (13) and the second recording (15).
2. Verfahren nach Anspruch 1, wobei geprüft wird, ob der Betrachtungsgegenstand (17) ein mittels der Objekterkennung erkanntes Objekt ist. 2. The method as claimed in claim 1, it being checked whether the object under observation (17) is an object recognized by means of the object recognition.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine erste Aufnahme (11) und die zweite Aufnahme (15) gleichzeitig erstellt werden. 3. The method according to any one of the preceding claims, wherein the at least one first recording (11) and the second recording (15) are created simultaneously.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der mindestens einen ersten Aufnahme (11) eine Position und/oder eine Orientierung eines Kopfes des Benutzers bestimmt wird, wobei vorzugsweise in der mindestens einen ersten Aufnahme (11) mindestens eine Pupille des Benutzers erkannt wird, wobei anhand der Position und oder der Orientierung des Kopfes des Benutzers und vorzugsweise der mindestens einen erkannten Pupille des Benutzers der mindestens eine Sichtpfad (13) insbesondere Vektor-basiert erstellt wird. 4. The method according to any one of the preceding claims, wherein in the at least one first recording (11) a position and/or an orientation of a head of the user is determined, wherein preferably in the at least one first recording (11) at least one pupil of the user is recognized will, where based on the position and/or the orientation of the user's head and preferably the at least one recognized pupil of the user, the at least one visual path (13) is created, in particular on a vector basis.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine Sichtpfad (13) anhand der mindestens einen ersten Aufnahme (11) unter Berücksichtigung einer Ist-Position von mindestens einem Spiegel erstellt wird. 5. The method according to any one of the preceding claims, wherein the at least one visual path (13) is created based on the at least one first recording (11) taking into account an actual position of at least one mirror.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Mehrzahl an ersten Aufnahmen (11) und eine Mehrzahl an den ersten Aufnahmen (11) insbesondere paarweise zugeordneten zweiten Aufnahmen (15) erstellt wird, wobei eine Mehrzahl an Sichtpfaden (13) erstellt wird, wobei anhand der Mehrzahl an Sichtpfaden (13) und der Mehrzahl an zugeordneten zweiten Aufnahmen (15) eine Mehrzahl an Betrachtungsgegenständen (17) ermittelt wird. 6. The method according to any one of the preceding claims, wherein a plurality of first recordings (11) and a plurality of the first recordings (11), in particular second recordings (15) assigned in pairs, are created, with a plurality of visual paths (13) being created, a plurality of observation objects (17) being determined on the basis of the plurality of viewing paths (13) and the plurality of associated second recordings (15).
7. Verfahren nach Anspruch 6, wobei aus jedem Sichtpfad (13) der Mehrzahl an Sichtpfaden (13) jeweils ein Betrachtungspunkt abgeleitet wird, wobei aus der Mehrzahl an Betrachtungspunkten eine örtliche Häufigkeitsverteilung (19) erstellt wird, wobei vorzugsweise der Benutzer anhand der örtlichen Häufigkeitsverteilung (19) bewertet wird. 7. The method according to claim 6, wherein a viewing point is derived from each viewing path (13) of the plurality of viewing paths (13), wherein a local frequency distribution (19) is created from the plurality of viewing points, the user preferably using the local frequency distribution (19) is evaluated.
8. Steuervorrichtung (9), eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche. 8. Control device (9), set up to carry out a method according to any one of the preceding claims.
9. Bewertungsvorrichtung (3) mit einem ersten Sensor (5), einem zweiten Sensor (7) und eine Steuervorrichtung (9) nach Anspruch 8. 9. Evaluation device (3) with a first sensor (5), a second sensor (7) and a control device (9) according to claim 8.
10. Kraftfahrzeug (1) mit einer Bewertungsvorrichtung (3) nach Anspruch 9. 10. Motor vehicle (1) with an evaluation device (3) according to claim 9.
PCT/EP2022/054322 2021-04-30 2022-02-22 Method for user evaluation, control device for carrying out such a method, evaluation device comprising such a control device and motor vehicle comprising such an evaluation device WO2022228745A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021002301.3 2021-04-30
DE102021002301.3A DE102021002301A1 (en) 2021-04-30 2021-04-30 Method for user evaluation, control device for carrying out such a method, evaluation device with such a control device and motor vehicle with such an evaluation device

Publications (1)

Publication Number Publication Date
WO2022228745A1 true WO2022228745A1 (en) 2022-11-03

Family

ID=76650620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/054322 WO2022228745A1 (en) 2021-04-30 2022-02-22 Method for user evaluation, control device for carrying out such a method, evaluation device comprising such a control device and motor vehicle comprising such an evaluation device

Country Status (2)

Country Link
DE (1) DE102021002301A1 (en)
WO (1) WO2022228745A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006154A2 (en) * 2018-06-26 2020-01-02 Itay Katz Contextual driver monitoring system
WO2020122986A1 (en) * 2019-06-10 2020-06-18 Huawei Technologies Co.Ltd. Driver attention detection using heat maps
WO2021067380A1 (en) * 2019-10-01 2021-04-08 TeleLingo D/B/A dreyev Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006154A2 (en) * 2018-06-26 2020-01-02 Itay Katz Contextual driver monitoring system
WO2020122986A1 (en) * 2019-06-10 2020-06-18 Huawei Technologies Co.Ltd. Driver attention detection using heat maps
WO2021067380A1 (en) * 2019-10-01 2021-04-08 TeleLingo D/B/A dreyev Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness

Also Published As

Publication number Publication date
DE102021002301A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
DE102017200149B4 (en) Method for learning and checking driving behavior of a vehicle driver and vehicle
DE102006010735B4 (en) Vehicle environment monitoring device
DE10131720A1 (en) Head-up display system and method
DE102017107396A1 (en) Test method and test device for driver assistance systems
DE102019109505A1 (en) DATA PROCESSING DEVICE, MONITORING SYSTEM, WECKSYSTEM, DATA PROCESSING METHOD AND DATA PROCESSING PROGRAM
DE102011087901A1 (en) Method for displaying a vehicle environment
EP3392111A1 (en) Method and device for determining a visual deflection of a driver of a vehicle
EP3078015A1 (en) Method and device for generating an alert by means of two images of a vehicle environment obtained via cameras
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102020110417A1 (en) Method and system for assisting a driver
DE102011113081A1 (en) Method for generating face model of driver of motor vehicle, involves identifying position of driver's head in driver image to determine face area, and generating preliminary face model from training data extracted from driver image
WO2022228745A1 (en) Method for user evaluation, control device for carrying out such a method, evaluation device comprising such a control device and motor vehicle comprising such an evaluation device
WO2016096446A1 (en) Foreground-background differentiation in a vehicle
DE602004002081T2 (en) Method and device for the prediction of collisions of a vehicle
WO2022089800A1 (en) Method for providing information about road users
DE102012214720A1 (en) Method for operating object recognition system in motor vehicle, involves providing stereo video images generated from images of three cameras, where monitoring program runs on processor core for generating stereo video image
DE102021117227A1 (en) Analyzing a roundabout
DE102021101805A1 (en) DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES
DE102018107212A1 (en) A method for detecting a traffic area occupancy detection auxiliary element in a surrounding area of a motor vehicle, computer program product and vehicle guidance system
WO2019029966A1 (en) Method and device for driver state evaluation and vehicle
DE102018127471A1 (en) Method and system for warning a driver of a vehicle
DE102022111941B3 (en) Method and system for generating images in a motor vehicle
DE102021205827A1 (en) Automation in a vehicle based on information-minimised sensor data
DE102022002325B4 (en) Method for activating a parking function of a vehicle and for finding potential parking spaces
EP4334905A1 (en) Computer-implemented method for generating a zone of attention

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22707423

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE