WO2019057568A1

WO2019057568A1 - Verfahren und vorrichtung zur beurteilung eines müdigkeitsgrads eines fahrzeuginsassen eines fahrzeugs

Info

Publication number: WO2019057568A1
Application number: PCT/EP2018/074529
Authority: WO
Inventors: Michael Wolfram; Florian Bade; Moritz Blume; Martin BUCHNER; Julia Niemann; Joris Wolters; Carsten Isert
Original assignee: Bayerische Motoren Werke Aktiengesellschaft
Priority date: 2017-09-25
Filing date: 2018-09-12
Publication date: 2019-03-28
Also published as: US11697420B2; CN110770107B; DE102017216875A1; CN110770107A; US20200156649A1

Abstract

Die Erfindung beschreibt ein Verfahren zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen eines Fahrzeugs. Es wird hierzu eine Anzahl an ersten Müdigkeitsindikatoren (MW1-1,…, MW1-n) bereitgestellt, die gemäß einer oder mehreren Berechnungsvorschriften aus einer Mehrzahl von ersten Sensorwerten ermittelt werden und jeweils einen Müdigkeitsgrad des Fahrzeuginsassen repräsentieren, wobei die ersten Sensorwerte Messwerte des Fahrzeugs und/oder eine aktuelle Fahrt betreffende Messwerte repräsentieren. Ein jeweiliger erster Metadatensatz (MD1-1,…, MD1-n) wird zu der Anzahl an ersten Müdigkeitsindikatoren (MW1-1,…, MW1-n) zugeordnet, wobei die ersten Metadatensätze (MD1-1,…, MD1-n) eine Information über die Charakteristik der Sensoren, deren erste Sensorwerte in den jeweiligen ersten Müdigkeitsindikatoren (MW1-1,…, MW1-n) verarbeitet sind, repräsentieren. Weiter wird eine Anzahl an zweiten Müdigkeitsindikatoren (MW2-1,…, MW2-m) bereitgestellt, die gemäß einer oder mehreren Berechnungsvorschriften aus einem oder mehreren zweiten Sensorwerten ermittelt werden und jeweils einen Müdigkeitsgrad des Fahrzeuginsassen repräsentieren, wobei die zweiten Sensorwerte physiologische und/oder physische Parameter des Fahrzeuginsassen repräsentieren. Ein jeweiliger zweiter Metadatensatz (MD2-1,…, MD2-m) wird zu der Anzahl an zweiten Müdigkeitsindikatoren (MW2-1,…, MW2-m) zugeordnet, wobei die zweiten Metadatensätze (MD2-1,…, MD2-n) eine Information über die Charakteristik der Sensoren, deren zweite Sensorwerte in den jeweiligen zweiten Müdigkeitsindikatoren (MW1-1,…, MW1-n) verarbeitet sind, repräsentieren. Durch Gewichtung der Anzahl an ersten Müdigkeitsindikatoren (MW1-1,…, MW1-n) und der Anzahl an zweiten Müdigkeitsindikatoren (MW2-1,…, MW2-m) wird ein Gesamt-Müdigkeitsindikator (GMW) ermittelt, der den Müdigkeitsgrad des Fahrzeuginsassen repräsentiert, wobei die Gewichtung in Abhängigkeit der in dem ersten Metadatensatz (MD1-1,…, MD1-n) und dem zweiten Metadatensatz (MD2-1,…, MD2-m) enthaltenen Informationen über die Charakteristik der Sensoren durchgeführt wird.

Description

Verfahren und Vorrichtung zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen eines Fahrzeugs

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen, insbesondere eines Fahrers, eines Fahrzeugs.

Es sind Techniken bekannt, bei denen z.B. in Abhängigkeit eines Lenkverhaltens und einer Fahrtzeit eines Fahrers eines Kraftfahrzeugs, gegebenenfalls in Kombination mit einer Tageszeit, einem Streckentyp oder einem circadianem Rhythmus, überprüft wird, ob eine Müdigkeit des Fahrers, welche durch den Müdigkeitsgrad charakterisiert ist, gegeben ist. Es kann jedoch vorkommen, dass die oben genannten Indikatoren nicht ausreichend genau für eine sichere und zuverlässige Überwachung des Müdigkeitsgrads sind. Daraus können gefährliche Situationen für den Fahrer bzw. für weitere Verkehrsteilnehmer resultieren. Insbesondere bei einer Unterstützung durch ein oder mehrere Fahrerassistenz- Systeme kann es zu einer erhöhten Müdigkeit, d.h. zu einem erhöhten Müdigkeitsgrad, kommen. Zum Beispiel im Zusammenhang mit Techniken des automatischen oder autonomen Fahrens kann der Müdigkeitsgrad des Fahrers besonders stark erhöht sein. Jedoch kann es auch in solchen Szenarien, bei denen eine weitreichende Unterstützung des Fahrers durch ein oder mehrere Fahrerassistenz-Systeme stattfindet, erstrebenswert oder notwendig sein, dass der Fahrer einen geringen Müdigkeitsgrad hat.

Der Müdigkeitsgrad eines Fahrers kann auch basierend auf Videokameras, welche den Fahrer überwachen, realisiert sein. Durch bildbasierte Verfahren kann beispielsweise eine Zeitdauer, für die ein Augenlid des Fahrers geschlossen ist (sog. Lidschlusszeit), überwacht werden. Die Lidschlusszeit ist diejenige Zeitdauer, für die das Augenlid im geschlossenen Zustand verweilt. Derart kann z.B. ein Sekundenschlaf des Fahrers festgestellt werden und der Müdigkeitsgrad dadurch vergleichsweise genau bestimmt werden.

Jedoch sind solche Techniken vergleichsweise wenig flexibel. Es kann vorkommen, dass ein erhöhter Müdigkeitsgrad aufgrund einer verlängerten Lidschlusszeit bestimmt wird, obwohl der Fahrer eine angemessene bzw. situationsangepasste Aufmerksamkeit gegenüber der Fahrtsituation aufbringt. Es besteht deshalb Bedarf für verbesserte Techniken zur Beurteilung des Müdigkeitsgrads des Fahrers. Insbesondere sollen diese eine flexible und situationsangepasste Überwachung des Müdigkeitsgrads des Fahrers ermöglichen.

Aus der DE 10 201 1 100 564 A1 ist z.B. ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug bekannt, bei dem ein aktueller Vitalparameterwert zumindest eines Vitalparameters des Fahrzeuginsassen und gegebenenfalls ein aktueller Umgebungsparameterwert zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs ermittelt werden. Der aktuelle Vitalparameterwert wird zusammen mit dem aktuellen Umgebungsparameterwert gespeichert und mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen verglichen, der gegebenenfalls zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, der mit dem aktuellen Umgebungsparameterwert korrespondiert. Der Vitalparameterwert wird durch Bildauswertung mittels einer Bilderfassungseinheit erfasster Bilder des Fahrzeuginsassen ermittelt. Dies können beispielsweise eine Pulsfrequenz bzw. Herzfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen sein. Der Umgebungsparameterwert wird zur kontextbezogenen Analyse der ermittelten Vitalparameterwerte genutzt. Umgebungsparameterwerte sind beispielsweise eine aktuelle Position des Fahrzeugs.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung anzugeben, welche die Robustheit der Beurteilung des Müdigkeitsgrads eines Fahrzeuginsassen, insbesondere des Fahrzeugführers des Fahrzeugs, erhöhen.

Diese Aufgabe wird gelöst durch ein Verfahren gemäß den Merkmalen des Anspruches 1 , ein Computerprogrammprodukt gemäß den Merkmalen des Anspruches 1 1 und eine Vorrichtung gemäß den Merkmalen des Anspruches 12. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Ansprüchen.

Es wird ein Verfahren zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen, insbesondere eines Fahrers, eines Fahrzeugs vorgeschlagen, das die folgenden Schritte umfasst: Bereitstellen einer Anzahl an ersten Müdigkeitsindikatoren, die gemäß einer oder mehreren Berechnungsvorschriften aus einer Mehrzahl von ersten Sensorwerten ermittelt werden und jeweils einen Müdigkeitsgrad des Fahrzeuginsassen repräsentieren, wobei die ersten Sensorwerte Messwerte des Fahrzeugs und/oder eine aktuelle Fahrt betreffende Messwerte repräsentieren. Die Anzahl an ersten Müdigkeitsindikatoren kann 1 oder größer sein. Ein erster Müdigkeitsindikator kann gemäß einer Berechnungsvorschrift aus einem einzelnen ersten Sensorwert ermittelt werden. Ein erster Müdigkeitsindikator kann alternativ gemäß einer Berechnungsvorschrift aus mehreren ersten Sensorwerten ermittelt werden. Werden mehrere erste Müdigkeitsindikatoren bereitgestellt, so können diese in beliebiger Kombination gemäß den vorgenannten Varianten ermittelt werden. Die ersten Sensorwerte können Messwerte des Fahrzeugs, wie z.B. ein Lenkwinkel, eine Lenkhäufigkeit, eine Auslösehäufigkeit eines Fahrerassistenzsystems, eine Häufigkeit einer Änderung der Geschwindigkeit des Fahrzeugs, eine Häufigkeit einer Betätigung von Pedalen des Fahrzeugs, eine Genauigkeit, mit welcher der Fahrer einer Fahrspur folgt, ein Zeitverlauf einer Betätigung der Lenkung des Fahrzeugs, ein Lenkwinkel, ein Verlauf des Lenkwinkels, eine Lenkwinkelgeschwindigkeit oder ein Lenkmoment sein. Unter einem eine aktuelle Fahrt betreffenden Messwert werden insbesondere Fahrtsituationsparameter, wie z.B. eine Fahrtzeit (Fahrdauer), eine Tageszeit, ein Streckentyp, ein circadianer Rhythmus und dergleichen, verstanden.

Zuordnen eines jeweiligen ersten Metadatensatzes zu der Anzahl an ersten Müdigkeitsindikatoren, wobei die ersten Metadatensätze eine Information über die Charakteristik der Sensoren, deren erste Sensorwerte in den jeweiligen ersten Müdigkeitsindikatoren verarbeitet sind, repräsentieren. Mit anderen Worten wird insbesondere jedem ersten Müdigkeitsindikator ein erster Metadatensatz zugeordnet. Ein jeweiliger erster Metadatensatz kann ein oder mehrere Metadaten umfassen. Eine Information über die Charakteristik der Sensoren kann beispielsweise eine Verfügbarkeit eines Sensorwerts und/oder eine Genauigkeit der Erfassung eines Sensorwerts umfassen. Mit Hilfe eines ersten Metadatensatzes, der einem ersten Müdigkeitsindikator zugeordnet ist, kann damit die Qualität eines jeweiligen ersten Müdigkeitsindikators gekennzeichnet werden.

Bereitstellen einer Anzahl an zweiten Müdigkeitsindikatoren, die gemäß einer oder mehreren Berechnungsvorschriften aus einem oder mehreren zweiten Sensorwerten ermittelt werden und jeweils einen Müdigkeitsgrad des Fahrzeuginsassen repräsentieren, wobei die zweiten Sensorwerte physiologische und/oder physische Parameter des Fahrzeuginsassen repräsentieren. Ein zweiter Müdigkeitsindikator kann gemäß einer Berechnungsvorschrift aus einem zweiten Sensorwert ermittelt werden. Alternativ kann ein zweiter Müdigkeitsindikator aus mehreren zweiten Sensorwerten ermittelt werden. Werden mehrere zweite Müdigkeitsindikatoren bereitgestellt, so können diese in beliebiger Kombination gemäß den vorgenannten Varianten ermittelt werden. Die zweiten Sensorwerte repräsentieren insbesondere solche Parameter, welche z.B. durch Bildauswertung mittels zumindest einer Bilderfassungseinheit erfasster Bilder des Fahrzeuginsassen ermittelt werden. Bei den zweiten Sensorwerten handelt es sich insbesondere im weiteren Sinne um aktuelle Vitalparameterwerte des Fahrzeuginsassen, dessen Müdigkeitsgrad beurteilt werden soll. Zweite Sensorwerte können beispielsweise eine Pulsfrequenz, eine Atemfrequenz, ein Atemzugvolumen, eine Herzratenvariabilität, eine Hauttemperatur, eine Pumpleistung des Herzens, ein Blutdruck, eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen (auch als Sauerstoffsättigung bezeichnet), eine autonome Körperfunktion und dergleichen sein. Die Erfassung der zweiten Sensorwerte kann mit Sensoren des Fahrzeugs und/oder Sensoren, die der Fahrzeuginsasse am Körper trägt, wie z.B. ein Wearable (Smartwatch, Fitnesstracker, Herzfrequenzsensor, Herzschrittmacher und dergleichen) erfolgen.

Zuordnen eines jeweiligen zweiten Metadatensatzes zu der Anzahl an zweiten Müdigkeitsindikatoren, wobei die zweiten Metadatensätze eine Information über die Charakteristik der Sensoren, deren zweite Sensorwerte in den jeweiligen zweiten Müdigkeitsindikatoren verarbeitet sind, repräsentieren. Insbesondere wird jedem zweiten Müdigkeitsindikator ein zweiter Metadatensatz zugeordnet. Ein jeweiliger zweiter Metadatensatz kann ein o- der mehrere Metadaten umfassen, welche jeweils oder in Kombination die Information über die Charakteristik der Sensoren, deren zweite Sensorwerte in den jeweiligen zweiten Müdigkeitsindikatoren verarbeitet sind, repräsentieren. Insbesondere können dies eine Verfügbarkeit eines Sensorwerts und/oder eine Genauigkeit des Sensorwerts zum Zeitpunkt seiner Erfassung sein. Damit wird eine qualitative Beurteilung eines jeweiligen zweiten Müdigkeitsindikators ermöglicht.

Ermitteln eines den Müdigkeitsgrad des Fahrzeuginsassen repräsentierenden Müdigkeitsindikators durch Gewichtung der Anzahl an ersten Müdigkeitsindikatoren und der An- zahl an zweiten Müdigkeitsindikatoren, wobei die Gewichtung in Abhängigkeit der in einem ersten Metadatensatz und dem zweiten Metadatensatz enthaltenen Informationen über die Charakteristik der Sensoren durchgeführt wird. Insbesondere erfolgt eine jeweilige Gewichtung des ersten bzw. zweiten Müdigkeitsindikators durch einen Gewichtsfaktor, der aus dem ihm zugeordneten ersten bzw. zweiten Metadatensatz ermittelt wird. Mit anderen Worten wird aus den in dem ersten Metadatensatz und dem zweiten Metadatensatz enthaltenen Informationen über die Charakteristik der Sensoren ein jeweiliger Gewichtsparameter bestimmt, welcher zur Gewichtung des zugeordneten ersten bzw. zweiten Müdigkeitsindikators verarbeitet wird. Hieraus wird dann der den Müdigkeitsgrad des Fahrzeuginsassen repräsentierende Gesamt-Müdigkeitsindikator ermittelt.

Dadurch lässt sich im Ergebnis die Robustheit der Beurteilung des Müdigkeitsgrads des Fahrzeuginsassen erhöhen. Dem Vorgehen liegt die Überlegung zu Grunde, dass die ersten Sensorwerte, welche Messwerte des Fahrzeugs und/oder eine aktuelle Fahrt betreffende Messwerte repräsentieren, nur bedingt Aufschluss über die tatsächliche Aufmerksamkeit des Fahrzeuginsassen geben, obwohl die ersten Sensorwerte Prinzip-bedingt genaue Daten sind. Demgegenüber sind die zweiten Sensorwerte, die physiologische und/oder physische Parameter des Fahrzeuginsassen repräsentieren, zwar schwieriger zu erfassen, geben jedoch direkten Aufschluss über die Aufmerksamkeit des Fahrzeugführers. Durch die Kombination und die Gewichtung jeweiliger Müdigkeitsindikatoren lässt sich die Genauigkeit der Beurteilung des Müdigkeitsgrads erhöhen.

Gemäß einer zweckmäßigen Ausgestaltung wird die Gewichtung der Anzahl an ersten Müdigkeitsindikatoren mit dem jeweils zugeordneten ersten Metadatensatz und die Anzahl an zweiten Müdigkeitsindikatoren mit dem jeweils zugeordneten zweiten Metadatensatz durchgeführt, indem aus den Informationen eines jeweiligen Metadatensatzes ein Gewichtsfaktor bestimmt wird. Mit diesem wird es ermöglicht, jeden Müdigkeitsindikator entsprechend der Qualität seiner Sensorwerte stärker oder schwächer zu gewichten, um die Beurteilung des Müdigkeitsgrads des Fahrzeuginsassen im Gesamten zu verbessern.

Eine weitere zweckmäßige Ausgestaltung sieht vor, dass die ersten Metadatensätze und/oder die zweiten Metadatensätze eine Information über die Genauigkeit und/oder Verfügbarkeit der ermittelten ersten und/oder zweiten Sensorwerte repräsentieren. Grund- sätzlich kommen darüber hinaus all solche Metadaten für die Verwendung in einem Meta- datensatz in Betracht, welche geeignet sind, die Charakteristik der Sensoren, deren Sensorwerte in den jeweiligen Müdigkeitsindikatoren verarbeitet sind, hinsichtlich ihrer Qualität beurteilen zu können.

Es ist zweckmäßig, wenn die Gewichtung umso stärker gewählt wird, desto höher die Genauigkeit und/oder Verfügbarkeit der ersten und/oder zweiten Sensorwerte ist. Insbesondere kann die Gewichtung auch zur Laufzeit des Verfahrens angepasst werden. Hierdurch kann die Beurteilung des Müdigkeitsgrads des Fahrzeuginsassen fortlaufend verbessert werden. Insbesondere ist es möglich, die ersten und/oder zweiten Metadatensätze, weiche jeweiligen ersten bzw. zweiten Müdigkeitsindikatoren zugeordnet sind, in einem Speicher des Fahrzeugs zu hinterlegen und adaptiv über die Zeit anzupassen, d.h. zu optimieren. Initial können die ersten und/oder zweiten Metadatensätze mit A-priori-Expertenwis- sen zur Festlegung der Gewichtsfaktoren versehen werden. Durch die Ausführung des Verfahrens zur Laufzeit kann dann die adaptive Verbesserung der Gewichtung erfolgen.

Es ist weiterhin zweckmäßig, wenn in die Gewichtung ein für den Fahrzeuginsassen ermitteltes Personenprofil einfließt. Dies kann insbesondere dadurch erfolgen, dass durch eine Erfassung und Auswertung der zweiten Sensorwerte über die Zeit personenspezifische zweite Metadatensätze erzeugt und verarbeitet werden. Deutet beispielsweise eine niedrige Herzfrequenz im Allgemeinen auf einen höheren Müdigkeitsgrad eines Fahrzeuginsassen hin, so kann durch die Berücksichtigung eines Personenprofils eine für die Person festgestellte typische höhere oder niedrigere Herzfrequenz bei der Beurteilung einer sensorisch erfassten niedrigen Herzfrequenz berücksichtigt werden.

Es ist weiterhin zweckmäßig, wenn bei der Ermittlung des Gesamt-Müdigkeitsindikators aus den gewichteten ersten und zweiten Müdigkeitsindikatoren zusätzlich ein erster und/oder ein zweiter Sensorwert verarbeitet werden. Hierdurch kann die Fusion der unterschiedlichen Müdigkeitsindikatoren nochmals verbessert werden. Gleichzeitig kann die Reaktivität des Verfahrens durch diesen, unter dem Namen„Pipelining" bekannten, Ansatz erhöht werden. Die vorgenannten Vorteile lassen sich auch bei einer weiteren Ausgestaltung, bei der der Gesamtmüdigkeitsindikator gemäß einem vorbestimmen Schema einem Klassifikationswert zugeordnet wird, wobei der Klassifikationswert durch weitere Auswertung eines ersten und/oder eines zweiten Sensorwerts verifiziert und optional angepasst wird, erzielen.

Die Ermittlung des Gesamt-Müdigkeitsindikators kann gemäß einer Ausgestaltung durch ein Regel-basiertes Verfahren durchgeführt werden. In einer anderen Ausgestaltung kann die Ermittlung des Gesamt-Müdigkeitsindikators durch ein, auf maschinellem Lernen basierendes Verfahren durchgeführt werden, wobei insbesondere initial A-priori-Experten- wissen genutzt wird, um die Gewichtung anhand jeweiliger Metadatensätze vorzunehmen.

Die Erfindung schlägt ferner ein Computerprogrammprodukt vor, das in den internen Speicher eines digitalen Computers geladen werden kann und Softwarecodeabschnitte umfasst, mit denen die Schritte gemäß dem hierin beschriebenen Verfahren ausgeführt werden, wenn das Produkt auf einem Computer läuft. Der Computer kann im vorliegenden Fall eine Recheneinheit des Fahrzeugs sein. Das Computerprogrammprodukt kann auf einer CD-ROM, einer DVD, einem USB-Speicherstick und dergleichen verkörpert sein. Das Computerprogrammprodukt kann auch als ein über ein kontaktbehaftetes oder kontaktloses Netzwerk ladbares Signal vorliegen.

Die Erfindung schlägt ferner eine Vorrichtung zur Beurteilung eines Müdigkeitsgrads eines Insassen eines Fahrzeugs vor, die sich dadurch auszeichnet, dass die Vorrichtung eine Recheneinheit umfasst, die zur Ausführung des in dieser Beschreibung wiedergegebenen Verfahrens ausgebildet ist.

Die erfindungsgemäße Vorrichtung weist die gleichen Vorteile auf, die in Verbindung mit dem erfindungsgemäßen Verfahren beschrieben wurden.

Die Erfindung wird nachfolgend näher anhand eines Ausführungsbeispiels in der Zeichnung erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung des Ablaufs des erfindungsgemäßen Verfahrens; und Fig. 2 einen Ablauf des erfindungsgemäßen Verfahrens zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen, insbesondere eines Fahrers, eines Fahrzeugs.

Fig. 1 zeigt eine schematische Darstellung des Ablaufs des erfindungsgemäßen Verfahrens zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen, insbesondere eines Fahrers, eines Fahrzeugs. Die Durchführung des Verfahrens erfolgt in einem in den Figuren nicht näher dargestellten Fahrzeug. Das Fahrzeug verfügt in bekannter Weise über ein Lenkrad oder ein anderes Steuerelement zur Beeinflussung der Querführung, Gas- und Bremshebel oder entsprechende Steuerelemente zur Längsführung sowie eine Vielzahl von Sensoren zur Erfassung von Messwerten des Fahrzeugs und/oder Messwerten, die eine aktuelle Fahrt des Fahrzeugs betreffen.

Von den Sensoren bereitgestellte Messwerte, welche in Fig. 1 erste Sensorwerte SW1 , SW2, SW3 darstellen, sind beispielsweise ein Lenkwinkel, ein Verlauf des Lenkwinkels, eine Lenkwinkelgeschwindigkeit, ein Lenkmoment, ein Zeitverlauf einer Betätigung der Lenkung des Fahrzeugs, eine Genauigkeit, mit welcher der Fahrer einer Fahrspur folgt, und dergleichen. Zu dieser Gruppe von ersten Sensorwerten gehören auch Fahrtsituationsparameter, also eine aktuelle Fahrt betreffende Parameter, wie z.B. eine Fahrtzeit (Fahrdauer), eine Tageszeit, eine Auslösehäufigkeit eines Fahrerassistenz-Systems, eine Häufigkeit einer Änderung der Geschwindigkeit des Fahrzeugs, eine Häufigkeit einer Betätigung von Pedalen des Fahrzeugs, eine Umfeldhelligkeit, ein Streckentyp, ein circadia- ner Rhythmus und dergleichen. Zur Gruppe der ersten Sensorwerte können auch weitere oder andere Fahrtsituationsparameter oder Parameter des Fahrzeugs gehören.

Jeder der Sensorwerte SW1 , SW2, SW3 wird von einem entsprechenden Sensor des Fahrzeugs ermittelt und bereitgestellt. Alternativ kann der erste Sensorwert SW1 , SW2, SW3 von einer Recheneinheit des Fahrzeugs, z.B. einem Steuergerät, bereitgestellt sein, wobei er das Ergebnis einer Verarbeitung dieser Recheneinheit bildet. Ebenso kann ein Sensorwert von außerhalb des Fahrzeugs empfangen werden, wie z.B. eine Wetterinformation.

Die ersten Sensorwerte SW1 , SW2, SW3 werden gemäß einer oder mehreren Berechnungsvorschriften BV1-1 , BV1-n verarbeitet, wobei das Ergebnis der Verarbeitung ein jeweiliger erster Müdigkeitsindikator MW1-1 , MW1-n ist. Die Berechnungsvorschriften BV1 -1 , BV1-n sind beispielsweise Softwarekomponenten, die den oder die ihnen zugeführten ersten Sensorwerte SW1 , SW2, SW3 in bestimmungsgemäßer Weise zu einem jeweiligen ersten Müdigkeitsindikator MW1-1 , MW1-n verarbeiten.

Lediglich beispielhaft sind im vorliegenden Ausführungsbeispiel in der die Berechnungsvorschriften BV1-1 , BV1-n verarbeitenden Recheneinheit 10 lediglich zwei Berechnungsvorschriften BV1-1 und BV1 -n explizit dargestellt. Auf der Recheneinheit 10 kann eine beliebige Anzahl n an Berechnungsvorschriften BV1 -1 , BV1-n ausgeführt werden. Dies bedeutet, die Anzahl n kann 1 oder größer sein. In Fig. 1 wird der Berechnungsvorschrift BV1-1 beispielhaft ein einzelner erster Sensorwert SW1 zur Verarbeitung zugeführt. Die Berechnungsvorschrift BV1-1 verarbeitet den ersten Sensorwert SW1 und ermittelt daraus den ersten Müdigkeitsindikator MW1-1. Demgegenüber werden der Berechnungsvorschrift BV1-n beispielhaft zwei erste Sensorwerte SW2, SW3 zur Verarbeitung und Ermittlung des ersten Müdigkeitsindikators MW1-n zugeführt. Es versteht sich, dass einer jeweiligen Berechnungsvorschrift BV1 -1 , BV1 -n eine beliebige Anzahl an verschiedenen Sensorwerten zugeführt werden kann. Ebenso ist es möglich, einen bestimmten Sensorwert SW1 , SW2, SW3 nicht nur einer der Berechnungsvorschriften BV1-1 , BV1 -n, sondern mehreren der der Berechnungsvorschriften BV1 -1 , BV1 -n zur Verarbeitung zuzuführen.

Neben der Bereitstellung eines jeweiligen ersten Müdigkeitsindikators MW1-1 , MW1-n stellen die jeweiligen Berechnungsvorschriften BV1 -1 , BV1-n einen jeweiligen, dem ersten Müdigkeitsindikator MW1-1 , MW1-n zugeordneten ersten Metadatensatz MD1 - 1 , MD1-n bereit. Dies entspricht dem Verfahrensschritt S10 des Ablaufs in Fig. 2.

Ein jeweiliger erster Metadatensatz MD1 -1 , MD1-n umfasst eine oder mehrere Informationen über die Charakteristik der Sensoren, insbesondere eine Information über die Verfügbarkeit eines Sensorwerts und/oder Genauigkeit der ersten Sensorwerte SW1 , SW2, SW3 zum Zeitpunkt ihrer Erfassung. Anhand der in den ersten Metadatensätzen MD1 -1 , MD1-n enthaltenen Informationen kann damit eine Beurteilung der„Qualität" der durch die Berechnungsvorschriften BV1 -1 , BV1-n ermittelten Müdigkeitsindikato- ren MW1-1 , MW1-n erfolgen. Während die Sensorwerte SW1 , SW2, SW3 präzise Daten sind, geben diese nur bedingt Aufschluss über den tatsächlichen Müdigkeitsgrad des Fahrzeuginsassen und werden daher als indirekte Parameter bezeichnet.

Um die Genauigkeit der Beurteilung des Müdigkeitsgrads des Fahrzeuginsassen zu verbessern, werden daher durch eine Recheneinheit 20 zweite Sensorwerte SW4, SW5, SW6 verarbeitet. Die zweiten Sensorwerte SW4, SW5, SW6 repräsentieren physiologische und/oder physische Parameter des Fahrzeuginsassen. Die zweiten Sensorwerte können z.B. durch Bildauswertung mittels zumindest einer Bilderfassungseinheit erfassten Bilder des Fahrzeuginsassen ermittelt werden. Zu den zweiten Sensorwerten SW4, SW5, SW6 zählen beispielsweise eine Pulsfrequenz, eine Atemfrequenz, ein Atemzugvolumen, eine Herzratenvariabilität, eine Hauttemperatur, eine Pumpleistung des Herzens, ein Blutdruck, eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen oder andere Zustände des Fahrzeuginsassen. Neben in dem Fahrzeug verbauten Sensoren können zur Bereitstellung der zweiten Sensorwerte SW4, SW5, SW6 auch persönliche Gegenstände, wie z.B. Wearables (SmartWatches, Fitnesstracker, Herzfrequenzsensor, Herzschrittmacher, usw.), des Fahrzeuginsassen genutzt werden. Die zweiten Sensorwerte werden als direkte Parameter bezeichnet. Diese geben direkten Aufschluss über die Aufmerksamkeit des Fahrzeuginsassen, sind jedoch aufgrund der mit deren Ermittlung verbundenen Schwierigkeiten häufig ungenauer.

Im Ausführungsbeispiel werden die Sensorwerte SW4, SW5, SW6 Berechnungsvorschriften BV2-1 ,..., BV2-m, die auf einer Recheneinheit 20 als Softwarekomponenten ausgeführt werden, zugeführt. Lediglich beispielhaft sind im vorliegenden Ausführungsbeispiel lediglich zwei Berechnungsvorschriften BV2-1 , BV2-m explizit dargestellt. Auf der Recheneinheit 20 kann eine beliebige Anzahl m an Berechnungsvorschriften BV2-1 , BV2-m ausgeführt werden. Mit anderen Worten kann die Anzahl m > 1 sein. In Fig. 2 werden zu Illustrationszwecken der zweite Sensorwert SW4 einer Berechnungsvorschrift BV2-1 und die zweiten Sensorwerte SW5, SW6 einer Berechnungsvorschrift BV2-m zugeführt.

Jede der Berechnungsvorschriften BV2-1 , BV2-m ermittelt aus dem oder den ihr zugeführten zweiten Sensorwerten SW4, SW5, SW6 einen jeweiligen zweiten Müdigkeitsindikator MW2-1 , MW2-m. Zudem wird jedem zweiten Müdigkeitsindikator MW2-1 , MW2-m ein jeweiliger zweiter Metadatensatz MD2-1 , MD2-m zugeordnet. Die zweiten Metadatensätze MD2-1 , MD2-m umfassen jeweils ein oder mehrere Informationen über die Charakteristik der die Sensorwerte SW4, SW5, SW6 bereitstellenden Sensoren, deren zweite Sensorwerte SW4, SW5, SW6 in den jeweiligen zweiten Müdigkeitsindikatoren MW2-1 , MW2-m verarbeitet sind. Informationen über die Charakteristik der Sensoren sind insbesondere eine Information über die Verfügbarkeit eines Sensorwerts SW4, SW5, SW6 und/oder Genauigkeit der zweiten Sensorwerte SW4, SW5, SW6 zum Zeitpunkt ihrer Erfassung. Auch dadurch ist eine Beurteilung der„Qualität" der zweiten Müdigkeitsindikatoren MW2-1 , MW2-m ermöglicht. Die Bereitstellung dieser Informationen entspricht dem zweiten Schritt S20 im Ablauf der Fig. 2.

Die ersten Müdigkeitsindikatoren MW1-1 , MW1 -n, die ihnen zugeordneten ersten Metadatensätze MD1-1 , MD1 -n sowie die zweiten Müdigkeitsindikatoren MW2-1 , MW2-m und die ihnen zugeordneten zweiten Metadatensätze MD2-1 , MD2-m werden einer Recheneinheit 30 zur weiteren Verarbeitung und Ermittlung eines Gesamt-Müdig- keitsindikators GMW zugeführt.

Die Recheneinheit 10, die Recheneinheit 20 und die Recheneinheit 30 brauchen keine voneinander getrennten Recheneinheiten sein. Vielmehr können diese eine gemeinsame Recheneinheit darstellen.

Die Recheneinheit 30 ermittelt aus den ersten und zweiten Metadatensätzen MD1 -1 , MD1 -n bzw. MD2-1 , MD2-m jeweilige Gewichtungen zur Gewichtung der ihnen zugeordneten ersten bzw. zweiten Müdigkeitsindikatoren MW1 -1 , MW1-n bzw. MW2-1 , MW2-m. Dieser Schritt entspricht dem Verfahrensschritt S30 in Fig. 2. Bei der Ermittlung des Gesamt-Müdigkeitsindikators GMW wird somit die Qualität der ermittelten Müdigkeitsindikatoren MW1-1 , MW1-n bzw. MW2-1 , MW2-m berücksichtigt. Eine jeweilige Gewichtung des ersten bzw. zweiten Müdigkeitsindikators erfolgt mittels eines Gewichtsfaktors, der aus den Informationen ermittelt wird, die in dem ihm zugeordneten ersten bzw. zweiten Metadatensatz enthalten sind. Es wird somit aus den in dem ersten Metadatensatz MD1-1 , MD1-n und dem zweiten Metadatensatz MD2-1 , MD2-m enthaltenen Informationen über die Charakteristik der Sensoren ein jeweiliger Gewichtsparameter bestimmt, welcher zur Gewichtung des zugeordneten ersten bzw. zweiten Müdigkeitsindikators MW1 -1 , MW1-n bzw. MW2-1 , MW2-m verarbeitet wird. Hieraus wird dann der den Müdigkeitsgrad des Fahrzeuginsassen repräsentierende Gesamt-Müdig- keitsindikator GMW ermittelt.

Die Ermittlung der Gewichtsfaktoren zur Gewichtung wird dabei vorzugsweise zur Laufzeit des Verfahrens vorgenommen und optional angepasst, um beispielsweise die aktuelle Verfügbarkeit einzelner Sensorwerte berücksichtigen zu können. Beispielsweise können bei Sensorwerten, die durch Bildverarbeitung ermittelt werden, Bildausfälle durch Abschattungen oder Verdeckungen entstehen, so dass ein hieraus ermittelter Müdigkeitsindikator verfälscht oder von geringer Aussagekraft wäre.

Darüber hinaus ist es möglich, die Gewichtung durch Adaption der Gewichtsfaktoren in Abhängigkeit eines für den Fahrzeuginsassen ermittelten Personenprofils anzupassen. Dies wird z.B. dadurch ermöglicht, dass über eine Vielzahl an Fahrten für einen jeweiligen Fahrzeuginsassen ermittelte Müdigkeitsindikatoren gespeichert und über die Zeit zusammen mit ihren Metadatensätzen an den Fahrzeuginsassen adaptiert werden. So kann beispielsweise berücksichtigt werden, dass ein erster Fahrzeuginsasse in der Lage ist, für eine lange Zeitdauer ohne das Auftreten einer Müdigkeit das Fahrzeug zu führen. Demgegenüber kann bei einem anderen Fahrzeuginsassen festgestellt werden, dass eine Müdigkeit oder ein Aufmerksamkeitsdefizit bereits nach vergleichsweise kürzerer Fahrt auftritt.

Die Ermittlung des Gesamt-Müdigkeitsindikators GMW kann durch ein Regel-basiertes Verfahren oder durch ein Maschinenlernverfahren durchgeführt werden. Dabei kann beispielsweise A-priori-Expertenwissen initial genutzt werden, um Gewichte für die jeweiligen Müdigkeitsindikatoren festzulegen. Mit zunehmender Zeitdauer und zunehmendem Lernfortschritt kann dann eine Anpassung der Gewichtsfaktoren erfolgen.

Der Gesamt-Müdigkeitsindikator GMW wird gemäß einem vorbestimmten Schema durch die Recheneinheit 30 einem Klassifikationswert K1 , Kx zugeordnet, wobei der Klassifikationswert K1 , Kx durch weitere Auswertung eines oder mehrerer Sensorwerte (im Ausführungsbeispiel z.B. des ersten Sensorwertes SW3) verifiziert und optional angepasst wird. Beispielsweise kann ein einzelner, sehr reaktiver Sensorwert, wie beispielsweise die Augenlidöffnung, nicht nur als Eingangsgröße für den Müdigkeitsindikator BV1- n genutzt werden, sondern zusammen mit dem ermittelten Gesamt-Müdigkeitsindikator GMW analysiert werden. Wurde der Fahrzeuginsasse durch den Gesamt-Müdigkeitsindi- kator GMW als schlafend klassifiziert (d.h. der Müdigkeitsgrad ist hoch), sind seine Augen jedoch wieder geöffnet, so wird die finale Klassifikation um eine oder mehrere Stufen in Richtung wach geändert.

Das erfindungsgemäße Verfahren erlaubt es darüber hinaus auch, bei der Ermittlung des Gesamt-Müdigkeitsindikators aus den gewichteten ersten und zweiten Müdigkeitsindikatoren MW1-1 , MW1-n bzw. MW2-1 , MW2-m zusätzlich einen ersten und/oder einen zweiten Sensorwert zu verarbeiten. Im vorliegenden Ausführungsbeispiel wird der zweite Sensorwert SW4 zur unmittelbaren Verarbeitung der Recheneinheit 30 zusätzlich direkt zugeführt.

Bezugszeichenliste

MW1-1,..., MW1-n erste Müdigkeitsindikatoren (n > 1)

MW2-1,..., MW2-m zweite Müdigkeitsindikatoren (m > 1)

MD1-1,..., MD1-n erste Metadatensätze (n > 1)

MD2-1,..., MD2-m zweite Metadatensätze (m > 1)

SW1, SW2, SW3 erster Sensorwert

SW4, SW5, SW6 zweiter Sensorwert

BV1-1,..., BV1-n Berechnungsvorschrift (n > 1)

BV2-1,..., BV2-m Berechnungsvorschrift (m > 1)

GMW Gesamt-Müdigkeitsindikator

K1,..., Kx Klassifikationswert

10 Recheneinheit

20 Recheneinheit

30 Recheneinheit

S10 Verfahrensschritt

S20 Verfahrensschritt

S30 Verfahrensschritt

Claims

Patentansprüche Verfahren zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen eines Fahrzeugs, mit den Schritten:

Bereitstellen einer Anzahl an ersten Müdigkeitsindikatoren (MW1-1 ,..., MW1 - n), die gemäß einer oder mehreren Berechnungsvorschriften aus einer Mehrzahl von ersten Sensorwerten ermittelt werden und jeweils einen Müdigkeitsgrad des Fahrzeuginsassen repräsentieren, wobei die ersten Sensorwerte Messwerte des Fahrzeugs und/oder eine aktuelle Fahrt betreffende Messwerte repräsentieren;

Zuordnen eines jeweiligen ersten Metadatensatzes (MD1-1 ,..., MD1 -n) zu der Anzahl an ersten Müdigkeitsindikatoren (MW1 -1 ,..., MW1-n), wobei die ersten Metadatensätze (MD1-1 ,..., MD1-n) eine Information über die Charakteristik der Sensoren, deren erste Sensorwerte in den jeweiligen ersten Müdigkeitsindikatoren (MW1 -1 ,..., MW1-n) verarbeitet sind, repräsentieren;

Bereitstellen einer Anzahl an zweiten Müdigkeitsindikatoren (MW2-1 ,..., MW2- m), die gemäß einer oder mehreren Berechnungsvorschriften aus einem oder mehreren zweiten Sensorwerten ermittelt werden und jeweils einen Müdigkeitsgrad des Fahrzeuginsassen repräsentieren, wobei die zweiten Sensorwerte physiologische und/oder physische Parameter des Fahrzeuginsassen repräsentieren;

Zuordnen eines jeweiligen zweiten Metadatensatzes (MD2-1 ,..., MD2-m) zu der Anzahl an zweiten Müdigkeitsindikatoren (MW2-1 ,..., MW2-m), wobei die zweiten Metadatensätze (MD2-1 ,..., MD2-n) eine Information über die Charakteristik der Sensoren, deren zweite Sensorwerte in den jeweiligen zweiten Müdigkeitsindikatoren (MW1-1 ,..., MW1 -n) verarbeitet sind, repräsentieren; Ermitteln eines den Müdigkeitsgrad des Fahrzeuginsassen repräsentierenden Gesamt-Müdigkeitsindikators (GMW) durch Gewichtung der Anzahl an ersten Müdigkeitsindikatoren (MW1-1 ,..., MW1-n) und der Anzahl an zweiten Müdigkeitsindikatoren (MW2-1 ,..., MW2-m), wobei die Gewichtung in Abhängigkeit der in dem ersten Metadatensatz (MD1-1 MD1 -n) und dem zweiten Meta- datensatz (MD2-1 ,..., MD2-m) enthaltenen Informationen über die Charakteristik der Sensoren durchgeführt wird.

2. Verfahren nach Anspruch 1 , bei dem die Gewichtung der Anzahl an ersten Müdigkeitsindikatoren (MW1-1 MW1-n) mit dem jeweils zugeordneten ersten Metada- tensatz (MD1-1 ,..., MD1-n) und die Anzahl an zweiten Müdigkeitsindikatoren (MW2-1 ,..., MW2-m) mit dem jeweils zugeordneten zweiten Metadatensatz (MD2- 1 ,..., MD2-m) durchgeführt wird.

3. Verfahren nach Anspruch 1 oder 2, bei dem die ersten Metadatensätze (MD1-1 ,..., MD1-n) und/oder die zweiten Metadatensätze (MD2-1 ,..., MD2-n) eine Information über die Genauigkeit und/oder Verfügbarkeit der ermittelten ersten und/oder zweiten Sensorwerte repräsentieren.

4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Gewichtung umso stärker gewählt wird desto höher die Genauigkeit und/oder Verfügbarkeit der ersten und/oder zweiten Sensorwerte ist.

5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Gewichtung zur Laufzeit des Verfahrens angepasst wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in die Gewichtung ein für den Fahrzeuginsassen ermitteltes Personenprofil einfließt.

7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem bei der Ermittlung des Gesamt-Müdigkeitsindikators (GMW) aus den gewichteten ersten und zweiten Müdigkeitsindikatoren (MW1-1 ,..., MW1 -n; MW2-1 ,..., MW2-m) zusätzlich ein erster und/oder ein zweiter Sensorwert (SW4) verarbeitet wird.

8. Verfahren nach einem der vorhergehenden Ansprüchen, bei dem der Gesamt- Müdigkeitsindikator (GMW) gemäß einem vorbestimmten Schema einem Klassifikationswert zugeordnet wird, wobei der Klassifikationswert durch weitere Auswertung eines ersten und/oder zweiten Sensorwerts (SW3) verifiziert und optional angepasst wird.

9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Ermittlung des Gesamt-Müdigkeitsindikators (GMW) durch ein Regel-basiertes Verfahren durchgeführt wird.

10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Ermittlung des Gesamt-Müdigkeitsindikators (GMW) durch ein, auf maschinellem Lernen basierendes Verfahren durchgeführt wird.

1 1. Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Computers geladen werden kann und Softwarecodeabschnitte umfasst, mit denen die Schritte gemäß einem der vorhergehenden Ansprüche ausgeführt werden, wenn das Produkt auf einem Computer läuft.

12. Vorrichtung zur Beurteilung eines Müdigkeitsgrads eines Fahrzeuginsassen eines Fahrzeugs, dadurch gekennzeichnet, dass die Vorrichtung eine Recheneinheit (30) umfasst, die zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.