WO2019125098A1 - Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos - Google Patents

Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos Download PDF

Info

Publication number
WO2019125098A1
WO2019125098A1 PCT/MX2017/000155 MX2017000155W WO2019125098A1 WO 2019125098 A1 WO2019125098 A1 WO 2019125098A1 MX 2017000155 W MX2017000155 W MX 2017000155W WO 2019125098 A1 WO2019125098 A1 WO 2019125098A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
driving mode
fatigue
detection
mental fatigue
Prior art date
Application number
PCT/MX2017/000155
Other languages
English (en)
French (fr)
Inventor
Dino Alejandro Pardo Guzman
Antonio MARIN HERNANDEZ
Marcos Antonio SANCHEZ GONZALEZ
Original Assignee
Dino Alejandro Pardo Guzman
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dino Alejandro Pardo Guzman filed Critical Dino Alejandro Pardo Guzman
Priority to PCT/MX2017/000155 priority Critical patent/WO2019125098A1/es
Publication of WO2019125098A1 publication Critical patent/WO2019125098A1/es

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Definitions

  • the present invention has its predominant field of application in the monitoring, detection and management of mental fatigue in drivers of truck tracts, based on analysis of look and detection of objects on the road, as well as management through an intelligent road assistant.
  • patent no. US20050073136 details in his invention procedures and system for the analysis and deduction of where the driver's gaze is, using artificial vision algorithms (Camera) Similar to the previous one, the patent no. US20070008151 discloses method and system for the recognition and / or inattention of drivers, especially caused by drowsiness and distraction, is described by detecting and evaluating head movements of the person before a disturbance exerted on the vehicle. In relation to the previous ones, the patent no. US7306337 mentions a method and computer system for monitoring the eye's gaze by means of a camera that directs and centers light towards the eye of the subject that faces a point. Related to previous patents and compared to the present invention, patents lack visibility as to where the driver's gaze is directed since they do not detect if they are seeing an object or if they only have the look without focusing (Cognitive distraction).
  • the patent no. US20100209881 Revindica a system to classify the driving ability of a vehicle based on a diagnosis of maneuvering behavior while driving.
  • the patent no. US9265458 detail in its invention the method and the apparatus for the detection of the toxicity of neuro-pharmaceutical compounds based on eye tracking tests that allows a quantifiable measurement of the cognitive behavior, the function of a subject and his ability to drive.
  • the patent no. ES2259527 refers to a multi-sensory system developed for monitoring the alertness of a driver. It is composed of a system of visual monitoring of the driver and the lateral position of the vehicle, both based on artificial vision techniques, and by a system for monitoring the movement of the steering wheel.
  • the patents CN101739548 and US20130166217 describe methods and systems for the detection of fatigue, where they obtain an image from a camera for the detection of the face and the eyes in order to compare them with a model of pre-established fatigue conditions.
  • the invention CN 104269028 and CN103886717 differ from the previous ones because they perform the detection and monitoring of the face and eyes of the driver for the comparison between the value PERCLOS obtained with a previously predetermined value, in addition the drivers that are in conditions Driving fatigue can be warned in real time.
  • the patent CN102085099 describes the same but additionally includes an image acquisition system with an infrared transmission device for capturing image data from the eye of the driver.
  • the patent CN 103198616 describes a method and a system for detecting driving fatigue based on the recognition of characteristics in the head and the movement of the neck of a driver.
  • the patent CN104574819 mentions a fatigue detection method that is based on the detection of the characteristics of the mouth in video in real time, according to the split position, the degree of opening and the time that elapses with the mouth open , giving an alarm to the driver if it is judged to be in a state of fatigue.
  • the fatigue detection system of the driver of patent CN203885510 differs from the previous one in that the shape of the mouth is judged on the basis of the human eye area, in order to lower the probability of false conclusions, additionally it includes a CCD camera with a circular coaxial ring where two groups of infrared diodes are located.
  • the lighting system of the patent CN105118237 also presents in its invention a camera with an infrared optical filter with different wavelength for day and night, in this way the problem of fatigue detection of the driver when it is worn is solved a pair of glasses that reflect light.
  • Figure 1 is a schematic diagram of the steps of the method of the present invention.
  • Figure 1 shows the different stages of the mental fatigue detection and management method. It starts when the processing unit receives inputs [1A] of data from the artificial vision system [1B] related to the fatigue state of the operators, a PCV measurement algorithm (Percentage of the Road Center) [1 E] is implemented for the fiducial tracking (reference point) of the gaze in relation to the center of the road, defined by a rectangular area of 20 ° (horizontal) x 15 ° (vertical) centered around the main point of fixation of the driver, which makes it possible to detect the direction of the look or where the driver is looking. Likewise, the processor receives dataset from the multiple radars to detect objects [1 F] on the road, finally and at the same time receives data from the inertial sensor (IMU) [1 D] for abnormal conduction detection [1G]
  • IMU inertial sensor

Abstract

Un método y detección y gestión de fatiga mental para aumentar la seguridad y confort de los conductores de tracto camiones, basado en análisis de mirada y detección de objetos en el camino, así como la gestión de mediante un asistente inteligente vial para evitar fatiga mental (cognitiva) con conversaciones y advertencias para el conductor.

Description

MÉTODO DE DETECCIÓN Y GESTIÓN DE FATIGA MENTAL DURANTE LA CONDUCCION BASADO EN ANALISIS DE MIRADA Y DETECCION DE
OBJETOS CAMPO TÉCNICO DE LA INVENCIÓN
La presente invención tiene su campo de aplicación preponderante en el monitoreo, detección y gestión de fatiga mental en conductores de tracto camiones, basado en análisis de mirada y detección de objetos en el camino, así como la gestión mediante un asistente inteligente vial.
ANTECEDENTES DE LA INVENCIÓN
Conducir cuando se lleva 17 horas despierto equivale haber bebido por encima del límite de alcohol permitido, que es de 0.8 gramos por litro de alcohol en sangre, en México ocurren aproximadamente 2.5 millones de accidentes viales por somnolencia y distracción al año, 750,000 personas terminan en el hospital y 45,000 quedan con alguna discapacidad, según cifras ae CONAPRA. Los accidentes automovilísticos por personas con somnolencia o distraídas (Visual o cognitiva) representan la primera causa de muerte y orfandad en niños entre los 0 y 14 años.
Actualmente podemos encontrar invenciones que nos ayuden a identificar o detectar somnolencia y distracciones durante la conducción, dentro de las invenciones utilizadas se encuentra sistemas inteligentes de visión artificial (lo más común) capaces de analizar miradas, porcentajes de parpadeo, movimiento de la cabeza y detección bucal (bostezos).
Sea demostrado que la utilización de teléfonos celulares durante la conducción en carreteras es una solución para evitar la fatiga y la somnolencia mientras que en la ciudad puede producir accidentes mortales, ante esta situación se piensa en la presente invención para reducir la monotonía producida por las largas horas de conducción con resultados altamente alentadores.
Dentro de la búsqueda de tecnologías desarrolladas similares a la presente invención se encuentra la patente no. US20050073136, detalla en su invención procedimientos y sistema para el análisis y la deducción de hacia dónde se encuentra la mirada del conductor, utilizando algoritmos de visión artificial (Cámara) Similar a la anterior, la patente no. US20070008151 describe método y sistema para el reconocimiento y / o desatención de conductores, especialmente causado por somnolencia y distracción, se describe detectando y evaluando movimientos de cabeza de la persona ante una perturbación ejercida sobre el vehículo. Con relación a las anteriores, la patente no. US7306337 menciona método y sistema informático para el seguimiento de la mirada del ojo mediante una cámara que dirige y centra luz hacia el ojo del sujeto que mira hacia un punto. Relacionado a las patentes anteriores y comparado con la presente invención, las patentes carecen de visibilidad de hacia dónde está dirigida la mirada del conductor ya que no detectan si está viendo un objeto o si solo tiene la mirada sin enfocar (Distracción cognitiva).
Dentro de la clasificación de conducción se encuentrj la patente no. US20100209881 Revindica un sistema para clasificar la habilidad de conducción de un vehículo basado en un diagnóstico de comportamiento de maniobras durante la conducción. Así mismo la patente no. US9265458 detallan en su invención el procedimiento y el aparato para la detección de la toxicidad de compuestos neuro-farmacéuticos basado en pruebas de seguimiento ocular que permite una medición cuantificable del comportamiento cognitivo, la función de un sujeto y su habilidad para conducir. Con relación, La patente no. ES2259527 se refiere a un sistema multi-sensoríal desarrollado para la monitorízación del estado de alerta de un conductor. Está compuesto por un sistema de monitorízación visual del conductor y de la posición lateral del vehículo, ambos basados en técnicas de visión artificial, y por un sistema de monitorízación del movimiento del volante.
Asi mismo, las patentes CN101739548 y US20130166217 describen métodos y sistemas para la detección de fatiga, donde obtienen una imagen desde una cámara para la detección del rostro y los ojos con el fin de compararlas con un modelo de condiciones de fatiga preestablecido. Similarmente, la invención CN 104269028 y CN103886717, se diferencian de las anteriores porque realizan la detección y el seguimiento del rostro y los ojos del conductor para la comparación entre el valor PERCLOS obtenido con un valor previamente predeterminado, además los conductores que se encuentran en condiciones de fatiga de conducción pueden ser advertidos en tiempo real. Con relación a las anteriores, la patente CN102085099 describe lo mismo pero adicionalmente incluye un sistema de adquisición de imagen con un dispositivo de transmisión de infrarrojos para capturar datos de imagen del ojo del conductor.
La patente CN 103198616 describe un método y un sistema para detectar la fatiga de conducción basada en el reconocimiento de características en la cabeza y el movimiento del cuello de un conductor. Por otro lado, la patente CN104574819 menciona un método de detección de fatiga que se basa en la detección de las características de la boca en video en tiempo real, según la posición hendida, el grado de apertura y el tiempo que trascurre con la boca abierta, dando una alarma al conductor si se juzga que está en un estado de fatiga. El sistema de detección de fatiga del conductor de la patente CN203885510 se diferencia de la anterior en que la forma de la boca se juzga en base al área de los ojos humanos, a fin de bajar la probabilidad de conclusiones falsas, adicionalmente incluye una cámara CCD con un anillo circular coaxial en donde se encuentran dos grupos de diodos de infrarrojos. El sistema de iluminación de la patente CN105118237 también presenta en su invención una cámara con un filtro óptico de infrarrojos con diferente longitud de onda para el día y para la noche, de esta forma se resuelve el problema de detección de fatiga del conductor cuando se lleva un par de gafas que reflejan la luz.
Un algoritmo que monitorea el movimiento de la cabeza y ojos para detectar el estado de vigilancia de un conductor con una sola cámara ha sido presentado en la patente US6097295A Este sistema detecta robustamente la cabeza y características del rostro como los ojos y boca, además de calcular los casos de oclusión.
Existen métodos que se enfocan en la detección de la fatiga de un conductor midiendo el número de ajustes en períodos predeterminados y comparando estos resultados con el número de ajustes de dirección realizadas por un conductor en estado alerta promedio en el mismo período de tiempo. La investigación sugiere que los conductores fatigados o somnolientos generalmente ajustan el volante con menos frecuencia que los conductores de alerta. Por lo tanto, la patente US7138923B2 presenta un método de detección de la fatiga del conductor mediante el conteo del número de entradas de actividad del volante y la activación de la alarma cuando el recuento cae por debajo de un nivel mínimo.
DESCRIPCION DETALLADA DE LA INVENCIÓN
Los detalles característicos de la presente invención, se muestran claramente en la siguiente descripción y en las figuras que se acompañan, las cuales se mencionan a manera de ejemplo, por lo que no deben considerarse como una limitante para dicha invención.
Breve descripción de las figuras: La figura 1 es un diagrama esquemático de las etapas del método, de la presente invención.
La figura 1 muestra las distintas etapas del método de detección y gestión de fatiga mental. Se inicia cuando la unidad de procesamiento recibe entradas [1A] de datos del sistema de visión artificial [1B] relacionadas al estado de fatiga de los operadores, se implementa un algoritmo de medición PCV (Porcentaje del Centro Vial) [1 E] para el rastreo fiducial (Punto de referencia) de la mirada con relación al centro de la carretera, definido por un área rectangular de 20° (horizontal) x 15° (vertical) centrado al rededor del principal punto de fijación del conductor, lo que permite detectar la dirección de la mirada o hacia donde está viendo el conductor. Así mismo, el procesador recibe dataset de los múltiples radares para detectar objetos [1 F] sobre la carretera, por último y al mismo tiempo recibe datos del sensor inercia (IMU) [1 D] para detección de conducción anormal [1G]
Posteriormente se aplica a los tres datos (Visón artificial y radares e IMU) un algoritmo basado en máquinas vectoriales de soporte [1 H] para fusionar, procesar y analizar para comparar con patrones predeterminados de base de datos para detectar fatiga mental [11]. Si es positiva la detección, se ejecuta el protocolo del sistema de gestión de crisis [1 J]. Si no termina [1 K] y comienza de nuevo.

Claims

REIVINDICACIONES
1. Un método de detección y gestión de fatiga mental para aumentar la seguridad y confort de los conductores de tracto camiones, basado en análisis de mirada y detección de objetos en el camino, así como la gestión mediante un asistente inteligente vial para evitar fatiga mental (cognitiva) con conversaciones y advertencias para el conductor, caracterizado por: a. Una base de datos con patrones predeterminados de modo de conducción para la clasificación de modo de conducción anormales, recopilación de datos de historial fisiológico para cada conductor y protocolos de gestión de crisis;
b. Una unidad de procesamiento de datos recibe y analiza señales del sistemas de visión, detecta síntomas de fatiga en el conductor para detectar fatiga mental del mismo y monitorear modo de conducción;
c. Un módulo de visión artificial con sistema óptico de iluminación VIS-NIR; d. Al menos un sensor IMU para caracterizar los movimientos de conductor y cuantificar su modo de conducción;
e. Módulo de gestión conversacional afectivo para comunicación efectiva con el conductor y en su caso gestión de crisis;
f. Un sistema de alarma vibratoria dispuesto bajo el asiento del conductor para alertar la fatiga;
g. Al menos dos radares automotrices de 24GHz de rango de 10 a 20 m para detección de objetos en el camino como ciclistas, automóviles, personas y cualquier objeto perceptible por el conductor;
h. Un algoritmo de medición PCV (Porcentaje del Centro Vial) para el rastreo fiducial (Punto de referencia) de la mirada con relación al centro de la carretera, definido por un área rectangular de 20° (horizontal) x 15° (vertical) centrado al rededor del principal punto de fijación del conductor, i. Un algoritmo basado en máquinas vectoriales de soporte para fusionar, procesar y analizar datos generados por algoritmo de análisis de mirada y datos de radares para comparar con patrones predeterminados de base de datos para detectar fatiga mental;
2. Un método como el indicado en reivindicación 1 , donde la base de datos con patrones predeterminados de modo de conducción para ia clasificación de estilo, habito y modo de conducción anormales contiene los siguientes patrones: a) cambios azarosos de carril, b) Cambios abruptos de velocidad, c) Liberación simultanea de acelerador y freno, d) Frenados abruptos frecuentes y e) conducción zigzagueante. Para estilo, habito y modo de conducción normal d) Mirada hacia el retrovisor para cambio de carril, e) Velocidad constante y f) Frenada rápida y desaceleración solo si hay objetos de frente (por medio de RADAR);
3. Un método como el indicado en reivindicación 1 , donde la base de datos contiene recopilación de datos de historial fisiológico para cada conductor referente a: a) Edad, b) Años de experiencia como conductor, c) Consumo de fármacos, d) Identificación de enfermedades e e) Historial de accidentes;
4. Un método como el indicado en reivindicación 1 , donde el protocolo de gestión de crisis incluye: a) habilita conversación telefónica de manos libres y sugerir comunicarse con alguno de sus contactos frecuentes, b) Informa noticias calificadas colectivamente como relevantes/interesantes por los conductores y comenta o pregunta en tono provocativo sobre el tema (al mismo tiempo que se detecta pasividad o falta de participación de un conductor en lo individual para sugerir una nueva actividad o grupo de discusión) y c) concurso de chistes grabados por los mismos conductores con su smartphone antes de subir al vehículo;
5. Un método como el indicado en reivindicación 1 , donde el sistema de visión artificial ejecuta un algoritmo de análisis de mirada para determinar la dirección de la vista del conductor;
PCT/MX2017/000155 2017-12-19 2017-12-19 Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos WO2019125098A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/MX2017/000155 WO2019125098A1 (es) 2017-12-19 2017-12-19 Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/MX2017/000155 WO2019125098A1 (es) 2017-12-19 2017-12-19 Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos

Publications (1)

Publication Number Publication Date
WO2019125098A1 true WO2019125098A1 (es) 2019-06-27

Family

ID=66993671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/MX2017/000155 WO2019125098A1 (es) 2017-12-19 2017-12-19 Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos

Country Status (1)

Country Link
WO (1) WO2019125098A1 (es)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100033333A1 (en) * 2006-06-11 2010-02-11 Volva Technology Corp Method and apparatus for determining and analyzing a location of visual interest
US20160046298A1 (en) * 2014-08-18 2016-02-18 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100033333A1 (en) * 2006-06-11 2010-02-11 Volva Technology Corp Method and apparatus for determining and analyzing a location of visual interest
US20160046298A1 (en) * 2014-08-18 2016-02-18 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GASPARE GALATI, 100 YEARS OF RADAR, 31 December 2016 (2016-12-31), pages 296 - 297, ISBN: 978-3-319-00584-3, Retrieved from the Internet <URL:https://link.springer.com/book/10.1007%2F978-3-319-00584-3> [retrieved on 20180716] *
REYES-MUNOZ, ANGELICA ET AL.: "Integration of body sensor networks and vehicular ad-hoc networks for traffic safety", SENSORS, vol. 16, no. 1, 15 January 2016 (2016-01-15), pages 107, XP055394143 *

Similar Documents

Publication Publication Date Title
US10769463B2 (en) Training of vehicles to improve autonomous capabilities
JP7204739B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7032966B2 (ja) 車両安全支援装置および方法
Kaplan et al. Driver behavior analysis for safe driving: A survey
US9720259B2 (en) Eyewear pupilometer
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US20150379362A1 (en) Imaging device based occupant monitoring system supporting multiple functions
WO2019095013A1 (en) Training of vehicles to improve autonomous capabilities
CN106515742A (zh) 一种车道偏离预警方法及系统
US11447140B2 (en) Cognitive tunneling mitigation device for driving
EP3265334B1 (fr) Dispositif et procede de prediction d&#39;un niveau de vigilance chez un conducteur d&#39;un vehicule automobile
CN105931430A (zh) 用于驾驶员状态预警系统的报警灵敏度检测方法及装置
AU2018267553B2 (en) Systems and methods to train vehicles
CA2986160A1 (en) Training of vehicles to imporve autonomous capabilities
AU2018267541A1 (en) Systems and methods of training vehicles
Prasath et al. Driver drowsiness detection using machine learning algorithm
JP7331729B2 (ja) 運転者状態推定装置
JP7331728B2 (ja) 運転者状態推定装置
WO2019125098A1 (es) Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos
JP2021077134A (ja) 車両制御装置および運転者状態判定方法
JP2021077135A (ja) 車両制御装置および運転者状態判定方法
AU2021105935A4 (en) System for determining physiological condition of driver in autonomous driving and alarming the driver using machine learning model
Ibrahim et al. The Application of Driving Fatigue Detection and Monitoring Technologies in Transportation Sector: A Review
Sinha et al. Driver alert system for accident avoidance
Bhavya et al. Intel-Eye: An Innovative System for Accident Detection, Warning and Prevention Using Image Processing (A Two-Way Approach in Eye Gaze Analysis)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935427

Country of ref document: EP

Kind code of ref document: A1