RU2519964C2 - Способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство - Google Patents
Способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство Download PDFInfo
- Publication number
- RU2519964C2 RU2519964C2 RU2012122205/14A RU2012122205A RU2519964C2 RU 2519964 C2 RU2519964 C2 RU 2519964C2 RU 2012122205/14 A RU2012122205/14 A RU 2012122205/14A RU 2012122205 A RU2012122205 A RU 2012122205A RU 2519964 C2 RU2519964 C2 RU 2519964C2
- Authority
- RU
- Russia
- Prior art keywords
- line
- eyelid
- eye
- sign
- driver
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6821—Eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Группа изобретений может быть применима для обнаружения вождения в состоянии усталости. Анализируют изображение глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века, в частности, обходя изображения глаза посредством множества столбцов с помощью прямоугольного эталона признака и записывая расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака. Получают линию верхнего века, получая центральные точки прямоугольного эталона признака в расположении в каждом столбце. Соединяют центральные точки, чтобы сформировать соединительную линию. Принимают соединительную линию в качестве линии верхнего века. Определяют состояние закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века. Собирают статистику по состоянию закрытия глаза и, таким образом, определяют, находится ли водитель в состоянии усталости. Группа изобретений позволяет увеличить помехозащищённость, адаптируемость к изменениям в выражении лица. 3 н. и 14 з.п. ф-лы, 9 ил.
Description
Область техники, к которой относится изобретение
Настоящая заявка относится к технологии безопасного вождения транспортного средства и, в частности, к технологии мониторинга вождения в состоянии усталости.
Известный уровень техники
Целью усовершенствованной технологии безопасности автомобиля является технология активной безопасности; т.е. посредством мониторинга водителя и транспортного средства, а также окружающей обстановки делается заблаговременная оценка возможных опасностей и принятие предупредительных мер. Технология раннего предупреждения усталости водителя представляет собой точно типовую технологию активной безопасности. Когда водитель находится в состоянии усталости, он ослабевает в различной степени в способности восприятия и оценки окружающей обстановки и управления транспортным средством и, таким образом, предрасположен к дорожным происшествиям. Поэтому исследование и разработка высокоэффективной технологии мониторинга в реальном времени и раннего предупреждения касательно внимания водителя могут эффективно уменьшить скрытые опасности, происходящие в результате такого поведения, как вождения в состоянии усталости, для достижения цели обеспечения безопасности водителя и относящегося к нему окружающего персонала.
Технология раннего предупреждения вождения в состоянии усталости, рассматривающая глаза водителя в качестве обнаруживаемого объекта, определяет степень невнимательности, главным образом, посредством обнаружения состояния глаз водителя, которая, в основном, использует камеру для сбора изображений лица и глаза водителя и затем определяет состояние глаза посредством анализа и моделирования изображения. Ключевая технология, связанная с этим, определяет открытое/закрытое состояние глаз водителя.
Большинство современных методов мониторинга усталости определяет, являются ли глаза водителя закрытыми, посредством определения состояния глаза, которые имеют следующие основные проблемы.
1. Низкая скорость обработки. Большой объем обработки должен выполняться над изображениями, и способ анализа является сложным и не может удовлетворять требованиям реального времени, обычно только одной секунды достаточно для обработки нескольких кадров изображения. В процессе вождения, однако, если глаза водителя являются закрытыми или почти закрытыми в течение одной секунды или около этого, в зависимости от разных скоростей автомобиля, водитель не может следить за дорожной ситуацией впереди и может вызвать серьезный инцидент, связанный с безопасностью. Только тогда, когда выполняются требования реального времени, может гарантироваться точность данных и может быть улучшена точность определения.
2. Плохая адаптируемость. Во-первых, состояние глаза может точно определяться посредством изображения хорошего качества; однако, если изображение неясное и количество шумовых точек увеличивается под влиянием таких факторов, как темный свет, разрешение камеры и движение головы водителя, точность не может гарантироваться. Во-вторых, когда водитель двигается вперед и назад или влево и вправо, вызывая изменение по размеру и углу изображения глаза, не может достигаться динамическая адаптация, делая точность неустойчивой.
Вследствие вышеописанных различных недостатков множество способов, выходя из лабораторных условий для фактического использования в автомобиле, не обеспечивают требуемых результатов и, таким образом, оказываются непрактичными.
Сущность изобретения
Настоящая заявка обеспечивает способ и устройство для обнаружения вождения в состоянии усталости, которые могут повысить общую скорость обработки и имеют высокую адаптируемость.
С одной стороны, настоящая заявка обеспечивает способ обнаружения вождения в состоянии усталости, содержащий:
анализ изображения глаза водителя при помощи прямоугольного эталона признака для получения линии верхнего века, в частности обход изображения глаза столбцами при помощи прямоугольного эталона признака и запись расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получение линии верхнего века, принимая центральную точку прямоугольного эталона признака в расположении в качестве точки линии верхнего века;
определение состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости.
С другой стороны, настоящая заявка обеспечивает устройство обнаружения вождения в состоянии усталости, содержащее: модуль получения линии верхнего века для сканирования изображения глаза водителя прямоугольным эталоном признака для получения линии верхнего века; первый модуль определения для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и модуль определения состояния усталости для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости.
Модуль получения линии верхнего века содержит: блок сканирования для перемещения прямоугольного эталона признака по каждому столбцу изображения глаза; блок вычисления разности шкалы оттенков серого для записи расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака; и блок вычерчивания линии верхнего века для принятия центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века.
В примере, устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль подгонки, используемый для выполнения подгонки кривой к линии века квадратным многочленом для получения выражения квадратного многочлена линии века, рассматривая квадратичный коэффициент выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века; первый модуль определения используется для сравнения квадратичного коэффициента с предустановленным порогом кривизны линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.
В другом примере порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяется первым модулем определения, что глаза водителя находятся в открытом состоянии; когда квадратичный коэффициент меньше второго порога, определяется первым модулем определения, что глаза водителя находятся в закрытом состоянии; когда квадратичный коэффициент находится между первым и вторым порогами, второй модуль определения дополнительно включен для вспомогательного определения состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками.
В примере устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль получения линии нижнего века для сканирования изображения глаза посредством прямоугольного эталона признака, основываясь на полученной линии верхнего века для получения линии нижнего века. Второй модуль определения включает в себя: блок вычисления промежутка между линиями верхнего и нижнего века для вычисления среднего промежутка между линиями верхнего и нижнего века; и блок сравнения промежутка для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.
В примере порог промежутка между линиями века изменяется динамически с кривизной или значением признака кривизны линии верхнего века; когда средний промежуток между линиями верхнего и нижнего века больше порога промежутка между линиями века, определяется, что глаза водителя находятся в открытом состоянии, иначе, они находятся в закрытом состоянии.
В примере, модуль получения линии верхнего века дополнительно включает в себя блок интегрирования, используемый для интегрирования изображения глаза перед обходом изображения глаза для получения интегрального изображения глаза; модуль получения линии верхнего века выполнен с возможностью сканирования интегрального изображения глаза прямоугольным эталоном признака, вычисления значения признака прямоугольного эталона признака в каждом расположении, причем значение каждой точки в интегральном изображении глаза равно сумме шкалы оттенков серого прямоугольной области в изображении глаза с началом отсчета и этой точкой в качестве диагональных точек, причем сумма шкалы оттенков серого одного прямоугольника равна значению в верхнем левом углу прямоугольника плюс значение в нижнем правом углу минус значение в нижнем левом углу минус значение в верхнем правом углу.
В другом примере, устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль снижения шума, используемый для снижения шума полученной линии верхнего века, причем модуль снижения шума включает в себя: блок деления линии века для обнаружения точек разрыва на линии века и деления линии века на несколько секций, принимая точки разрыва в качестве точек сегментации; блок определения доверительной секции для определения доверительной секции на линии века в качестве основы линии века; и блок коррекции линии века для сканирования локально прямоугольным эталоном признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
С еще другой стороны, настоящая заявка обеспечивает автомобиль, содержащий: устройство камеры, закрепленное около положения водителя, для съемки изображения лица водителя; и устройство обнаружения вождения в состоянии усталости, описанное выше, размещенное на автомобиле для приема и обработки данных изображения от устройства камеры.
Настоящая заявка дополнительно описывает исполняемую компьютером программу, которая может выполнять следующие функции посредством компьютера:
анализ изображения глаза водителя прямоугольным эталоном признака для получения линии верхнего века, в частности обход изображения глаза столбцами посредством прямоугольного эталона признака и запись расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получение линии верхнего века принятием центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века;
определение состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости.
Настоящая заявка дополнительно описывает считываемый компьютером носитель с вышеописанной исполняемой компьютером программой, записанной на нем, которая может выполнять следующие функции компьютером:
анализ области изображения глаза водителя прямоугольным эталоном характеристики для получения линии верхнего века, в частности обход изображения глаза столбцами посредством прямоугольного эталона признака и запись расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона характеристики, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получение линии верхнего века принятием центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века;
определение состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости.
Настоящая заявка, использующая прямоугольный эталон признака для сканирования и поиска области глаза и вычерчивания линии века, имеет хорошую помехозащищенность; посредством объединения прямоугольных эталонов разных размеров во время снижения шума может вычерчиваться линия века, более совпадающая с фактической линией века. Настоящая заявка, не требующая сложной и отнимающей много времени обработки изображения, имеет высокое общее быстродействие и эффективность. Настоящая заявка, определяющая, являются ли глаза открытыми или закрытыми в соответствии с формой верхнего века, является более точной, так как линия верхнего века имеет более высокую относительную контрастность, помехозащищенность и адаптируемость к изменениям в выражении лица.
Краткое описание чертежей
Фиг.1 представляет собой схематический вид конструкции устройства обнаружения линии века согласно примеру заявки;
фиг.2 представляет собой схематический вид конструкции устройства обнаружения вождения в состоянии усталости согласно примеру заявки;
фиг.3 представляет собой блок-схему последовательности операций способа обнаружения вождения в состоянии усталости согласно примеру заявки;
фиг.4 представляет собой схематический вид грубого определения расположения линии верхнего века;
фиг.5 представляет собой схематический вид вычисления значения признака эталона при помощи интегрального изображения;
фиг.6 представляет собой схематический вид коррекции линии верхнего века;
фиг.7 представляет собой схематический вид конструкции устройства обнаружения вождения в состоянии усталости согласно другому примеру заявки;
фиг.8 представляет собой блок-схему последовательности операций способа обнаружения вождения в состоянии усталости согласно другому примеру заявки; и
фиг.9 представляет собой схематический вид определения расположения линии нижнего века.
Подробное описание
Заявка ниже более подробно описывается совместно с вариантами осуществления и чертежами.
Пример 1:
Как показано на фиг.1, в примере согласно заявке обнаруживается линия, соответствующая веку, т.е. линия века, посредством прямоугольного эталона признака. Устройство обнаружения линии века включает в себя модуль 110 получения изображения глаза и модуль 120 получения линии века. Модуль 110 получения изображения глаза используется для получения изображения глаза водителя; и модуль 120 получения линии века используется для сканирования изображения глаза водителя посредством прямоугольного эталона признака для получения линии века. В примере, модуль 120 получения линии века может дополнительно включать в себя блок 122 сканирования, блок 123 вычисления разности шкалы оттенков серого и блок 124 вычерчивания линии века. Блок 122 сканирования используется для сканирования столбцами изображения глаза водителя посредством прямоугольного эталона признака; блок 123 вычисления разности шкалы оттенков серого используется для записи расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака; блок 124 вычерчивания линии века используется для получения линии века посредством принятия центральной точки прямоугольного эталона признака в расположении в качестве точки на линии века.
В другом примере, модуль 120 получения линии века дополнительно включает в себя блок 121 интегрирования для интегрирования изображения глаза для получения интегрального изображения глаза; блок 122 сканирования сканирует интегральное изображение глаза посредством прямоугольного эталона признака, причем значение шкалы оттенков серого каждой точки в интегральном изображении глаза равно сумме шкалы оттенков серого прямоугольной области в изображении глаза с началом отсчета и этой точкой в качестве диагональных точек.
В еще другом примере устройство обнаружения линии века дополнительно включает в себя модуль 130 снижения шума, используемый для снижения шума полученной линии века, причем модуль 130 снижения шума включает в себя: блок 131 деления линии века, блок 132 определения доверительной секции и блок 133 коррекции линии века. Блок 131 деления линии века используется для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации; блок 132 определения доверительной секции используется для определения доверительной секции на линии века в качестве основы линии века; и блок 133 коррекции линии века используется для сканирования посредством прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
Пример 2:
Как показано на фиг.2, пример, показанный на фиг.2, представляет собой применение вышеописанного устройства обнаружения линии века в устройстве обнаружения вождения в состоянии усталости, причем устройство обнаружения вождения в состоянии усталости включает в себя: модуль 210 получения изображения глаза, модуль 220 получения линии верхнего века, первый модуль 250 определения и модуль 260 определения состояния усталости. Модуль 210 получения изображения глаза используется для получения изображения глаза водителя в соответствии с изображением лица водителя, снятым устройством камеры (например, камерой); модуль 220 получения линии верхнего века используется для сканирования изображения глаза водителя посредством прямоугольного эталона признака для получения линии, соответствующей верхнему веку, т.е. линии верхнего века; первый модуль 250 определения используется для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и модуль 260 определения состояния усталости используется для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости.
Модуль 220 получения линии верхнего века включает в себя: блок 221 интегрирования, блок 222 сканирования, блок 223 вычисления разности шкалы оттенков серого и блок 224 вычерчивания линии верхнего века. Блок 221 интегрирования используется для интегрирования изображения глаза для получения интегрального изображения глаза; блок 222 сканирования используется для сканирования интегрального изображения глаза посредством прямоугольного эталона признака, конкретно перемещаясь по каждому столбцу интегрального изображения для вычисления значения шкалы оттенков серого каждой точки. В интегральном изображении глаза значение шкалы оттенков серого каждой точки равно сумме шкалы яркостей прямоугольной области в изображении глаза с началом отсчета и данной точкой в качестве диагональных точек. Блок 223 вычисления разности шкалы оттенков серого используется для записи расположения в каждом столбце, где является максимальным значение признака прямоугольного эталона признака, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака; блок 224 вычерчивания линии верхнего века используется для принятия центральной точки прямоугольного эталона признака в расположении в качестве точки на линии верхнего века, и, таким образом, сканирования и вычисления каждого столбца в интегральном изображении для вычерчивания линии века.
В примере, так как предварительно полученная линия века должна быть дополнительно скорректирована после ее получения, устройство обнаружения вождения в состоянии усталости дополнительно включает в себя модуль 230 снижения шума для удаления некоторых точек помех или сегментов линии с помехами на предварительной линии века. Модуль 230 снижения шума включает в себя: блок 231 деления линии века, блок 232 определения доверительной секции и блок 233 коррекции линии века. Блок 231 деления линии века используется для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации; блок 232 определения доверительной секции используется для определения доверительной секции на линии века в качестве основы линии века; и блок 233 коррекции линии века используется для сканирования посредством прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
В другом примере кривизна или значение характеристики кривизны линии верхнего века получается посредством модуля 240 подгонки, который выполняет подгонку кривой на линии века квадратным многочленом для получения выражения квадратного многочлена линии века, с квадратичным коэффициентом выражения квадратного многочлена в качестве кривизны или значения характеристики кривизны линии верхнего века; первый модуль 250 определения используется для сравнения квадратичного коэффициента с предустановленным порогом кривизны линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.
Как показано на фиг.3, способ обнаружения вождения в состоянии усталости с вышеупомянутым устройством обнаружения вождения в состоянии усталости включает в себя следующие этапы.
Этап 310, сбор изображения лица водителя. Например, съемка изображения лица водителя при помощи инфракрасной камеры, установленной впереди или впереди снизу водителя, для получения данных изображения лица водителя и затем переход на этап 320.
Этап 320, определение расположения областей брови и глаза на изображении лица. Могут использоваться различные существующие решения определения расположения областей брови и глаза, и этот пример описывает только способ обнаружения глаз с примером. Например, определение расположения зоны лица в соответствии с классификатором признаков лица с предварительным обучением. После считывания каждого кадра видеоизображения анализ информации изображения лица в соответствии с признаками Харра, записанными в классификаторе признаков лица, и выполнение распознавания образов на изображении посредством алгоритма адаптивного усиления (AdaBoost) и связанного классификатора признаков лица для калибровки зоны лица в изображении. Затем определение представляющей интерес зоны для обнаружения глаза в зоне лица в соответствии с основным расположением, где расположены глаза водителя, например середины области лица, для сужения диапазона обнаружения глаз и повышения скорости обнаружения. И затем анализ изображения представляющей интерес зоны для обнаружения глаз в соответствии с признаками глаза, записанными в классификатор признаков глаза с предварительным обучением для определения расположения области глаза. Переход на этап 330 после определения расположения области глаза.
Этап 330, грубое определение расположения линии верхнего века в области глаза. Сканирование изображения глаза прямоугольным эталоном признака, обход каждого столбца изображения глаза и анализ изменения шкалы оттенков серого изображения глаза, таким образом получая линию верхнего века. Прямоугольный эталон признака представляет собой прямоугольное окно, которое используется для перемещения по каждому столбцу изображения глаза, как показано на фиг.4; вычисление разности шкалы оттенков серого между верхней и нижней половинами прямоугольника прямоугольного эталона признака (прямоугольник на чертеже) в каждом расположении в процессе перемещения и запись расположения самого большого значения признака посредством определения разности шкалы оттенков серого, представляющей собой значение признака прямоугольного эталона признака, с центральной точкой прямоугольного эталона признака в расположении в качестве точки на линии верхнего века. Обход последовательно каждого столбца, при этом одна точка на каждом столбце записывается в качестве точки на линии верхнего века, причем все точки вместе дают вычерченную линию века.
В примере, чтобы повысить рабочую скорость, интегрирование изображения глаза после грубого определения расположения изображения глаза для получения интегрального изображения глаза, причем значение точки P в интегральном изображении равно сумме шкалы оттенков серого прямоугольной области в изображении шкалы оттенков серого с началом отсчета изображения и точкой P в качестве диагональных точек. Интегральное изображение S изображения I шкалы оттенков серого определяется следующим образом:
Разность шкалы оттенков серого между верхней и нижней частями прямоугольного эталона характеристики вычисляется так, как показано на фиг.5. Значение точки P1 означает сумму шкалы оттенков серого области A и просто записывается как A; значение точки P2 равно A+B; значение точки P3 равно A+C; и значение точки P4 равно A+B+C+D. Следовательно, сумма шкалы оттенков серого прямоугольной области D, окруженной точками P1, P2, P3 и P4, может быть представлена как P1+P4-P2-P3. Вычисление признака серого цвета прямоугольного эталона с помощью интегрального изображения не связано с размером прямоугольника.
Для вычисления интегрального изображения необходимо только обойти один раз изображение и записать значение шкалы оттенков серого каждой точки, а не вычислять один раз для каждого обхода, таким образом делая скорость вычисления очень малой посредством вычисления значения характеристики при помощи интегрального изображения.
Для дополнительного повышения точности может выполняться много раз сопоставление по верхнему веку от грубой формы к точной. Сначала использование большего прямоугольного эталона для поиска линии века и затем сканирование меньшим прямоугольным эталоном около полученной линии века, при этом выполняя операцию таким образом много раз. Больший прямоугольный эталон имеет лучшую помехозащищенность, тогда как меньший прямоугольный эталон может лучше совпадать с фактическим краем.
Размер прямоугольного эталона может или задаваться статично, или определяться динамически в соответствии с размером изображения, причем последнее имеет лучшую адаптируемость.
После предварительного вычерчивания линии верхнего века, чтобы сделать вычерченную линию века более совпадающей с фактической линией века, снижение шума предварительно вычерченной линии верхнего века на этапе 340 для удаления неправдоподобных точек или секций на линии века. Процесс снижения шума включает в себя следующие этапы.
1. Обнаружение точек разрыва на линии века и деление линии века на несколько секций, принимая точки разрыва в качестве точек сегментации. Вычисление разности расстояния в продольном направлении между передней и задней точками для нахождения точек, имеющих разность расстояния больше заданного порога, и деление линии верхнего века на несколько секций, как показано на фиг.6, где вся линия века может быть разделена на четыре секции E, F, G и H. Порог Df может быть вычислен по следующей формуле, где L представляет собой длину линии верхнего века, и n - эмпирическое значение.
2. Определение доверительной секции на линии века в качестве основы линии века.
3. Сканирование прямоугольным эталоном признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
Сканирование прямоугольным эталоном признака влево и вправо от обоих концов доверительной секции для удлинения секции, где отсканированный диапазон представляет собой область действия с некоторыми верхним и нижним порогами, принимая координату Y начальной точки в качестве центра, пороги могут регулироваться в соответствии с размером изображения и могут быть меньше разности расстояния при поиске точек разрыва. Например, правый конец самой большой секции имеет значение X, равное 30, и значение Y, равное 20, а также значение порога 5, и тогда сканированный диапазон следующей точки находится между линией 31 и линиями 15-25. Затем поиск следующей точки, основываясь на новом правом конце, и т.д. Как показано на фиг.6, сплошная линия представляет собой предварительно обнаруженную линию века, и пунктирные линии на обоих концах сплошной линии представляют собой линию века, удлиненную посредством сканирования прямоугольным эталоном признака, при этом случай аналогичен для левой стороны.
Существуют следующие два случая при определении доверительной секции.
1. Нахождение секции, имеющей длину более 1/2L в нескольких разделенных секциях, и взятие этой секции в качестве доверительной секции; и затем удлинение этой секции к обеим сторонам по способу на этапе 3.
2. Если доверительная секция не найдена согласно случаю 1, нахождение всех секций, имеющих длину более 1/4L, и обработка их в соответствии с количеством секций, удовлетворяющих условиям соответственно.
Если есть только одна секция, имеющая длину более 1/4L, нахождение самой длинной секции в остальных секциях и обработка их в соответствии с двумя секциями.
Если есть две секции, удовлетворяющие условиям, удлинение одной из них к другой секции аналогично этапу 3, и, если удлинение перекрывается с другой секцией, образование новой секции, составленной из двух секций и всех точек, полученных в процессе удлинения между двумя секциями. Принятие новой секции в качестве доверительной секции и удлинение ее к обеим сторонам по способу на этапе 3. Другим способом является следующий: сначала удлинение одной из секций влево и вправо соответственно для соединения со следующей секцией, отделенной одной секцией; если соединение может быть сделано, продолжать удлинять от обоих концов новую секции, образованной соединением до тех пор, пока не будет секции для соединения или способной соединиться в любом из двух направлений. Запись начального положения новой секции. Восстановление первоначальных данных каждой секции. Удлинение другой секции аналогичным образом. Сравнение длин новых секций после удлинения двух секций, принимая самую длинную новую секцию, полученную удлинением (первоначальная секция) в качестве доверительной секции, и удлинение ее к обеим сторонам по способу на этапе 3.
Если имеется три секции, имеющие длину больше 1/4L, удлинение средней секции к обеим сторонам аналогично этапу 3 для соединения с левой и правой секциями. Если соединение может быть выполнено, принятие новой секции в качестве доверительной секции. Или соединение центральной секции с секцией на одной стороне. Если соединение может быть выполнено, принятие новой секции в качестве доверительной секции; если соединение не может быть выполнено, соединение левой и правой секций и принятие новой секции, образованной таким образом, в качестве доверительной секции. После образования доверительной секции удлинение ее к обеим сторонам по способу этапа 3.
Переход на этап 350 после снижения шума линии века и подгонка к линии верхнего века. Выполнение подгонки методом наименьших квадратов при помощи выражения квадратного многочлена y=ax2+bx+c в качестве функции подгонки. Так как изображение с помехами может включать в себя часть кроме двух углов глазной щели, которые обычно имеют меньшую разность шкалы оттенков серого, чтобы дополнительно устранить помехи этой части до результатов, удаление точек при подгонке, которая имеет соответствующую разность шкалы оттенков серого прямоугольного эталона, которая меньше некоторого порога, например, принимая удвоенную область эталона в качестве порога.
Получение выражения квадратного многочлена линии века после подгонки, принимая квадратичный коэффициент a выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века, и затем переход на этап 360.
Этап 360, определение состояния закрытия глаза, т.е. состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века, который конкретно включает в себя: сравнение квадратичного коэффициента a с предустановленным порогом кривизны линии века; и, таким образом, определение, являются ли глаза водителя открытыми или закрытыми.
Этап 370, сбор статистики по состоянию закрытия глаза и, таким образом, определение, находится ли водитель в состоянии усталости. Например, сбор статистики по длительности, когда глаза закрыты в последнее время, и определение, что водитель находится в состоянии усталости, если длительность закрытых глаз превышает заданную длительность; или сбор статистики по отношению длительности открытых глаз к длительности закрытых глаз в единицу времени, и определение, что водитель находится в состоянии усталости, если отношение в единицу времени превышает некоторый порог.
Данный пример получает линию века посредством способа постолбчатого сопоставления посредством прямоугольного эталона признака, которому не требуется выполнение избыточной обработки изображений, таким образом делая то, что пример имеет преимущества в высокой общей скорости, хорошей адаптируемости к ухудшению качества изображения, являющемуся результатом таких различных условий, как свет и хорошая адаптируемость к движению вперед-назад водителя.
Данный пример определяет состояние закрытия глаз водителя в соответствии с кривизной века, и, так как линия верхнего века имеет более высокие характеристики контрастности, помехозащищенности и адаптируемости к изменениям выражения лица, радиан верхнего века обычно мало изменяется, когда водитель улыбается или жмурится, данный пример получает более точное определение по сравнению со способом определения состояния закрытия глаз в соответствии с промежутком между верхними и нижними кромками радужной оболочки глаза или верхними и нижними веками, уменьшает влияние положения головы водителя на определение и повышает точность определения усталости. Кроме того, данный пример имеет хорошую общую системную своевременность и высокую чувствительность и может эффективно уменьшать ложные и пропущенные отчеты и имеет лучшую осуществимость.
Данный пример перед сканированием сначала вычисляет интегральное изображение глаза, которое значительно увеличивает скорость вычисления значения признака прямоугольного эталона признака.
Отличаясь от других алгоритмов снижения шума, основанных на коррекции оцениваемого значения, данный пример принимает более длинную секцию в качестве доверительной секции и корректирует линию века, основываясь на измеренных значениях посредством сканирования прямоугольным эталоном признака в пределах локального диапазона на обоих концах доверительной секции, что является, таким образом, более точным.
В данном примере полученная линия века сглаживается посредством метода наименьших квадратов, который устраняет явление, что полученная линия века не является такой гладкой из-за плохого качества изображения, делая линию века более совпадающей с фактической формой века; данный пример одновременно дополнительно устраняет помехи от индивидуальных шумовых точек. Так как линия верхнего века соответственно близка параболе и прямой линии, когда глаза открыты и закрыты, данный пример принимает выражение квадратного многочлена y=ax2+bx+c в качестве функции подгонки. После обработки методом наименьших квадратов может быть получено выражение квадратного многочлена линии века; квадратичный коэффициент квадратного многочлена может лучше отражать кривизну верхнего века и является более точным по сравнению с другими способами непосредственного вычисления кривизны, имеющим лучшую адаптируемость к углу и качеству изображения.
Пример 3:
Данный пример дополнительно повышает точность определения состояния закрытия глаз. Так как некоторые люди имеют верхние веки с неочевидным радианом вследствие таких причин, как ровное верхнее веко или взгляд вниз, кривизна верхнего века не изменяется очевидно, когда глаза открыты и закрыты; если определять состояния закрытия глаз водителя просто в соответствии с кривизной верхнего века, иногда может быть сделано ошибочное определение. В данном примере, кроме определения состояния закрытия глаз водителя в соответствии с кривизной верхнего века, средний промежуток между верхним и нижним веками дополнительно используется для вспомогательного определения.
Схематическим видом конструкции устройства обнаружения вождения в состоянии усталости данного примера является тот, который показан на фиг.7, причем второй модуль 280 определения и модуль 270 получения линии нижнего века добавлены в вышеупомянутый пример. Модуль 270 получения линии нижнего века используется для получения линии, соответствующей нижнему веку, т.е. линии нижнего века, основываясь на полученной линии верхнего века посредством сканирования изображения глаза прямоугольным эталоном признака.
Второй модуль 280 определения после предварительного определения первым модулем 250 определения выполняет другое вспомогательное определение состояния закрытия глаза в соответствии со средним промежутком между верхним и нижним веками.
В примере, порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяется первым модулем определения, что глаза водителя являются открытыми; когда квадратичный коэффициент меньше второго порога, определяется, что глаза водителя являются закрытыми; когда квадратичный коэффициент находится между первым и вторым порогами, выполняется вспомогательное определение вторым модулем определения состояния закрытия глаз в соответствии с промежутком между верхним и нижним веками.
Второй модуль 280 определения включает в себя блок вычисления промежутка между линиями верхнего и нижнего века и блок сравнения промежутка. Блок вычисления промежутка между линиями верхнего и нижнего века вычисляет средний промежуток между линиями верхнего и нижнего века в соответствии с вычерченными линиями верхнего и нижнего века; и блок сравнения промежутка используется для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка между линиями века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.
В примере, порог промежутка между линиями века может изменяться динамически с кривизной или значением признака кривизны линии верхнего века; когда средний промежуток между линиями верхнего и нижнего века больше порога промежутка между линиями века, определяется, что глаза водителя являются открытыми, в противном случае - закрытыми.
Способом обнаружения вождения в состоянии усталости, основанным на устройстве обнаружения вождения в состоянии усталости данного примера, является тот, который показан на фиг.8, включающий в себя следующие этапы.
Этап 810, сбор изображения лица водителя.
Этап 812, определение расположения областей брови и глаза на изображении лица.
Этап 814, грубое определение расположения линии верхнего века на области глаза.
Этап 816, снижение шума линии верхнего века.
Этап 818, подгонка линии верхнего века.
Этап 820, определение состояния глаза в соответствии с формой линии верхнего века (например, кривизны или значения признака кривизны). Принятие квадратичного коэффициента a многочлена, полученного в результате подгонки, в качестве основы определения. Определение верхнего и нижнего порогов Ch и Cl, причем нижний порог Cl гарантирует, что определение закрытия глаза не будет ошибочным в большинстве случаев. Для гарантии адаптируемости нижний порог Cl также может быть не единственным в качестве основы определения. На этапе 822, если квадратичный коэффициент a больше верхнего порога Ch, считается, что глаза являются открытыми; если квадратичный коэффициент a меньше нижнего порога Cl, считается, что глаза являются закрытыми, и затем выполняется этап 830, в противном случае переход на этап 824.
Этап 824, когда квадратичный коэффициент a находится между первым и вторым порогами, над состоянием глаза выполняется вспомогательное определение. Обнаружение линии нижнего века в соответствии с обнаруженной линией верхнего века, принятие некоторого диапазона над и под линией, соединяющей левую и правую точки линии века после подгонки в качестве области сканирования линии нижнего века, такого как некоторый диапазон над или ниже пунктирной линии L1, как показано на фиг.9 (например, область между пунктирными линиями L2 и L3 на фиг.9) и получение линии нижнего века сканированием посредством прямоугольного эталона признака, такой как линия L4 на фиг.9.
Линия нижнего века также может быть получена посредством сопоставления много раз из грубой формы в точную таким образом, которым получают линию верхнего века.
Этап 826, вычисление среднего промежутка между линиями верхнего и нижнего века.
Этап 828, определение, являются ли глаза закрытыми в соответствии со средним промежутком между линиями верхнего и нижнего века. Использование среднего промежутка между верхним и нижним веками в качестве второго основания определения, определение двух опорных порогов, причем один опорный порог Dl больше и стремиться гарантировать, что закрытые глаза не будут ошибочно определены как открытые глаза, другой опорный порог Ds меньше и стремится гарантировать, что открытые глаза не будут ошибочно определены как закрытые глаза. В соответствии с расположением квадратичного коэффициента a между верхним и нижним порогами, как показано формулой Dd=Dl-(Dl-Ds)*((a-Cl)/(Ch-Cl)), принятие перемещения порога Dd промежутка между опорными порогами в качестве основы определения; порог промежутка перемещается к Ds, когда квадратичный коэффициент a близок к Ch, и наоборот. Когда средний промежуток между верхним и нижним веками больше порога промежутка, определяется, что глаза водителя являются открытыми, в противном случае они являются закрытыми. Выполнить этап 830 в соответствии с результатами определения.
Этап 830, сбор статистики по данным предыстории состояния закрытия глаза и сравнение статистических результатов с предустановленным условием, таким образом определяя, находится ли водитель в состоянии усталости.
В данном примере линия нижнего века также может быть обнаружена после подгонки линии верхнего века, т.е. основываясь на обработанной линии верхнего века.
Данный пример использует средний промежуток между верхним и нижним веками для вспомогательного определения; для случаев, когда первый модуль определения не может определить, окончательное определение выполняется при помощи переменного порога в соответствии с радианом верхнего века. Средний промежуток между верхним и нижним веками является стабильным для определения, что глаза являются закрытыми, тогда как радиан верхнего века является стабильным для определения, что глаза являются открытыми, комбинация обоих повышает адаптируемость алгоритма определения вождения в состоянии усталости.
Вышеописанные модули или процессы могут быть скомпилированы в программу, которая может быть установлена в компьютере, включающем различные процессоры.
Программа, скомпилированная из вышеописанных модулей или процессов, может храниться на внешнем считываемом носителе данных, которым может быть дискета, компакт-диск (CD-ROM), жесткий диск, носитель с записью на ленту, полупроводниковая память на карточке с интегральной схемой (IC) или другие носители оптической записи (например, цифровой многофункциональный диск (DVD) или диск с двойным изменением фазы (PD)) или магнитный носитель записи. Носители дополнительно включают в себя электрические, оптические, акустические или другие виды сигналов связи (например, несущие волны, инфракрасные сигналы и цифровые сигналы).
Вышеприведенные примеры могут применяться на автомобиле для обнаружения, находится ли водитель в состоянии вождения в состоянии усталости; в примере, автомобиль включает в себя устройство камеры и устройство обнаружения вождения в состоянии усталости любого из вышеприведенных примеров. Устройство камеры устанавливается около положения водителя для съемки изображения лица водителя, такого как изображение всего лица водителя или изображения верхней половины лица водителя. Устройство камеры может представлять собой инфракрасную камеру или камеру других типов. Устройство камеры выводит данные изображения лица водителя на устройство обнаружения вождения в состоянии усталости, которое определяет, находится ли водитель в состоянии вождения в состоянии усталости после обработки данных изображения посредством того, как описано в вышеупомянутых примерах.
В другом примере автомобиль дополнительно включает в себя устройство тревожной сигнализации, с которым связано устройство обнаружения вождения в состоянии усталости; когда водитель находится в состоянии вождения в состоянии усталости, устройство обнаружения вождения в состоянии усталости выводит сигнал тревожной сигнализации на устройство тревожной сигнализации, управляя устройством тревожной сигнализации на выдачу звуковой и/или световой тревожной сигнализации.
То, что описывается выше, представляет собой дополнительное подробное объяснение настоящей заявки в комбинации с конкретными вариантами осуществления; однако, нельзя считать, что конкретные варианты осуществления настоящей заявки ограничиваются только объяснением. Для специалиста в данной области техники также могут быть сделаны некоторые простые заключения или замены с учетом идеи настоящей заявки, и все должны рассматриваться как принадлежащие объему защиты настоящей заявки.
Claims (17)
1. Способ обнаружения вождения в состоянии усталости, содержащий этапы, на которых:
анализируют изображение глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века, в частности, обходя изображения глаза посредством множества столбцов с помощью прямоугольного эталона признака и записывая расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получают линию верхнего века, получая центральные точки прямоугольного эталона признака в расположении в каждом столбце, соединяют центральные точки, чтобы сформировать соединительную линию, и принимают соединительную линию в качестве линии верхнего века;
определяют состояние закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
собирают статистику по состоянию закрытия глаза и, таким образом, определяют, находится ли водитель в состоянии усталости.
анализируют изображение глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века, в частности, обходя изображения глаза посредством множества столбцов с помощью прямоугольного эталона признака и записывая расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака, и получают линию верхнего века, получая центральные точки прямоугольного эталона признака в расположении в каждом столбце, соединяют центральные точки, чтобы сформировать соединительную линию, и принимают соединительную линию в качестве линии верхнего века;
определяют состояние закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
собирают статистику по состоянию закрытия глаза и, таким образом, определяют, находится ли водитель в состоянии усталости.
2. Способ по п.1, отличающийся тем, что перед обходом изображения глаза с помощью прямоугольного эталона признака интегрируют изображение глаза для получения интегрального изображения глаза; и этап обхода изображения глаза с помощью прямоугольного эталона признака содержит этапы, на которых: обходят интегральное изображение глаза с помощью прямоугольного эталона признака, вычисляют значение признака прямоугольного эталона признака в каждом расположении.
3. Способ по п.1, отличающийся тем, что многократно сканируют изображение глаза с помощью прямоугольных эталонов признака с размерами от большого до малого для получения линии верхнего века; и размер прямоугольных эталонов признака определяют динамически в соответствии с размером изображения глаза.
4. Способ по любому одному из пп.1-3, дополнительно содержащий этап, на котором: снижают шум линии верхнего века после получения линии верхнего века и перед определением состояния закрытия глаза в соответствии с кривизной линии верхнего века.
5. Способ по п.4, отличающийся тем, что этап снижения шума содержит этапы, на которых:
обнаруживают точки разрыва на линии века и делят линию века на несколько секций посредством принятия точки с резким изменением в качестве точек сегментации;
определяют доверительную секцию на линии века в качестве основы линии века; и
сканируют локально с помощью прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
обнаруживают точки разрыва на линии века и делят линию века на несколько секций посредством принятия точки с резким изменением в качестве точек сегментации;
определяют доверительную секцию на линии века в качестве основы линии века; и
сканируют локально с помощью прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
6. Способ по любому одному из пп.1-3, отличающийся тем, что после получения линии верхнего века дополнительно содержит этап, на котором: выполнение подгонки кривой к линии века посредством квадратного многочлена для получения выражения квадратного многочлена линии века, рассматривая квадратичный коэффициент выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века; этап определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века содержит этапы, на которых:
сравнивают квадратичный коэффициент с предустановленным порогом кривизны линии века; и
определяют, таким образом, являются ли глаза водителя открытыми или закрытыми.
сравнивают квадратичный коэффициент с предустановленным порогом кривизны линии века; и
определяют, таким образом, являются ли глаза водителя открытыми или закрытыми.
7. Способ по п.6, отличающийся тем, что порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяют, что глаза водителя являются открытыми; когда квадратичный коэффициент меньше второго порога, определяют, что глаза водителя являются закрытыми; когда квадратичный коэффициент находится между первым и вторым порогами, дополнительно выполняют вспомогательное определение состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками.
8. Способ по п.7, отличающийся тем, что вспомогательное определение состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками содержит этапы, на которых:
сканируют изображение глаза с помощью прямоугольного эталона признака, основываясь на полученной линии верхнего века, для получения линии нижнего века;
вычисляют средний промежуток между линиями верхнего и нижнего века; и
сравнивают средний промежуток между линиями верхнего и нижнего века с предустановленным порогом промежутка линий века и определяют, таким образом, являются ли глаза водителя открытыми или закрытыми.
сканируют изображение глаза с помощью прямоугольного эталона признака, основываясь на полученной линии верхнего века, для получения линии нижнего века;
вычисляют средний промежуток между линиями верхнего и нижнего века; и
сравнивают средний промежуток между линиями верхнего и нижнего века с предустановленным порогом промежутка линий века и определяют, таким образом, являются ли глаза водителя открытыми или закрытыми.
9. Способ по п.1, отличающийся тем, что этап сбора статистики по состоянию закрытия глаза и определения, таким образом, находится ли водитель в состоянии усталости, содержит этапы, на которых:
собирают статистику по длительности, когда глаза являются закрытыми, за последнее время, и определяют, что водитель находится в состоянии усталости, если длительность закрытых глаз превышает заданную длительность; или
собирают статистику по временному отношению длительности открытых глаз к длительности закрытых глаз в единицу времени и определяют, что водитель находится в состоянии усталости, если временное отношение превышает определенный порог.
собирают статистику по длительности, когда глаза являются закрытыми, за последнее время, и определяют, что водитель находится в состоянии усталости, если длительность закрытых глаз превышает заданную длительность; или
собирают статистику по временному отношению длительности открытых глаз к длительности закрытых глаз в единицу времени и определяют, что водитель находится в состоянии усталости, если временное отношение превышает определенный порог.
10. Устройство обнаружения вождения в состоянии усталости, содержащее:
модуль получения линии верхнего века для сканирования изображения глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века,
первый модуль определения для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
модуль определения состояния усталости для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости,
причем модуль получения линии верхнего века содержит:
блок сканирования для перемещения прямоугольного эталона признака по каждому столбцу изображения глаза;
блок вычисления разности шкалы оттенков серого для записи расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака;
блок вычерчивания линии верхнего века для получения линии верхнего века посредством получения линии верхнего века посредством получения центральных точек прямоугольного эталона признака в расположении в каждом столбце, соединения центральных точек для формирования соединительной линии и принятия соединительной линии в качестве линии верхнего века.
модуль получения линии верхнего века для сканирования изображения глаза водителя с помощью прямоугольного эталона признака для получения линии верхнего века,
первый модуль определения для определения состояния закрытия глаза в соответствии с кривизной или значением признака кривизны линии верхнего века; и
модуль определения состояния усталости для сбора статистики по состоянию закрытия глаза и, таким образом, определения, находится ли водитель в состоянии усталости,
причем модуль получения линии верхнего века содержит:
блок сканирования для перемещения прямоугольного эталона признака по каждому столбцу изображения глаза;
блок вычисления разности шкалы оттенков серого для записи расположения в каждом столбце, где значение признака прямоугольного эталона признака является максимальным, причем значение признака прямоугольного эталона признака ссылается на разность шкалы оттенков серого между верхней и нижней половинами прямоугольника, где расположен прямоугольный эталон признака;
блок вычерчивания линии верхнего века для получения линии верхнего века посредством получения линии верхнего века посредством получения центральных точек прямоугольного эталона признака в расположении в каждом столбце, соединения центральных точек для формирования соединительной линии и принятия соединительной линии в качестве линии верхнего века.
11. Устройство по п.10, отличающееся тем, что модуль получения линии верхнего века дополнительно содержит блок интегрирования, используемый для интегрирования изображения глаза перед обходом изображения глаза для получения интегрального изображения глаза; модуль получения линии верхнего века выполнен с возможностью сканирования интегрального изображения глаза с помощью прямоугольного эталона признака, вычисления значения признака прямоугольного эталона признака в каждом расположении.
12. Устройство по п.10 или 11, дополнительно содержащее: модуль снижения шума, используемый для снижения шума полученной линии верхнего века, содержащий:
блок деления линии века для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации;
блок определения доверительной секции для определения доверительной секции на линии века в качестве основы линии века; и
блок коррекции линии века для сканирования с помощью прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
блок деления линии века для обнаружения точек разрыва на линии века и деления линии века на несколько секций посредством принятия точек разрыва в качестве точек сегментации;
блок определения доверительной секции для определения доверительной секции на линии века в качестве основы линии века; и
блок коррекции линии века для сканирования с помощью прямоугольного эталона признака от обоих концов доверительной секции соответственно к обеим сторонам для получения скорректированной линии века.
13. Устройство по п.10 или 11, дополнительно содержащее модуль подгонки, используемый для выполнения подгонки кривой к линии века посредством квадратного многочлена для получения выражения квадратного многочлена линии века, рассматривая квадратичный коэффициент выражения квадратного многочлена в качестве кривизны или значения признака кривизны линии верхнего века; первый модуль определения используется для сравнения квадратичного коэффициента с предустановленным порогом кривизны линии века и посредством этого определения, являются ли глаза водителя открытыми или закрытыми.
14. Устройство по п.13, отличающееся тем, что порог кривизны линии века включает в себя первый порог и второй порог, который меньше первого порога; когда квадратичный коэффициент больше первого порога, определяется первым модулем определения, что глаза водителя находятся в открытом состоянии; когда квадратичный коэффициент меньше второго порога, определяется, что глаза водителя находятся в закрытом состоянии; когда квадратичный коэффициент находится между первым и вторым порогами, второй модуль определения дополнительно включается для вспомогательного определения состояния закрытия глаза в соответствии с промежутком между верхним и нижним веками.
15. Устройство по п.14, дополнительно содержащее:
модуль получения линии нижнего века для сканирования изображения глаза с помощью прямоугольного эталона признака, основываясь на полученной линии верхнего века, для получения линии нижнего века;
второй модуль определения содержит:
блок вычисления промежутка между линиями верхнего и нижнего века для вычисления среднего промежутка между линиями верхнего и нижнего века; и
блок сравнения промежутка для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.
модуль получения линии нижнего века для сканирования изображения глаза с помощью прямоугольного эталона признака, основываясь на полученной линии верхнего века, для получения линии нижнего века;
второй модуль определения содержит:
блок вычисления промежутка между линиями верхнего и нижнего века для вычисления среднего промежутка между линиями верхнего и нижнего века; и
блок сравнения промежутка для сравнения среднего промежутка между линиями верхнего и нижнего века с предустановленным порогом промежутка линии века и, таким образом, определения, являются ли глаза водителя открытыми или закрытыми.
16. Устройство по п.15, отличающееся тем, что порог промежутка между линиями века изменяется динамически с кривизной или значением признака кривизны линии верхнего века; когда средний промежуток между линиями верхнего и нижнего века больше порога промежутка между линиями века, определяется, что глаза водителя находятся в открытом состоянии, в противном случае, они находятся в закрытом состоянии.
17. Автомобиль, содержащий:
устройство камеры, закрепленное около положения водителя, для съемки изображения лица водителя; и
устройство обнаружения вождения в состоянии усталости по любому одному из пп.10-16, размещенное на автомобиле для приема и обработки данных изображения от устройства камеры.
устройство камеры, закрепленное около положения водителя, для съемки изображения лица водителя; и
устройство обнаружения вождения в состоянии усталости по любому одному из пп.10-16, размещенное на автомобиле для приема и обработки данных изображения от устройства камеры.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009101103697A CN101692980B (zh) | 2009-10-30 | 2009-10-30 | 疲劳驾驶检测方法及装置 |
| CN200910110369.7 | 2009-10-30 | ||
| PCT/CN2010/078199 WO2011050734A1 (zh) | 2009-10-30 | 2010-10-28 | 疲劳驾驶检测方法、装置及汽车 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2012122205A RU2012122205A (ru) | 2013-12-10 |
| RU2519964C2 true RU2519964C2 (ru) | 2014-06-20 |
Family
ID=42092008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012122205/14A RU2519964C2 (ru) | 2009-10-30 | 2010-10-28 | Способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8891824B2 (ru) |
| KR (1) | KR101396851B1 (ru) |
| CN (1) | CN101692980B (ru) |
| DE (1) | DE112010003914T5 (ru) |
| GB (1) | GB2487888B (ru) |
| RU (1) | RU2519964C2 (ru) |
| WO (1) | WO2011050734A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2700951C2 (ru) * | 2015-02-19 | 2019-09-24 | Рено С.А.С. | Способ и устройство обнаружения изменения поведения водителя автотранспортного средства |
| RU2731676C2 (ru) * | 2016-01-19 | 2020-09-07 | Ниссан Мотор Ко., Лтд. | Способ управления устройством отображения и устройство отображения |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692980B (zh) * | 2009-10-30 | 2011-06-08 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法及装置 |
| DE102009046913A1 (de) * | 2009-11-20 | 2011-05-26 | Robert Bosch Gmbh | Verfahren und Steuergerät zur Müdigkeitserkennung |
| JP5728080B2 (ja) * | 2011-04-19 | 2015-06-03 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
| CN102759905B (zh) * | 2011-04-26 | 2018-04-13 | 费希尔控制国际公司 | 用于表征过程控制设施完整性的方法和装置 |
| JP5418579B2 (ja) * | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
| CN103680064B (zh) * | 2012-09-24 | 2016-08-03 | 由田新技股份有限公司 | 瞌睡提醒系统 |
| CN103049740B (zh) * | 2012-12-13 | 2016-08-03 | 杜鹢 | 基于视频图像的疲劳状态检测方法及装置 |
| CN103426275B (zh) * | 2013-08-01 | 2016-01-06 | 步步高教育电子有限公司 | 检测用眼疲劳度的装置、台灯及方法 |
| CN103533272B (zh) * | 2013-10-28 | 2017-03-29 | 京东方科技集团股份有限公司 | 一种显示装置及其工作方法 |
| JP6462209B2 (ja) * | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
| CN103950386A (zh) * | 2014-04-07 | 2014-07-30 | 临颍县贝克电子科技有限公司 | 利用机动车驾驶员状态特征进行综合监控的系统 |
| TWI536279B (zh) * | 2015-04-22 | 2016-06-01 | 緯創資通股份有限公司 | 人眼偵測方法及系統 |
| JP6399311B2 (ja) * | 2015-05-07 | 2018-10-03 | スズキ株式会社 | 居眠り検知装置 |
| DE102015211443A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite |
| WO2017034861A1 (en) * | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation |
| AU2016310451B2 (en) | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
| KR20180072734A (ko) | 2015-10-16 | 2018-06-29 | 매직 립, 인코포레이티드 | 눈 피처들을 사용한 눈 포즈 식별 |
| DE102015225109A1 (de) * | 2015-12-14 | 2017-06-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs |
| CN106097657A (zh) * | 2016-08-09 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种提醒方法、装置和车辆 |
| CN106446849B (zh) * | 2016-09-30 | 2019-08-23 | 福建省福信富通网络科技股份有限公司 | 一种疲劳驾驶检测方法 |
| CN106569612A (zh) * | 2016-11-09 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种护眼方法、护眼显示装置和终端 |
| CN106889990A (zh) * | 2017-01-10 | 2017-06-27 | 闽南师范大学 | 一种基于蓝牙传输的驾驶员疲劳状态检测系统及方法 |
| CN109803583A (zh) | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
| US11341756B2 (en) * | 2017-10-02 | 2022-05-24 | Fotonation Limited | Human monitoring system incorporating calibration methodology |
| CN107729867A (zh) * | 2017-10-31 | 2018-02-23 | 奇瑞汽车股份有限公司 | 识别非法驾驶的方法和系统 |
| CN108229301B (zh) * | 2017-11-03 | 2020-10-09 | 北京市商汤科技开发有限公司 | 眼睑线检测方法、装置和电子设备 |
| CN107832792B (zh) * | 2017-11-06 | 2020-07-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶检测方法及装置 |
| CN107985193B (zh) * | 2017-11-30 | 2021-06-04 | 江苏中天安驰科技有限公司 | 疲劳驾驶预警系统 |
| CN108154095A (zh) * | 2017-12-14 | 2018-06-12 | 北京汽车集团有限公司 | 一种确定疲劳驾驶的方法、装置和车辆 |
| CN108742656B (zh) * | 2018-03-09 | 2021-06-08 | 华南理工大学 | 基于脸部特征点定位的疲劳状态检测方法 |
| CN110163037B (zh) * | 2018-03-14 | 2022-03-04 | 北京航空航天大学 | 监测驾驶员状态的方法、设备、系统、处理器及存储介质 |
| CN110278367B (zh) * | 2018-03-14 | 2021-11-19 | 厦门歌乐电子企业有限公司 | 基于拍摄装置的人眼检测方法、系统、设备及其介质 |
| WO2020015145A1 (zh) * | 2018-07-16 | 2020-01-23 | 华为技术有限公司 | 一种检测眼睛睁闭状态的方法及电子设备 |
| JP6992693B2 (ja) * | 2018-07-23 | 2022-01-13 | トヨタ自動車株式会社 | 乗員状態認識装置 |
| CN109241842B (zh) * | 2018-08-02 | 2024-03-05 | 平安科技（深圳）有限公司 | 疲劳驾驶检测方法、装置、计算机设备及存储介质 |
| WO2020029093A1 (zh) | 2018-08-07 | 2020-02-13 | 深圳市汇顶科技股份有限公司 | 疲劳状态的检测方法、装置及设备 |
| CN109190548B (zh) * | 2018-08-28 | 2021-04-20 | 武汉真元生物数据有限公司 | 基于gabor滤波的快速眼睑检测方法及系统 |
| CN109034132A (zh) * | 2018-09-03 | 2018-12-18 | 深圳市尼欧科技有限公司 | 一种驾驶异常行为的检测方法 |
| CN111160071B (zh) * | 2018-11-08 | 2023-04-07 | 杭州海康威视数字技术股份有限公司 | 一种疲劳驾驶检测方法和装置 |
| CN109614901B (zh) * | 2018-11-30 | 2023-06-20 | 西安思菲特信息科技有限公司 | 驾驶员疲劳检测系统 |
| CN109717830B (zh) * | 2019-01-22 | 2021-09-17 | 中国科学院苏州生物医学工程技术研究所 | 基于眼动及头动参数监测的疲劳检测及促醒系统 |
| TWI697847B (zh) * | 2019-02-18 | 2020-07-01 | 奇美車電股份有限公司 | 閉眼偵測方法、電子裝置與電腦程式產品 |
| CN110083799B (zh) * | 2019-03-12 | 2022-12-30 | 明月镜片股份有限公司 | 一种基于眼动技术的眼镜佩戴舒适度评价方法 |
| CN110751011A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
| CN110464370A (zh) * | 2019-08-28 | 2019-11-19 | 安徽星网软件技术有限公司 | 一种安全驾驶状态监测报警干预装置及其使用方法 |
| CN113208591B (zh) * | 2020-01-21 | 2023-01-06 | 魔门塔(苏州)科技有限公司 | 一种眼睛开闭距离的确定方法及装置 |
| CN111310683B (zh) * | 2020-02-24 | 2023-02-24 | 合肥工业大学 | 一种基于驾驶员疲劳检测的人机协同控制方法及系统 |
| CN111281403B (zh) * | 2020-03-09 | 2021-08-13 | 西安交通大学 | 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备 |
| CN111784973B (zh) * | 2020-07-30 | 2021-12-14 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
| CN112550145A (zh) * | 2020-11-25 | 2021-03-26 | 国家电网有限公司 | 一种工程车辆疲劳驾驶干预系统 |
| CN114627450A (zh) * | 2020-12-10 | 2022-06-14 | 北京巴塔科技有限公司 | 疲劳状态检测装置及疲劳检测方法 |
| CN114033934A (zh) * | 2021-12-16 | 2022-02-11 | 中国人民解放军空军军医大学 | 一种飞行人员疲劳及注意力监测装置 |
| CN114788681B (zh) * | 2022-06-23 | 2022-10-04 | 华慧健(天津)科技有限公司 | 基于图像采集与处理技术的智能可穿戴眼健康仪 |
| CN115366909B (zh) * | 2022-10-21 | 2023-04-07 | 四川省公路规划勘察设计研究院有限公司 | 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU60446U1 (ru) * | 2006-09-15 | 2007-01-27 | Виктор Иннокентьевич Глухих | Устройство для предотвращения засыпания водителя "спасение жизни" |
| CN101375796A (zh) * | 2008-09-18 | 2009-03-04 | 浙江工业大学 | 疲劳驾驶实时检测系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3383594B2 (ja) * | 1998-09-29 | 2003-03-04 | 沖電気工業株式会社 | 眼の開度測定装置 |
| US7253738B2 (en) | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method of detecting eye closure based on edge lines |
| US7253739B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
| JP4331197B2 (ja) * | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
| CN101692980B (zh) * | 2009-10-30 | 2011-06-08 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法及装置 |
-
2009
- 2009-10-30 CN CN2009101103697A patent/CN101692980B/zh not_active Expired - Fee Related
-
2010
- 2010-10-28 GB GB1209532.9A patent/GB2487888B/en not_active Expired - Fee Related
- 2010-10-28 RU RU2012122205/14A patent/RU2519964C2/ru not_active IP Right Cessation
- 2010-10-28 WO PCT/CN2010/078199 patent/WO2011050734A1/zh active Application Filing
- 2010-10-28 KR KR1020127014044A patent/KR101396851B1/ko not_active IP Right Cessation
- 2010-10-28 US US13/504,762 patent/US8891824B2/en not_active Expired - Fee Related
- 2010-10-28 DE DE112010003914T patent/DE112010003914T5/de not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU60446U1 (ru) * | 2006-09-15 | 2007-01-27 | Виктор Иннокентьевич Глухих | Устройство для предотвращения засыпания водителя "спасение жизни" |
| CN101375796A (zh) * | 2008-09-18 | 2009-03-04 | 浙江工业大学 | 疲劳驾驶实时检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| HARINI VEERARAGHAVAN et al. Detecting Driver Fatigue Through the Use of Advanced Face Monitoring Techniques. Published by ITS Institute Center for Transportation Studies 200 Transportation and Safety Building, 511, Washington Ave. SE, University of Minnesota, 2001, September. . * |
| ГЕРУС С.В. и др. Влияние психологических факторов на эффективность систем мониторинга состояния водителя. Юбилейный сборник Института Радиотехники и электроники РАН, 2004, с.1-8 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2700951C2 (ru) * | 2015-02-19 | 2019-09-24 | Рено С.А.С. | Способ и устройство обнаружения изменения поведения водителя автотранспортного средства |
| RU2731676C2 (ru) * | 2016-01-19 | 2020-09-07 | Ниссан Мотор Ко., Лтд. | Способ управления устройством отображения и устройство отображения |
Also Published As
| Publication number | Publication date |
|---|---|
| GB201209532D0 (en) | 2012-07-11 |
| GB2487888A (en) | 2012-08-08 |
| US20120219189A1 (en) | 2012-08-30 |
| WO2011050734A1 (zh) | 2011-05-05 |
| KR101396851B1 (ko) | 2014-05-20 |
| KR20120076384A (ko) | 2012-07-09 |
| CN101692980B (zh) | 2011-06-08 |
| CN101692980A (zh) | 2010-04-14 |
| GB2487888B (en) | 2015-07-15 |
| DE112010003914T5 (de) | 2012-11-22 |
| RU2012122205A (ru) | 2013-12-10 |
| US8891824B2 (en) | 2014-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2519964C2 (ru) | Способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство | |
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| EP1725975B1 (en) | Method, apparatus and program for detecting an object | |
| CN102324166B (zh) | 一种疲劳驾驶检测方法及装置 | |
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| KR101653278B1 (ko) | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 | |
| CN110287791B (zh) | 一种用于人脸图片的筛选方法和系统 | |
| CN101339603A (zh) | 一种从视频流中选取到了质量合格的虹膜图像的方法 | |
| EP2104059A1 (en) | Apparatus and method for processing image | |
| KR102105954B1 (ko) | 사고위험 감지시스템 및 감지방법 | |
| CN110728185B (zh) | 一种判别驾驶人存在手持手机通话行为的检测方法 | |
| CN106650574A (zh) | 基于PCANet的人脸识别方法 | |
| CN105310690A (zh) | 皱纹检测装置和皱纹检测方法 | |
| Tadic et al. | Comparison of Gabor filter bank and fuzzified Gabor filter for license plate detection | |
| JP4864043B2 (ja) | 画像処理装置、方法及びプログラム | |
| CN109063669A (zh) | 一种基于图像识别的桥区船舶航行态势分析方法及装置 | |
| KR20210039284A (ko) | 이미지 분석을 위한 방법 및 장치 | |
| CN109784145B (zh) | 基于深度图的目标检测方法及存储介质 | |
| Feng et al. | Iris localization with dual coarse-to-fine strategy | |
| JP4788319B2 (ja) | 開閉眼判定装置及び方法 | |
| WO2022110917A1 (zh) | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 | |
| CN103413138A (zh) | 一种红外图像序列中点目标检测方法 | |
| KR101205565B1 (ko) | 영상을 이용한 전후방 차량 검출 방법 | |
| Singh et al. | Driver fatigue detection using machine vision approach | |
| JP5493676B2 (ja) | 眼位置認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20171029 |