RU2540901C2 - Способ и устройство для выявления случаев микросна - Google Patents
Способ и устройство для выявления случаев микросна Download PDFInfo
- Publication number
- RU2540901C2 RU2540901C2 RU2010146449/14A RU2010146449A RU2540901C2 RU 2540901 C2 RU2540901 C2 RU 2540901C2 RU 2010146449/14 A RU2010146449/14 A RU 2010146449/14A RU 2010146449 A RU2010146449 A RU 2010146449A RU 2540901 C2 RU2540901 C2 RU 2540901C2
- Authority
- RU
- Russia
- Prior art keywords
- eye
- openness
- coefficients
- microsleep
- levels
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000001514 detection method Methods 0.000 title abstract description 4
- 210000000744 eyelid Anatomy 0.000 claims abstract description 43
- 230000004399 eye closure Effects 0.000 claims abstract description 10
- 230000011664 signaling Effects 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000000193 eyeblink Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 2
- 239000000126 substance Substances 0.000 abstract 1
- 206010041349 Somnolence Diseases 0.000 description 14
- 230000004397 blinking Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 206010020765 hypersomnia Diseases 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003631 narcolepsy Diseases 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6821—Eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Mechanical Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Dentistry (AREA)
- Anesthesiology (AREA)
- Acoustics & Sound (AREA)
- Hematology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
Abstract
Группа изобретений относится к области медицины и медицинской техники. Измеряют расстояние между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени. Определяют коэффициенты открытости глаза, изменяющиеся от значения, полностью открытого глаза, через значение частично открытого глаза, до значения, соответствующего полностью закрытому глазу. Формируют графики коэффициентов открытости глаза. Сопоставляют изменения коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающего на случаи микросна. Также способ реализуют в варианте с дополнительным оповещением оператора в случае обнаружения микросна подачей сигнала. Также способ реализуют путем сопоставления моделей микросна с изменениями коэффициентов открытости глаза по электроэнцефалограмме и электроокулограмме. Для этого используют устройство, содержащее инфракрасный излучатель, которое соединено с устройством для отбора изображений. Микропроцессор со встроенной электронной процедурой определения микросна, выполненный с возможностью определения в цифровом изображении изображений лица, глаз и век субъекта и с возможностью вычисления коэффициента открытости глаза с определением уровня коэффициента, характерного для микросна, и представления полученной информации в виде графического представления коэффициентов открытости глаза в отобранные моменты времени. Память, связанную с микропроцессором и содержащую модели закрытия эталонного глаза для сопоставления с коэффициентами открытости глаза в отобранные моменты времени. Изобретение позволяет повысить достоверность оценки наступления сна, что достигается за счет выявления коротких случаев микросна на ранних стадиях засыпания. 4 н. и 24 з.п. ф-лы, 6 ил.
Description
Настоящее изобретение относится к способу и устройству для определения случаев микросна.
УРОВЕНЬ ТЕХНИКИ
Способы подсчета ошибок, допускаемых во время вождения, связанных с наступлением сна, имеют ключевое значение для уменьшения количества аварий, связанных со сном. В США сонливость водителей является основной причиной автомобильных аварий, в результате которых ежегодно 40000 человек получают травмы и 1500 человек гибнет. В одном из исследований 55% из 1000 опрошенных водителей указали, что они управляли транспортным средством в сонном состоянии, а 23% заснули за рулем. Эти данные подтверждают другие исследования о том, что сонливость или наступление сна могут приводить к авариям транспортных средств, причинами которых по ошибке считаются другие обстоятельства.
Случаи микросна могут использоваться для указания на наступление сна. Случай микросна часто происходит в результате недостатка сна или умственного утомления, синдрома апноэ, нарколепсии или гиперсомнии.
Существуют стандартные способы отслеживания микросна, которые включают: мониторинг электроэнцефалограммы (ЭЭГ) и электроокулограммы (ЭОГ), видеосъемку, проверку функционирования и т.п. Из всех этих способов наиболее надежным для измерения сонливости считается ЭЭГ. Однако ЭЭГ и ЭОГ требуют использования электродов, которые необходимо подключать к субъекту, поэтому эти способы не подходят для постоянного контроля любых операторов, выполняющих работу, приводящую к утомлению, таких, например, как водители транспортных средств. Остальные способы являются непрактичными, поскольку сложны для реализации и требуют интенсивного анализа данных операторами, что затрудняет автоматизацию обработки таких данных.
Существуют различные способы определения случаев микросна. Некоторые эксперты определяют микросон согласно поведенческому критерию (смыкание век), тогда как другие специалисты используют маркеры электроэнцефалограммы, например 3-15-секундный эпизод (более короткие промежутки было бы сложно определить визуально, а более длинные промежутки времени квалифицируются как наступление сна), в течение которого биоактивность на частоте 4-7 Гц (тета-ритм) заменяет фоновый ритм при бодрствовании на частоте 14-20 Гц (альфа-ритм).
Микросон, субъективно относящийся к ощущению «дремоты», связан с прерыванием моргания, характерного для полного бодрствования. Во время микросна утрата внимания может ослабить способность определять и реагировать на критические раздражители и события. Например, микросон (или случаи микросна) может стать очень опасным в случае, если он наступает во время ситуаций, требующих постоянной бдительности, таких как вождение транспортного средства или управление производственным оборудованием. Лица, подвергшиеся микросну, обычно не осознают это и считают, что они все время бодрствовали, или ощущают "мысленное отключение". Сонный водитель особенно рискует попасть в аварию во время случая микросна. Многие аварии происходили в результате случаев микросна.
Очевидно, что способность определять случаи микросна была бы полезна в качестве средств предупреждения и оповещения сонных водителей о таких случаях.
В нескольких исследованиях использовались «количественные» способы ЭЭГ для определения сонливости водителя. Тета-энергия (ЭЭГ волны) и частота тета-импульсов обычно увеличиваются во время длительного вождения и связаны с плохим управлением транспортным средством. К сожалению, эти методы обычно используют среднюю активность, фиксируемую ЭЭГ, до нескольких секунд (в пределах 1 минуты), и поэтому не могут использоваться для определения краткосрочных случаев микросна длительностью от 3 до 15 секунд.
Были предложены различные физиологически критерии для предупреждения водителей о наступлении сонливости.
Одним из наиболее исследованных критериев является показатель PERCLOS (или PERcent CLOSure, процент закрывания), измеряющий сонливость как процент времени, когда глаза водителя закрыты, за определенный отрезок времени. После получения достаточного количества моделей открытий/закрытий показатель PERCLOS выдает сигнал тревоги. Показатель PERCLOS срабатывает при процентном отношении более 80%, что обычно означает, что в течение 1 минуты глаза индивида были закрыты 48 секунд перед срабатыванием сигнала тревоги. Очевидно, что такая задержка недопустима в таких задачах, как управление транспортным средством, так как за то время, пока показатель PERCLOS активизирует сигнал тревоги, водитель либо уже заснет, либо будет на грани засыпания. Следовательно, к сожалению, показатель PERCLOS является слишком медленной системой, чтобы дать время на принятие превентивных мер до того, как индивид, такой как водитель, испытает первые признаки сонливости.
Записи ЭОГ, выполняющиеся для того, чтобы исключить потенциальные дефекты во время записей ЭЭГ, также показывают, что нормальное моргание глаз зачастую продолжается во время случаев микросна, определяя таким образом, что глаза по крайней мере частично открыты.
Другим физиологическим критерием, основанным на измерениях закрытия глаз и предположительно предупреждающим водителей о наступлении сонливости, является измерение пиковой скорости моргания, что описано в патенте США 7071831 В2. Система, описанная там, включает пару очков или оправ для очков, которые должны носить индивиды для отслеживания частоты моргания. Однако операторы должны иметь при себе или носить такой тип устройства (т.е., это переносные устройства).
Таким образом, имеется необходимость в способе определения и устройстве для определения случаев микросна у субъекта, как индикатора наступления сна, способные определить краткие случаи микросна на ранних стадиях, не требующие использования электродов или других переносных устройств.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Мы непредвиденно выявили, что случаи микросна можно легко и быстро определить путем измерения моделей открытия и закрытия век с использованием процесса обнаружения микросна, преобразования исходных данных, полученных в результате измерений, в графики и сравнения графиков с хранимыми стандартными графиками моделей микросна.
Соответственно, согласно одному из аспектов настоящего изобретения предложен способ определения случая микросна у субъекта, содержащий определение коэффициентов открытости глаз путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за определенный промежуток времени, формирование графических представлений коэффициентов открытости глаза, сопоставление изменения коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна.
Вышеописанный способ также может включать освещение лица субъекта и запись изображения лица. Для освещения лица и записи изображения лица используется цифровая фотокамера с инфракрасным излучателем.
Вышеописанный способ также может включать идентификацию глаза и век с использованием алгоритма распознавания черт лица.
Вышеописанный способ также может включать определение наличия уровней коэффициента открытости глаза, характерных для микросна, путем измерения коэффициентов открытости глаза с помощью функции времени для цикла моргания глаза. Уровни коэффициентов открытости глаза включают по меньшей мере один уровень открытости. Коэффициенты открытости глаза включают минимум один уровень открытости глаза и максимум пять уровней открытости глаза. Коэффициенты открытости глаза включают пять уровней открытости глаза. Уровни открытости глаза соотнесены с открытым глазом, закрытием век, прикрытым или закрытым глазом и открытием век.
В способе, описанном выше, коэффициенты открытости глаза могут включать пять последовательных уровней открытости глаза, и последовательное определение пяти уровней указывает на характеристику микросна. Способ также может включать определение дополнительных коэффициентов открытости глаза при выявлении менее пяти последовательных уровней коэффициента открытости глаза.
Вышеописанный способ также может включать вычисление характерных кривых открытия и закрытия глаза. Характерные кривые закрытия глаза вычисляются с использованием отрицательного наклона и полиномиальной регрессии второго порядка, применяемых для коэффициентов открытости глаза первого и второго уровней коэффициента открытости глаза. Коэффициенты открытости глаза вычисляются с использованием положительного наклона и полиномиальной регрессии второго порядка, применяемых для коэффициентов открытости глаза четвертого и пятого уровней коэффициента открытости глаза.
Способ также может включать выявление наличия характерных кривых открытия и закрытия глаза при микросне путем вычисления коэффициента Пирсона для характерных кривых закрытия относительно первого и второго уровней коэффициента открытости глаза и характерных кривых открытия относительно четвертого и пятого уровней коэффициента открытости глаза. Субъект информируется, когда коэффициенты Пирсона превышают или равны заданному предельному значению.
В способе, описанном выше, изображения лиц выбираются с частотой от 10 Гц до 60 Гц.
Вышеописанный способ также может включать подпроцесс для определения уровней коэффициента открытости глаза, характерных для микросна, при частоте отбора изображения 20 Гц. Подпроцесс включает выявление определения первого уровня путем подтверждения наличия последовательности из шести или более последовательных коэффициентов открытости глаза, соответствующих открытому глазу.
Вышеописанный способ также может включать проверку определения второго уровня путем подтверждения наличия серии из четырех и более последовательных убываний коэффициентов открытости глаза. Вышеописанный способ также может включать проверку определения третьего уровня путем подтверждения наличия серии минимум пяти и максимум ста двадцати последовательных коэффициентов открытости глаза.
Вышеописанный способ также может включать проверку определения четвертого уровня путем подтверждения наличия серии по меньшей мере четырех последовательных коэффициентов открытости глаза.
Вышеописанный способ также может включать проверку определения пятого уровня путем подтверждения наличия серии по меньшей мере шести последовательных коэффициентов открытости глаза, соответствующих открытому глазу.
Вышеописанный способ также может включать оповещение субъекта о наличии случая микросна.
Согласно другому аспекту, предложено устройство для определения случаев микросна, содержащее устройство для отбора изображений лица субъекта за определенное время, имеющее инфракрасный излучатель для освещения одного или более глаз субъекта,
микропроцессор со встроенной электронной процедурой определения микросна, микропроцессор подключен к указанному устройству отбора для получения отобранных изображений лица, которые преобразуются электронным образом в графические представления коэффициентов открытости глаза, и память, соотнесенную с микропроцессором, которая хранит модели закрытия эталонного глаза для сопоставления электронным образом коэффициентов открытости глаза с моделями закрытия эталонного глаза.
Устройство, описанное выше, дополнительно включает сигнальное устройство, соединенное с микропроцессором, для оповещения субъекта о случае микросна.
Согласно другому аспекту, предложен способ оповещения оператора транспортного средства о случае микросна, содержащий
- определение коэффициентов открытости глаза путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за определенный промежуток времени,
- формирование графических представлений коэффициентов открытости глаза,
- сопоставление изменений коэффициентов открытости глаза за определенный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна,
- запуск сигнального устройства для оповещения оператора о случае микросна.
Согласно еще одному аспекту, предложен способ соотнесения случаев микросна по электроэнцефалограмме (ЭЭГ) и электроокулограмме (ЭОГ) с моделями закрытия глаза, содержащий
- измерение моделей микросна по ЭЭГ и ЭОГ у субъекта,
- определение коэффициентов открытости глаза путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за определенный промежуток времени, - формирование графических представлений коэффициентов открытости глаза,
- сопоставление изменений коэффициентов открытости глаза с моделями микросна по ЭЭГ и ЭОГ.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты реализации изобретения описаны с помощью примеров со ссылками на прилагаемые чертежи.
Фиг.1 является структурной схемой устройства определения микросна согласно варианту реализации настоящего изобретения, устройство используется на субъекте.
Фиг.2 является блок-схемой процедуры определения случая микросна, который может использоваться устройством, изображенным на фиг.1.
Фиг.3А и 3В являются схемами полностью открытого глаза (фиг.3А) и полностью закрытого глаза (фиг.3В) с соответствующим коэффициентом открытости глаза.
Фиг.4 является последовательностью схем для примера изменения коэффициента открытости глаза как функции от времени для цикла моргания.
Фиг.5 иллюстрирует пример полностью закрытого глаза (периоды L4 и L5), в момент микросна.
Фиг.6 является блок-схемой подпроцесса определения уровней коэффициента открытости глаза, являющегося характеристикой микросна, который может использоваться вместе с процедурой определения случая микросна, проиллюстрированного на фиг.2, для частоты дискретизации изображения 20 Гц.
ПОДРОБНОЕ ОПИСАНИЕ
Показанный неограничивающий вариант реализации данного изобретения относится к способу и устройству для определения случаев микросна у испытуемого на основании анализа моделей закрытия по меньшей мере одного глаза, как правило, обоих глаз, происходящих во время случаев микросна.
Во время случаев микросна, измеряемых ЭОГ и ЭЭГ, наблюдались последовательные колебания расстояния между верхним веком и нижним веком испытуемого в течение определенного промежутка времени. Ниже описываются способ и устройство, дополнительно свидетельствующие о наступлении сна у сонных операторов, например водителей транспортных средств, пилотов самолетов, авиационных диспетчеров и т.п., с помощью моделей закрытия глаза, при выявлении которых срабатывает сигнал оповещения сонных операторов об опасной ситуации до закрытия века, таким образом устанавливая соотношение между моделями микросна согласно ЭЭГ и ЭОГ и моделями закрытия глаза.
Также описывается способ анализа моделей закрытия глаза, позволяющий установить различия между обычным закрытием века и закрытием века в результате сонливости.
На фиг.1 показан пример устройства 100 для определения случаев микросна, которое по существу содержит прибор для отбора изображений лица, например цифровую фотокамеру 102 с соотнесенным с ней инфракрасным излучателем 104, микропроцессор 106 с соотнесенной с ним памятью 108 и сигнальное устройство/дисплей 110 и/или интерфейс 112 ввода/вывода.
В одном примере описан способ, использующий устройство 100 для определения случая микросна у испытуемого. Способ включает определение коэффициентов открытости глаза путем измерения расстояний между верхним веком и нижний веком по меньшей мере одного глаза, как правило обоих глаз, за определенный промежуток времени, формирование графических представлений коэффициентов открытости глаза, соотнесение изменений коэффициентов открытости глаза за определенный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна.
Во время работы цифровая камера 102 направлена на лицо субъекта 10 и освещает его/ее глаза 12 с помощью инфракрасного излучателя 104 с целью определения коэффициента открытости глаза, т.е. величины расстояния между верхним 14а и нижним 14b веками. Изображения, полученные цифровой фотокамерой 102, обрабатывают процессором 106, который осуществляет процедуру определения случая микросна, сохраненную в соотнесенной с ним памяти 108. По определении случая микросна устройство 100 может информировать пользователя о случае микросна с помощью запуска встроенного сигнального устройства и/или дисплея 110, или предоставить информацию следующему процессу или устройству через интерфейс 112. Следует отметить, что к устройству 100 определения случая микросна могут быть добавлены другие компоненты, такие как, например, пользовательский интерфейс и беспроводное устройство связи.
Далее рассмотрена фиг.2, на которой изображена блок-схема процедуры 200 определения случая микросна, которая может выполняться электронным образом с помощью процессора 106 устройства 100, изображенного на фиг.1. Этапы процедуры 200 обозначены блоками 202-212. Процедура 200 начинается с блока 202 для отбора изображения лица субъекта 10 с помощью цифровой фотокамеры 102. Цифровая фотокамера 102 может осуществлять отбор изображений с частотой 10-60 Гц (т.е. частотой отбора проб). В блоке 204 процедура 200 определяет в отобранном цифровом изображении глаз 12 и веки 14а, 14b субъекта 10. Это может выполняться с помощью алгоритма распознавания черт лица, выполняемого процессором 106. Затем вычисляется коэффициент открытости глаза.
Далее рассмотрены фиг.3А и ЗВ, где коэффициент открытости глаза может быть выражен через 6 со значением между 1, представляющим полностью открытый глаз 12 (см. фиг.3А), и 0, представляющим полностью закрытый глаз 12 (см. фиг.3В). Значение 5 может быть вычислено, например, путем деления измеренного расстояния между положениями верхнего 14а и нижнего 14b век в декартовом представлении (X,Y) на контрольный размер полностью открытого глаза D. Таким образом:
δ=(положение верхнего века (xu,yu) - положение нижнего века (xL,yL))/D,
где D=положение верхнего века (xu,yu) - положение нижнего века (x|,у|), и (xu,yu)=текущее положение верхнего века, (xL,yL)=текущее положение нижнего века, (xu,yu)=положение верхнего века при максимальном открытии глаза, и (хL,уL)=положение нижнего века при максимальном открытии глаза.
Снова обращаясь к фиг.2, в блоке 206 процедура определяет, имеются ли уровни коэффициента открытости глаза, характерные для микросна.
Далее рассмотрена фиг.4, где изображен иллюстративный пример колебания коэффициента открытости глаза как функции от времени для цикла мигания. Цикл мигания начинается в момент времени t1 при полностью открытом глазе 12 (коэффициент открытости глаза δ=1,00), в момент времени t2 коэффициент открытости глаза остается δ=1,00, затем убывает до δ=0,80 и δ=0,50 в отрезки времени ti, и ti+1, пока не достигнет δ=0,00 в момент времени tj (полностью закрытый глаз 12), а затем возрастает до δ=0,50 и δ=0,80 в отрезки времени tk и tk+1, пока снова не достигнет δ=1,00 в момент времени tn. Следует отметить, что цикл мигания, изображенный на фиг.4, является исключительно иллюстративным, и фактический цикл включает ряд отобранных моментов времени в зависимости от частоты отбора.
Далее рассмотрена фиг.5, на которой вычисленные коэффициенты открытости глаза как функция от времени представлены в виде графика, который, в целом, может характеризоваться пятью последовательными уровнями L1-L5. Первый и последний уровни, L1 и L5, соотносятся с открытым глазом (т.е. δ=1,00), второй уровень, L2, - с закрытием век 14а, 14b (т.е. 0,00>δ>0,00, 5 убывает), третий уровень, L3, - с прикрытым или закрытым глазом (т.е., например, 0,00<δ<0,5) и четвертый уровень, L4, - с открытием век 14а, 14b (т.е. 0,00<δ<1,00, 5 возрастает).
Снова обращаясь к фиг.2, процедура 200 определяет все пять уровней, т.е. L1-L5, затем переходит к блоку 208. В противном случае, процедура переходит обратно к блоку 202 для отбора следующего изображения. В блоке 208 процедура вычисляет характерные кривые 21 или 26 закрытия глаза и кривые 25 или 27 открытия глаза. Характерная кривая 21 или 26 закрытия глаза вычисляется с помощью полиномиальной регрессии второго порядка отрицательного наклона (параболическая кривая), т.е.
Y=do+d1.X+d2.X2.
где Y является прогнозируемой результативной величиной для полиномиальной модели с коэффициентами регрессии d1 до 2 для каждого уровня и Y пересекающим d1;
которая применяется для коэффициентов открытости глаза, включающих первый и второй уровни коэффициента открытости глаза, т.е. L1 и L2. Для кривых 25 или 27 открытия глаза вычисление производится с помощью полиномиальной регрессии второго порядка положительного наклона, применяемой к коэффициентам открытости глаза, включающих четвертый и пятый уровни коэффициента открытости глаза, т.е. L4 и L5. Затем в блоке 210 процедура 220 определяет, имеются ли характерные для микросна кривые открытия и закрытия глаза. Это выполняется путем вычисления коэффициента Пирсона, r:
где X и Y являются положениями в декартовом представлении;
кривых 21 или 26 закрытия глаза с учетом коэффициентов открытости глаза, включающих уровни L1 и L2 коэффициента открытости глаза, и кривых 25 или 27 открытия глаза с учетом коэффициентов открытости глаза, включающих уровни L4 и L5 коэффициента открытости глаза. Если оба коэффициента Пирсона больше или равны заданному пределу, как например, 0,9, то процедура 200 переходит к блоку 212. В противном случае процедура переходит обратно к блоку 202 для отбора следующего изображения. И наконец, в блоке 212 устройство 100 для определения случая микросна может оповестить пользователя 10 об определении состояния микросна с помощью встроенного сигнального устройства и/или дисплея 110 или предоставить информацию следующему процессу или устройству с помощью интерфейса 112 (см. фиг.1), использующего, например, проводную или беспроводную телекоммуникационную связь, как, например, Bluetooth, WiFi и т.п.
Следует отметить, что предел коэффициента Пирсона не ограничивается значением 0,9 и может регулироваться, чтобы соответствовать желаемому доверительному уровню. Он также может варьироваться в зависимости от разрешения цифровой камеры 102 (см. фиг.1).
Модель закрытия глаза основывается на конкретных данных наблюдениях закрытия, продолжительности частичного или полного закрытия и открытия век. Точнее, модель закрытия глаза указывает на последовательное убывание, за которым следует период, когда веки полностью закрыты, а затем открываются снова. Если имеет место все вышеописанное, обнаружен случай микросна.
Пример уровней коэффициента открытости глаза, характерных для микросна при частоте отбора изображений, равной 20 ГГц
Далее рассмотрен фиг.6, на котором изображена блок-схема подпроцесса 300 для определения уровней коэффициента открытости глаза, характерных для микросна, который может выполняться в блоке 206 процедуры 200 с целью определения наличия пяти уровней коэффициента открытости глаза, характерных для микросна, т.е. L1-L5 (см. фиг.5), для частоты отбора изображений, равной 20 Гц. Этапы подпроцесса 300 обозначены блоками 301-305.
В блоке 301 подпроцессом 300 выявляется, определен ли первый уровень L1. С этой целью подпроцессом 300 производится проверка наличия серии минимум из шести (6) последовательных коэффициентов открытости глаза со значением δ=1,00. В случае наличия подпроцесс 300 переходит к блоку 302, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
В блоке 302 подпроцессом 300 выявляется, определен ли второй уровень L2. С этой целью подпроцессом 300 производится проверка наличия серии из минимум четырех (4) последовательных убывающих коэффициентов открытости глаза со значением между δ=0,99 и δ=0,01. В случае наличия подпроцесс 300 переходит к блоку 303, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
В блоке 303 подпроцессом 300 выявляется, определен ли третий уровень L3. С этой целью подпроцессом 300 производится проверка наличия серии из минимум пяти (5) и максимум 120 последовательных коэффициентов открытости глаза со значением δ=0,00. В случае наличия подпроцесс 300 переходит к блоку 304, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
В блоке 304 подпроцессом 300 выявляется, определен ли четвертый уровень L4. С этой целью подпроцессом 300 производится проверка наличия серии из минимум четырех (4) последовательных возрастающих коэффициентов открытости глаза со значением между δ=0,01 и δ=0,99. В случае наличия подпроцесс 300 переходит к блоку 305, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
И наконец, в блоке 305 подпроцессом 300 выявляется, определен ли пятый уровень L5. С этой целью подпроцессом 300 производится проверка наличия серии из минимум шести (6) последовательных коэффициентов открытости глаза со значением δ=1,00. В случае наличия подпроцесс 300 переходит к блоку 208 процедуры 200 (см. фиг.2), наличие всех пяти (5) уровней коэффициента открытости глаза, характерных для микросна. В противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2). Следует отметить, что количество коэффициентов открытости глаза, используемых для определения наличия каждого уровня коэффициента открытости глаза, характерного для микросна, может варьироваться, например, согласно частоте отбора изображений, и приводится исключительно в качестве примера.
Следует отметить, что память, соотнесенная с микропроцессором, как описано выше, содержит сохраненные в ней модели закрытия эталонного глаза. Графики, изображенные на фиг.5, сравниваются с соответствующими моделями закрытия эталонного глаза. Как только соответствие найдено, случай микросна подтверждается и запускается сигнальное устройство.
Хотя настоящее изобретение описано с помощью конкретного варианта реализации и его примерами, для специалистов в данном уровне технике очевидно, что к варианту реализации могут быть применены модификации без отклонения от объема настоящего изобретения.
Claims (28)
1. Способ определения случая микросна у субъекта, содержащий
- определение коэффициентов открытости глаза, изменяющихся от значения, соответствующего полностью открытому глазу, через значение, соответствующее частично открытому глазу, до значения, соответствующего полностью закрытому глазу, путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени,
- формирование графических представлений коэффициентов открытости глаза и
- сопоставление изменений коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна.
- определение коэффициентов открытости глаза, изменяющихся от значения, соответствующего полностью открытому глазу, через значение, соответствующее частично открытому глазу, до значения, соответствующего полностью закрытому глазу, путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени,
- формирование графических представлений коэффициентов открытости глаза и
- сопоставление изменений коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна.
2. Способ по п.1, дополнительно содержащий освещение лица субъекта и запись изображения лица.
3. Способ по п.2, согласно которому для освещения лица и записи изображения лица используют цифровую фотокамеру с инфракрасным излучателем.
4. Способ по п.1, дополнительно содержащий идентификацию глаза и век с помощью алгоритма распознавания черт лица.
5. Способ по п.1, дополнительно содержащий проверку наличия уровней коэффициента открытости глаза, характерных для микросна, путем измерения коэффициентов открытости глаза как функции от времени для цикла мигания глаза.
6. Способ по п.5, согласно которому уровни коэффициентов открытости глаза включают по меньшей мере один уровень открытости глаза.
7. Способ по п.5, согласно которому коэффициенты открытости глаза включают один или более уровней открытости глаза и пять или менее уровней открытости глаза.
8. Способ по п.5, согласно которому коэффициенты открытости глаза включают пять уровней открытости глаза.
9. Способ по п.5, согласно которому уровни открытости глаза соотносят с открытым глазом, закрытием век, прикрытым или закрытым глазом и открытием век.
10. Способ по п. 1, согласно которому коэффициенты открытости глаза включают пять последовательных уровней открытости глаза, последующее определение пяти уровней указывает на характеристики микросна.
11. Способ по п.10, дополнительно содержащий определение дополнительных коэффициентов открытости глаза в случае, если определено менее пяти последовательных уровней коэффициента открытости глаза.
12. Способ по п.5, дополнительно содержащий вычисление характерных кривых открытия и закрытия глаза.
13. Способ по п.12, согласно которому характерные кривые закрытия глаза вычисляют с использованием отрицательного наклона и полиномиальной регрессии второго порядка, применяемой к коэффициентам открытости глаза первого и второго уровней коэффициента открытости глаза.
14. Способ по п.12, согласно которому характерные кривые закрытия глаза вычисляют с использованием положительного наклона и полиномиальной регрессии второго порядка, применяемой к коэффициентам открытости глаза четвертого и пятого уровней коэффициента открытости глаза.
15. Способ по п.12, дополнительно содержащий проверку наличия характерных кривых открытости и закрытия глаза, характерных для микросна, путем вычисления коэффициента Пирсона характерных кривых закрытия глаза с учетом первого и второго уровней коэффициента открытости глаза и характерных кривых открытия глаза с учетом четвертого и пятого уровней коэффициента глаза.
16. Способ по п.15, согласно которому субъект оповещают, когда коэффициенты Пирсона превышают заранее установленные пороговые значения или равны им.
17. Способ по п 3, согласно которому изображения лица отбирают с частотой от 10 Гц до 60 Гц.
18. Способ по п.5, дополнительно содержащий подпроцесс для определения уровней коэффициента открытости глаза, характерных для микросна, с частотой отбора изображений, равной 20 Гц.
19. Способ по п.18, согласно которому подпроцесс содержит проверку того, определен ли первый уровень, путем подтверждения наличия серии по меньшей мере шести последовательных коэффициентов открытости глаза, соответствующих открытому глазу.
20. Способ по п.19, дополнительно содержащий проверку того, определен ли второй уровень, путем подтверждения наличия серии по меньшей мере четырех последовательных убывающих коэффициентов открытости глаза.
21. Способ по п.20, дополнительно содержащий проверку того, определен ли третий уровень, путем подтверждения наличия серии минимум пяти и максимум ста двадцати последовательных коэффициентов открытости глаза.
22. Способ по п.21, дополнительно содержащий проверку того, определен ли четвертый уровень, путем подтверждения наличия серии по меньшей мере четырех последовательных коэффициентов открытости глаза.
23. Способ по п.22, дополнительно содержащий проверку того, определен ли пятый уровень, путем подтверждения наличия серии по меньшей мере шести последовательных коэффициентов открытости глаза, соответствующих открытому глазу.
24. Способ по п.1, дополнительно содержащий оповещение субъекта о наличии случая микросна.
25. Устройство для определения случаев микросна, содержащее
- устройство для отбора изображений лица субъекта за некоторое время, имеющее инфракрасный излучатель для освещения по меньшей мере одного глаза субъекта,
- соединенный с устройством для отбора изображений лица субъекта микропроцессор со встроенной электронной процедурой определения микросна, выполненный с возможностью определения в цифровом изображении, полученном устройством для отбора изображений лица субъекта, глаз и век субъекта, и с возможностью вычисления коэффициента открытости глаза с определением уровня коэффициента, характерного для микросна, и представления полученной информации в виде графического представления коэффициентов открытости глаза в отобранные моменты времени;
- память, связанную с микропроцессором и содержащую модели закрытия эталонного глаза для сопоставления с коэффициентами открытости глаза в отобранные моменты времени.
- устройство для отбора изображений лица субъекта за некоторое время, имеющее инфракрасный излучатель для освещения по меньшей мере одного глаза субъекта,
- соединенный с устройством для отбора изображений лица субъекта микропроцессор со встроенной электронной процедурой определения микросна, выполненный с возможностью определения в цифровом изображении, полученном устройством для отбора изображений лица субъекта, глаз и век субъекта, и с возможностью вычисления коэффициента открытости глаза с определением уровня коэффициента, характерного для микросна, и представления полученной информации в виде графического представления коэффициентов открытости глаза в отобранные моменты времени;
- память, связанную с микропроцессором и содержащую модели закрытия эталонного глаза для сопоставления с коэффициентами открытости глаза в отобранные моменты времени.
26. Устройство по п.25, дополнительно содержащее сигнальное устройство, соединенное с микропроцессором, для оповещения субъекта о случае микросна.
27. Способ оповещения оператора транспортного средства о случае микросна, содержащий
- определение коэффициентов открытости глаза, изменяющихся от значения, соответствующего полностью открытому глазу, через значение, соответствующее частично открытому глазу, до значения, соответствующего полностью закрытому глазу, путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени,
- формирование графических представлений коэффициентов открытости глаза,
- сопоставление изменений коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна,
- запуск сигнального устройства для оповещения оператора о случае микросна.
- определение коэффициентов открытости глаза, изменяющихся от значения, соответствующего полностью открытому глазу, через значение, соответствующее частично открытому глазу, до значения, соответствующего полностью закрытому глазу, путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени,
- формирование графических представлений коэффициентов открытости глаза,
- сопоставление изменений коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна,
- запуск сигнального устройства для оповещения оператора о случае микросна.
28. Способ сопоставления моделей микросна по электроэнцефалограмме (ЭЭГ) и электроокулограмме (ЭОГ) с моделями закрытия глаза, содержащий
- измерение моделей микросна по ЭЭГ и ЭОГ у субъекта,
- определение коэффициентов открытости глаза, изменяющихся от значения, соответствующего полностью открытому глазу, через значение, соответствующее частично открытому глазу, до значения, соответствующего полностью закрытому глазу, путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени,
- формирование графических представлений коэффициентов открытости глаза и
- сопоставление изменений коэффициентов открытости глаза с моделями микросна по ЭЭГ и ЭОГ.
- измерение моделей микросна по ЭЭГ и ЭОГ у субъекта,
- определение коэффициентов открытости глаза, изменяющихся от значения, соответствующего полностью открытому глазу, через значение, соответствующее частично открытому глазу, до значения, соответствующего полностью закрытому глазу, путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за промежуток времени,
- формирование графических представлений коэффициентов открытости глаза и
- сопоставление изменений коэффициентов открытости глаза с моделями микросна по ЭЭГ и ЭОГ.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7196608P | 2008-05-28 | 2008-05-28 | |
US61/071,966 | 2008-05-28 | ||
US12/340,017 US8570176B2 (en) | 2008-05-28 | 2008-12-19 | Method and device for the detection of microsleep events |
US12/340,017 | 2008-12-19 | ||
PCT/CA2009/000732 WO2009143620A1 (en) | 2008-05-28 | 2009-05-27 | Method and device for the detection of microsleep events |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2010146449A RU2010146449A (ru) | 2012-07-20 |
RU2540901C2 true RU2540901C2 (ru) | 2015-02-10 |
Family
ID=41360181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2010146449/14A RU2540901C2 (ru) | 2008-05-28 | 2009-05-27 | Способ и устройство для выявления случаев микросна |
Country Status (15)
Country | Link |
---|---|
US (1) | US8570176B2 (ru) |
EP (1) | EP2285265B1 (ru) |
JP (1) | JP5722767B2 (ru) |
KR (1) | KR101551262B1 (ru) |
CN (1) | CN102098955B (ru) |
AU (1) | AU2009253692B2 (ru) |
BR (1) | BRPI0912299B8 (ru) |
CA (1) | CA2667035C (ru) |
HK (1) | HK1158481A1 (ru) |
MX (1) | MX2010012924A (ru) |
MY (1) | MY153476A (ru) |
NZ (1) | NZ589640A (ru) |
RU (1) | RU2540901C2 (ru) |
WO (1) | WO2009143620A1 (ru) |
ZA (1) | ZA201008131B (ru) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5210773B2 (ja) * | 2008-09-16 | 2013-06-12 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
KR101032726B1 (ko) * | 2009-09-01 | 2011-05-06 | 엘지이노텍 주식회사 | 눈 상태 검출방법 |
CA2813289A1 (en) * | 2010-11-08 | 2012-05-18 | Optalert Australia Pty Ltd | Fitness for work test |
EP2497670B1 (en) * | 2011-03-11 | 2015-07-01 | Johnson Controls Automotive Electronics GmbH | Method and apparatus for monitoring the alertness of the driver of a vehicle |
EP2885150B1 (en) * | 2012-08-20 | 2019-01-02 | Veoneer Sweden AB | Eyelid movement processing for detection of drowsiness |
KR101526672B1 (ko) * | 2013-07-24 | 2015-06-05 | 현대자동차주식회사 | 졸음 상태 판별 장치 및 방법 |
JP6462209B2 (ja) * | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
CN104257392B (zh) * | 2014-09-26 | 2016-06-22 | 马天驰 | 一种疲劳驾驶检测提醒的方法及检测提醒装置 |
DE102015200697A1 (de) * | 2015-01-19 | 2016-07-21 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs |
JP6399311B2 (ja) * | 2015-05-07 | 2018-10-03 | スズキ株式会社 | 居眠り検知装置 |
DE102015218306A1 (de) * | 2015-09-23 | 2017-03-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers |
CN105249961B (zh) * | 2015-11-02 | 2017-11-24 | 东南大学 | 基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法 |
DE102016205311A1 (de) * | 2016-03-31 | 2017-10-05 | Robert Bosch Gmbh | Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug |
JP2019514302A (ja) * | 2016-05-25 | 2019-05-30 | エムテクビジョン カンパニー リミテッド | 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法 |
RU2644847C1 (ru) * | 2016-11-21 | 2018-02-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации | Способ прогнозирования результативности моделируемой когнитивной деятельности на основе комплекса физиологических показателей и логит регрессионного анализа |
CN109472224A (zh) * | 2018-10-26 | 2019-03-15 | 蓝色传感(北京)科技有限公司 | 基于eeg与eog融合的疲劳驾驶检测系统 |
KR102161908B1 (ko) | 2019-01-25 | 2020-10-05 | 주식회사 에프에스솔루션 | 운전자 상태 모니터링 방법 및 장치 |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
CN112016347B (zh) * | 2019-05-29 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 一种基于眼睑特征信息的人员状态检测方法及装置 |
CN114283559B (zh) * | 2022-03-04 | 2022-05-17 | 西南交通大学 | 一种驾驶员疲劳预警方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
RU2197895C1 (ru) * | 2002-02-27 | 2003-02-10 | Общество с ограниченной ответственностью "ТелекомЭксперт" | Способ контроля состояния человека и устройство для его осуществления |
US6717518B1 (en) * | 1998-01-15 | 2004-04-06 | Holding B.E.V.S.A. | Method and apparatus for detection of drowsiness |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3863243A (en) | 1972-01-19 | 1975-01-28 | Max Skolnick | Sleep inhibiting alarm |
JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
US5469143A (en) | 1995-01-10 | 1995-11-21 | Cooper; David E. | Sleep awakening device for drivers of motor vehicles |
US5689241A (en) | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
JP3426060B2 (ja) | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
JP3350296B2 (ja) | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
US5729619A (en) | 1995-08-08 | 1998-03-17 | Northrop Grumman Corporation | Operator identity, intoxication and drowsiness monitoring system and method |
JP3183161B2 (ja) | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
US6542081B2 (en) | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
US6070098A (en) | 1997-01-11 | 2000-05-30 | Circadian Technologies, Inc. | Method of and apparatus for evaluation and mitigation of microsleep events |
DE19803158C1 (de) | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
US5990795A (en) | 1998-02-06 | 1999-11-23 | Miller; Bernard J. | Sleep warning device for mobile vehicles |
US6087941A (en) | 1998-09-01 | 2000-07-11 | Ferraz; Mark | Warning device for alerting a person falling asleep |
US6154559A (en) | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
US6130617A (en) | 1999-06-09 | 2000-10-10 | Hyundai Motor Company | Driver's eye detection method of drowsy driving warning system |
US6243015B1 (en) | 1999-06-17 | 2001-06-05 | Hyundai Motor Company | Driver's drowsiness detection method of drowsy driving warning system |
US6218947B1 (en) | 2000-05-23 | 2001-04-17 | Ronald L. Sutherland | Driver sleep alarm |
WO2003012758A1 (en) | 2001-07-30 | 2003-02-13 | Sankaran Manoj | A device for detecting sleep |
US6927694B1 (en) | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
AUPR872301A0 (en) | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
US6822573B2 (en) | 2002-01-18 | 2004-11-23 | Intelligent Mechatronic Systems Inc. | Drowsiness detection system |
GB0203035D0 (en) | 2002-02-08 | 2002-03-27 | Univ Bristol | A method of and an apparatus for measuring a person's ability to perform a motor control task |
WO2004010365A2 (en) | 2002-07-19 | 2004-01-29 | Dicut Inc. | Face recognition system and method therefor |
US7202792B2 (en) | 2002-11-11 | 2007-04-10 | Delphi Technologies, Inc. | Drowsiness detection system and method |
JP2004314750A (ja) | 2003-04-15 | 2004-11-11 | Denso Corp | 車両機器操作制御装置 |
CN1225375C (zh) * | 2003-07-02 | 2005-11-02 | 北京交通大学 | 基于多特征融合的困倦驾驶检测方法 |
US7435227B2 (en) | 2004-09-13 | 2008-10-14 | Biocognisafe (Bcs) Technologies | Method and apparatus for generating an indication of a level of vigilance of an individual |
CN1613425A (zh) * | 2004-09-15 | 2005-05-11 | 南京大学 | 司机疲劳预警生物识别的方法和系统 |
MX2007010513A (es) * | 2005-03-04 | 2008-01-16 | Sleep Diagnostics Pty Ltd | Medicion de estado de alerta. |
US7815311B2 (en) | 2005-08-11 | 2010-10-19 | Sleep Diagnostics Pty., Ltd | Alertness sensing spectacles |
US7918807B2 (en) | 2005-08-17 | 2011-04-05 | General Electric Company | System, method and computer instructions for assessing alertness of an operator of an image review system |
JP4864541B2 (ja) * | 2006-05-23 | 2012-02-01 | 旭化成株式会社 | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
JP4677963B2 (ja) * | 2006-09-11 | 2011-04-27 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
JP4967559B2 (ja) * | 2006-09-19 | 2012-07-04 | 株式会社豊田中央研究所 | 居眠り運転防止装置及びプログラム |
JP4331197B2 (ja) * | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
CN100462047C (zh) * | 2007-03-21 | 2009-02-18 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
-
2008
- 2008-12-19 US US12/340,017 patent/US8570176B2/en active Active
-
2009
- 2009-05-27 MX MX2010012924A patent/MX2010012924A/es active IP Right Grant
- 2009-05-27 KR KR1020107028212A patent/KR101551262B1/ko active IP Right Grant
- 2009-05-27 WO PCT/CA2009/000732 patent/WO2009143620A1/en active Application Filing
- 2009-05-27 JP JP2011510790A patent/JP5722767B2/ja not_active Expired - Fee Related
- 2009-05-27 AU AU2009253692A patent/AU2009253692B2/en active Active
- 2009-05-27 EP EP09753381.4A patent/EP2285265B1/en active Active
- 2009-05-27 MY MYPI2010005533A patent/MY153476A/en unknown
- 2009-05-27 BR BRPI0912299A patent/BRPI0912299B8/pt active IP Right Grant
- 2009-05-27 NZ NZ589640A patent/NZ589640A/xx unknown
- 2009-05-27 RU RU2010146449/14A patent/RU2540901C2/ru active
- 2009-05-27 CA CA2667035A patent/CA2667035C/en active Active
- 2009-05-27 CN CN200980125759.XA patent/CN102098955B/zh active Active
-
2010
- 2010-11-12 ZA ZA2010/08131A patent/ZA201008131B/en unknown
-
2011
- 2011-12-01 HK HK11113038.4A patent/HK1158481A1/xx unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
US6717518B1 (en) * | 1998-01-15 | 2004-04-06 | Holding B.E.V.S.A. | Method and apparatus for detection of drowsiness |
RU2197895C1 (ru) * | 2002-02-27 | 2003-02-10 | Общество с ограниченной ответственностью "ТелекомЭксперт" | Способ контроля состояния человека и устройство для его осуществления |
Non-Patent Citations (1)
Title |
---|
ДИМЕНТИЕНКО В.В. и др. Биоматематическая модель процесса засыпания человека-оператора. Физиология человека, 2008, 3, 5, с. 63-72 * |
Also Published As
Publication number | Publication date |
---|---|
EP2285265A1 (en) | 2011-02-23 |
HK1158481A1 (en) | 2012-07-20 |
BRPI0912299B8 (pt) | 2021-06-22 |
KR101551262B1 (ko) | 2015-09-08 |
EP2285265B1 (en) | 2019-08-07 |
MY153476A (en) | 2015-02-13 |
MX2010012924A (es) | 2011-05-02 |
WO2009143620A1 (en) | 2009-12-03 |
US20090299209A1 (en) | 2009-12-03 |
AU2009253692A1 (en) | 2009-12-03 |
AU2009253692B2 (en) | 2014-11-13 |
CA2667035C (en) | 2014-10-14 |
EP2285265A4 (en) | 2013-11-13 |
ZA201008131B (en) | 2012-02-29 |
RU2010146449A (ru) | 2012-07-20 |
CN102098955B (zh) | 2015-07-15 |
CA2667035A1 (en) | 2009-11-28 |
US8570176B2 (en) | 2013-10-29 |
JP5722767B2 (ja) | 2015-05-27 |
JP2011523867A (ja) | 2011-08-25 |
BRPI0912299B1 (pt) | 2021-02-02 |
KR20110017883A (ko) | 2011-02-22 |
BRPI0912299A2 (pt) | 2015-10-20 |
NZ589640A (en) | 2013-08-30 |
CN102098955A (zh) | 2011-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2540901C2 (ru) | Способ и устройство для выявления случаев микросна | |
KR101189008B1 (ko) | 경계 상태 측정 방법 | |
JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
JP5679066B2 (ja) | 居眠り検出方法と装置 | |
JP5447657B2 (ja) | 生体状態判定装置 | |
EP1799106B1 (en) | Method for generating an indication of a level of vigilance of an individual | |
JP6375496B2 (ja) | 眠気検出方法及び眠気検出装置 | |
US20130215390A1 (en) | Fitness for work test | |
JP2007312824A (ja) | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 | |
JP4811255B2 (ja) | 状態推定装置 | |
JP5333284B2 (ja) | 生体状態判定装置 | |
JP2007229218A (ja) | 覚醒度推定装置及びシステム並びに方法 | |
Antunes et al. | An intelligent system to detect drowsiness at the wheel | |
JP6604266B2 (ja) | 眠気検知装置 | |
Chatterjee et al. | Smartphone-based drowsiness detection system for drivers in real-time | |
Lipatova et al. | Researching Effective Systems and Methods for Detecting Drowsiness | |
John et al. | Driver Drowsiness Detection From Multiple Facial Features Using Mobile Devices | |
Priya et al. | Machine Learning-Based System for Detecting and Tracking Driver Drowsiness | |
Balasubrahmanyan et al. | Quantification of Alertness and Evaluation Method for Vision Based Driver Drowsiness and Alertness Warning System | |
Bajaj et al. | Performance analysis of hybrid model to detect driver drowsiness at early stage | |
Joe et al. | IoT-Based Smart Driver Monitoring System With Emergency Response Mechanism | |
Michailidou et al. | On Intelligent Driver Monitoring based on smart-devices | |
Svensson | Blinkbeteendebaserad trötthetsdetektering: metodutveckling och validering |