RU2413632C2 - Method to prevent driver falling asleep - Google Patents
Method to prevent driver falling asleep Download PDFInfo
- Publication number
- RU2413632C2 RU2413632C2 RU2009113443/11A RU2009113443A RU2413632C2 RU 2413632 C2 RU2413632 C2 RU 2413632C2 RU 2009113443/11 A RU2009113443/11 A RU 2009113443/11A RU 2009113443 A RU2009113443 A RU 2009113443A RU 2413632 C2 RU2413632 C2 RU 2413632C2
- Authority
- RU
- Russia
- Prior art keywords
- driver
- eyes
- falling asleep
- image
- eye
- Prior art date
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
Изобретение относится к вычислительной технике и может быть использовано для предотвращения засыпания водителя транспортного средства посредством обнаружения признаков усталости и закрытия глаз по изображению его лица.The invention relates to computer technology and can be used to prevent the driver of a vehicle from falling asleep by detecting signs of fatigue and closing his eyes in the image of his face.
Одной из причин дорожно-транспортных происшествий является сонливое состояние водителя. Внешними проявлениями засыпания водителя (как процесса незавершенного, так и завершенного - сна) являются:One of the causes of traffic accidents is the drowsiness of the driver. External manifestations of falling asleep of the driver (both the process of incomplete and complete - sleep) are:
- снижение частоты морганий глаз;- reduction in the frequency of eye blinks;
- снижение частоты движений глаз (смены направления наблюдения) и длительная фиксация взгляда в одном направлении;- a decrease in the frequency of eye movements (change of direction of observation) and long-term fixation of the gaze in one direction;
- закрывание глаз на длительное время.- closing eyes for a long time.
Известны способ предупреждения засыпания водителя и реализующая его автомобильная система «Attention Assist» (см. Система Attention Assist http://mb-market.ru/content/view/437/129) [1], интегрированная в автомобили фирмы «Мерседес-Бенц», предназначенная для предупреждения засыпающего водителя на основе распознавания признаков усталости в движениях и реакциях водителя. Если признаки усталости обнаружены, система сигнализирует о необходимости передохнуть. Система постоянно отслеживает движения водителя и на основе полученных данных моделирует типичное лично для него поведение. Далее система создает профиль, учитывающий время суток, длительность поездки без остановок и реакцию водителя. Обработав полученные данные, система оповещает водителя о необходимости сделать перерыв. Система регистрирует и анализирует следующие данные: угол вращения колеса, скорость, ускорение, использование индикаторов и нажатие на педали, а также внешние факторы, такие как ветер или неровное дорожное покрытие. Если система зафиксирует изменение в поведении водителя, она выдает сигнал, уведомляющий водителя, о необходимости отдохнуть. Помимо естественной усталости от нехватки сна устройство идентифицирует монотонность не изменяющихся дорожных условий в длительной поездке и отсутствие другого транспорта на дороге, особенно в темноте, так как именно из-за этих факторов водитель устает и теряет бдительность.A known method of preventing the driver from falling asleep and the automobile system “Attention Assist” that implements it (see. Attention Assist system http://mb-market.ru/content/view/437/129) [1] integrated into Mercedes-Benz cars ", Designed to prevent a driver falling asleep on the basis of recognition of signs of fatigue in the movements and reactions of the driver. If signs of fatigue are detected, the system signals a need for rest. The system constantly monitors the driver’s movements and, based on the data received, models the behavior typical of him personally. Next, the system creates a profile that takes into account the time of day, the duration of the trip without stops and the reaction of the driver. Having processed the received data, the system notifies the driver about the need to take a break. The system registers and analyzes the following data: wheel rotation angle, speed, acceleration, use of indicators and depressing the pedals, as well as external factors, such as wind or uneven road surface. If the system detects a change in driver behavior, it gives a signal notifying the driver about the need to rest. In addition to natural fatigue from lack of sleep, the device identifies the monotony of unchanging road conditions during a long trip and the absence of other vehicles on the road, especially in the dark, because it is because of these factors that the driver gets tired and loses vigilance.
Основными недостатками этой системы является то, что ее функционирование основано на распознавании признаков усталости конкретного водителя, а также сложность ее обучения и адаптации под каждого водителя. Кроме того, данная система не пригодна для использования в автомобилях, используемых более чем одним водителем. Система не может быть также использована в автомобилях других марок, т.к. получает информацию о состоянии водителя от вспомогательных датчиков (положения руля, педали газа и т.д.), которые могут быть несовместимы с другими марками автомобилей. Еще одним недостатком системы является ее высокая сложность, стоимость, ограничивающая ее применение в отечественных автомобилях, и высокая структурная и функциональная избыточность.The main disadvantages of this system is that its operation is based on the recognition of signs of fatigue of a particular driver, as well as the complexity of its training and adaptation for each driver. In addition, this system is not suitable for use in vehicles used by more than one driver. The system cannot also be used in cars of other brands, as receives information about the driver’s condition from auxiliary sensors (steering wheel position, gas pedal, etc.), which may be incompatible with other car brands. Another disadvantage of the system is its high complexity, cost, limiting its use in domestic cars, and high structural and functional redundancy.
Известен способ автоматического обнаружения закрытых глаз на цифровых изображениях произвольной природы со сложным фоном (см. заявку на изобретение РФ 2007107099) [2], заключающийся в выполнении следующих операций: производят обнаружение лица/лиц на цифровом изображении; для каждого обнаруженного лица производят локализацию глаз; осуществляют выделение особенностей закрытых глаз, объединяющих набор связанных пикселей, характерных для данного дефекта; анализируют два типа характерных особенностей, а именно: горизонтальные и вертикальные особенности; выделенные характерные особенности представляют в виде кривых, аппроксимируемых параболами на основе метода наименьших квадратов; делают заключение о присутствии либо отсутствии закрытых глаз на цифровом изображении на основании данных о направлениях выпуклостей парабол, аппроксимирующих эти особенности.A known method for the automatic detection of closed eyes in digital images of arbitrary nature with a complex background (see application for invention of the Russian Federation 2007107099) [2], which consists in the following operations: detect faces / faces in a digital image; for each detected face, localization of the eyes is performed; carry out the selection of features of closed eyes, combining a set of related pixels characteristic of a given defect; analyze two types of characteristic features, namely: horizontal and vertical features; highlighted characteristic features are represented in the form of curves approximated by parabolas based on the least squares method; make a conclusion about the presence or absence of closed eyes in the digital image based on data on the directions of the protuberances of the parabolas, approximating these features.
Недостатком способа является значительная вычислительная сложность, затрудняющая его реализацию во встроенных бортовых вычислительных средствах автомобиля, не обладающих достаточной вычислительной мощностью; увеличение времени получения сигнала о засыпании из-за относительно длительного процесса обнаружения глаз.The disadvantage of this method is the significant computational complexity that impedes its implementation in the on-board computer computing facilities of a vehicle that do not have sufficient processing power; an increase in the time to receive a signal about falling asleep due to the relatively long process of eye detection.
Известен способ опознавания по радужной оболочке глаза (см. патент РФ 2331107) [3], содержащий этапы получения изображения, по меньшей мере, одного глаза человека в инфракрасном спектре и обработки полученного изображения для определения идентификационных признаков на основе радужной оболочки, ограниченной наружной границей на глазе, при этом способ содержит следующие этапы: получение изображения глаза в видимом спектре почти одновременно с получением его изображения в инфракрасном спектре; определение наружной границы радужной оболочки на основе изображения, выполненного в видимом спектре, перед обработкой изображения, полученного в инфракрасном спектре.A known method of recognition by the iris of the eye (see RF patent 2331107) [3], comprising the steps of acquiring an image of at least one human eye in the infrared spectrum and processing the obtained image to determine identification signs based on the iris limited by the outer boundary on the eye, the method comprises the following steps: obtaining an image of the eye in the visible spectrum almost simultaneously with obtaining its image in the infrared spectrum; determination of the outer border of the iris based on the image made in the visible spectrum, before processing the image obtained in the infrared spectrum.
Недостаток способа заключается в сложности реализации (из-за ресурсоемкости способа) во встроенных вычислительных средствах операции анализа радужной оболочки. Другими недостатками является отсутствие возможности отслеживания движений глаз и невозможность обнаружения рассмотренным способом закрытых глаз, что принципиально необходимо для системы предупреждения дорожно-транспортного происшествия.The disadvantage of this method lies in the complexity of implementation (due to the resource consumption of the method) in the built-in computing means of the operation of the analysis of the iris. Other disadvantages are the inability to track eye movements and the inability to detect closed eyes in the considered manner, which is fundamentally necessary for a traffic accident prevention system.
Известен способ определения позиции глаза и устройство для его реализации (см. патент США №7,130,453) [4], заключающийся в получении изображения лица в ближнем инфракрасном свете, предобработке изображения и повышении контраста склеры и радужной оболочки на основе построения гистограммы яркости и последующем определении расчетного соотношения для коррекции яркости по гистограмме, определении соответствия градиентного изображения и шаблона глаза.There is a method of determining the position of the eye and a device for its implementation (see US patent No. 7,130,453) [4], which consists in obtaining images of the face in the near infrared light, preprocessing the image and increasing the contrast of the sclera and iris based on the construction of a histogram of brightness and the subsequent determination of the estimated ratios for correcting brightness by a histogram, determining the correspondence of a gradient image and an eye pattern.
Недостатком способа является возможность обнаружения только открытых глаз и невозможность анализа движений глаз в динамике.The disadvantage of this method is the ability to detect only open eyes and the inability to analyze eye movements in dynamics.
Известен способ безопасного определения глаз (см. патент США №7,430,365) [5], включающий оценку расстояния до глаза, итерационное изменение мощности излучения в зависимости от глаза, детектирование глаз.A known method for the safe determination of eyes (see US patent No. 7,430,365) [5], including estimating the distance to the eye, iterative change in radiation power depending on the eye, eye detection.
Недостатком способа является необходимость многократной оценки расстояния до глаза и обнаружения глаза, что увеличивает суммарное время выполнения способа и не обеспечивает своевременного обнаружения глаз.The disadvantage of this method is the need for multiple estimates of the distance to the eye and eye detection, which increases the total execution time of the method and does not provide timely eye detection.
Известен способ обнаружения глаз людей и животных (см. патент РФ №2223516) [6]. В способе осуществляют облучение лоцируемого объема пространства импульсным сканирующим излучением в диапазоне 450-760 нм электромагнитного спектра, прием отраженного сканирующего излучения, по крайней мере, два измерения энергии излучения, отраженного от лоцируемого объема пространства, каждое в диапазонах длин волн 450-500 нм и 500-570 нм - qb1, qg1 и qb2, qg1 соответственно, а определение наличия людей и животных в лоцируемом объеме пространства осуществляют по присутствию родопсина посредством сравнения отношений k1=qb1/qg1 и k2=qb2/qg2 между собой - при k2≠k1 родопсин присутствует, при k2=k1 родопсин отсутствует. Облучение лоцируемого объема пространства сканирующим излучением видимого электромагнитного диапазона длин волн должны осуществлять на минимально возможном расстоянии от оптической оси приема отраженного излучения, обеспечивающим возможность максимального усиления эффекта "красный глаз". Облучение лоцируемого объема пространства импульсным сканирующим излучением могут осуществлять посредством цветной цифровой фотокамеры, при этом фотографирование цветной цифровой фотокамерой за время экспозиции фотовспышкой осуществляют, по крайней мере, два фотоснимка в диапазоне 450-570 нм и 520-760 нм.A known method for detecting the eyes of humans and animals (see RF patent No. 2223516) [6]. The method irradiates the located volume of space with pulsed scanning radiation in the range of 450-760 nm of the electromagnetic spectrum, receives reflected scanning radiation, at least two measurements of the radiation energy reflected from the located volume of space, each in the wavelength ranges of 450-500 nm and 500 -570 nm - q b1 , q g1 and q b2 , q g1, respectively, and the determination of the presence of people and animals in the located volume of space is carried out by the presence of rhodopsin by comparing the ratios k 1 = q b1 / q g1 and k 2 = q b2 / q g2 among themselves - at k 2 ≠ k 1 rhodopsin is present, at k 2 = k 1 there is no rhodopsin. The localized volume of space is irradiated with scanning radiation of the visible electromagnetic wavelength range should be carried out at the minimum possible distance from the optical axis of the reception of reflected radiation, providing the possibility of maximum amplification of the red eye effect. The localized volume of space can be irradiated with pulsed scanning radiation using a color digital camera, while photographing with a color digital camera during the flash exposure takes at least two photographs in the range 450-570 nm and 520-760 nm.
Недостатками способа являются:The disadvantages of the method are:
- получение не менее двух кадров за время действия фотовспышки, что не всегда возможно вследствие недостаточно высокого быстродействия используемого оптико-электронного датчика (например, для изображений большого размера) и малого времени действия вспышки;- obtaining at least two frames during the duration of the flash, which is not always possible due to the insufficiently high speed of the used optical-electronic sensor (for example, for large images) and the short duration of the flash;
- расположение источника излучения на близком расстоянии от оптической оси приема отраженного излучения не возможно для системы предупреждения засыпания водителя;- the location of the radiation source at a close distance from the optical axis of the reception of the reflected radiation is not possible for the system of preventing falling asleep of the driver;
- использование вспышки совершенно неприемлемо по причине создания визуальной помехи водителю.- Using the flash is completely unacceptable due to the visual disturbance to the driver.
Наиболее близким к предлагаемому является способ обнаружения закрытых глаз в системе предупреждения засыпания водителя (см. патент США №6,130,617) [7], заключающийся в получении изображения лица с ПЗС-камеры, выделении пар областей, предположительно содержащих изображения глаз, обнаружении областей глаз и носа по наименьшему составленному ими равнобедренному треугольнику.Closest to the proposed one is a method of detecting closed eyes in a system for preventing falling asleep of a driver (see US Pat. No. 6,130,617) [7], which consists in obtaining a face image from a CCD camera, highlighting pairs of areas supposedly containing eye images, detecting areas of the eyes and nose according to the smallest isosceles triangle compiled by them.
Недостатком способа является отсутствие возможности анализа движений глаз, отсутствие измерения параметров движений и морганий.The disadvantage of this method is the lack of analysis of eye movements, the lack of measurement of parameters of movements and blinks.
Задачей, которую призвано решить заявляемое изобретение, является разработка способа предупреждения засыпания водителя транспортного средства, отличающегося от известных:The task to be solved by the claimed invention is to develop a method for preventing falling asleep of a vehicle driver, different from the known ones:
- возможностью применения в транспортном средстве любого типа,- the possibility of use in a vehicle of any type,
- низкой вычислительной сложностью, достаточной для реализации на низкобюджетных вычислительных модулях,- low computational complexity sufficient for implementation on low-budget computing modules,
- простотой практической реализации,- simplicity of practical implementation,
- возможностью анализа как признаков процесса засыпания и усталости водителя, так и факта его засыпания,- the ability to analyze both signs of the process of falling asleep and fatigue of the driver, and the fact of falling asleep,
- инвариантностью к изменениям внешнего освещения.- invariance to changes in external lighting.
Технический результат достигается за счет того, что в известный способ [7] обнаружения закрытых глаз в системе предупреждения засыпания водителя, включающий получение изображения лица, обнаружение областей, предположительно содержащих глаза, обнаружении областей глаз, введены операции по формированию эталона зрачка текущего водителя на основе общего для любого человека описания, периодическое освещение лица водителя инфракрасным светом, обнаружение области изображения, содержащей лицо, определение границ области движения зрачка, определение частоты и направлений движения глаз, определение частоты морганий, определение длительности периода времени, в течение которого глаза закрыты, сравнение параметров, характеризующих состояние водителя, с эталонными для состояния засыпания и состояния сна, принятие решения о необходимости сигнализации о засыпании водителя.The technical result is achieved due to the fact that in the known method [7] for detecting closed eyes in the system for preventing falling asleep of a driver, including obtaining a face image, detecting areas presumably containing eyes, detecting eye areas, operations have been introduced to form a pupil pattern of the current driver based on a common for any person descriptions, periodic illumination of the driver’s face with infrared light, detection of the image area containing the face, determination of the boundaries of the area of movement of the pupil, determination of the frequency and directions of eye movement, determination of the frequency of blinks, determination of the length of the period of time during which the eyes are closed, comparison of parameters characterizing the state of the driver with the reference ones for the state of falling asleep and the state of sleep, deciding on the need for signaling about falling asleep of the driver.
Изобретение может быть использовано для повышения безопасности управления транспортным средством посредством своевременного предотвращения засыпания водителя и соответствует критерию «промышленная применимость».The invention can be used to improve the safety of driving a vehicle by timely preventing the driver from falling asleep and meets the criterion of "industrial applicability".
Сущность изобретения поясняется чертежом, где показан алгоритм реализации способа.The invention is illustrated in the drawing, which shows the algorithm for implementing the method.
Последовательность операций в способе предупреждения засыпания водителя следующая:The sequence of operations in the method of preventing falling asleep of the driver is as follows:
- получение изображения лица,- getting a face image,
- формирование эталона зрачка текущего водителя на основе общего для любого человека описания,- the formation of the standard pupil of the current driver based on a description common to any person,
- обнаружение области изображения, содержащей лицо,- detection of the image area containing the face,
- обнаружение областей, предположительно содержащих глаза,- detection of areas allegedly containing eyes,
- обнаружение областей глаз и определение границ области движения зрачка,- detection of eye areas and determination of the boundaries of the area of movement of the pupil,
- определение текущих координат зрачков,- determination of the current coordinates of the pupils,
- определение частоты, амплитуды и направлений движения глаз,- determination of the frequency, amplitude and directions of eye movement,
- определение частоты и длительности морганий,- determination of the frequency and duration of blinks,
- определение длительности периода времени, в течение которого глаза закрыты,- determination of the duration of the period of time during which the eyes are closed,
- сравнение параметров, характеризующих состояние водителя, с эталонными для состояния засыпания и состояния сна,- a comparison of the parameters characterizing the condition of the driver, with the reference for the state of falling asleep and the state of sleep,
- принятие решения о необходимости сигнализации о засыпании водителя.- decision making on the need for signaling that the driver is falling asleep
Рассмотрим способ предупреждения засыпания водителя.Consider a way to prevent the driver from falling asleep.
Способ заключается в автоматическом выполнении следующих групп операций (см. алгоритм на фиг.1):The method consists in automatically performing the following groups of operations (see the algorithm in figure 1):
- настройке параметров способа обнаружения глаз текущего водителя (осуществляется однократное распознавание глаз текущего водителя на основе общего описания характеристик глаза с целью последующего использования эталона глаза и зрачка именно текущего водителя; это обеспечивает существенное снижение вычислительной сложности последующей многократно выполняемой процедуры обнаружения глаза, используемой при анализе траектории движения глаз), блоки 1-3 алгоритма на фиг.1,- setting the parameters of the method for detecting the eyes of the current driver (one-time recognition of the eyes of the current driver is carried out on the basis of a general description of the characteristics of the eye for the subsequent use of the eye standard and the pupil of the current driver; this significantly reduces the computational complexity of the subsequent repeatedly performed eye detection procedure used in the analysis of the trajectory eye movements), blocks 1-3 of the algorithm in figure 1,
- анализе текущего состояния глаз (открыты, закрыты, положение зрачков), блоки 4-11 алгоритма,- analysis of the current state of the eyes (open, closed, position of the pupils), blocks 4-11 of the algorithm,
- оценки состояния водителя и принятие решения о необходимости сигнализации о засыпании водителя, блоки 12-20 алгоритма.- assessing the condition of the driver and making a decision about the need for signaling about falling asleep of the driver, blocks 12-20 of the algorithm.
Получение изображения лица осуществляют посредством использования закрепленного напротив лица водителя малогабаритного оптико-элекронного датчика. Оптико-электронный датчик (ОЭД) закрепляют на приборной доске автомобиля или над лобовым стеклом. Для освещения и получения контрастного изображения лица независимо от внешней освещенности используют малогабаритный инфракрасный осветитель, располагаемый аналогично ОЭД напротив лица.Obtaining a face image is carried out by using a small-sized optical-electronic sensor fixed in front of the driver's face. Optoelectronic sensor (OED) is mounted on the dashboard of a car or above the windshield. To illuminate and obtain a contrasting image of the face, regardless of the external illumination, a small-sized infrared illuminator is used, located similarly to the OED opposite the face.
На основе априорной информации об изображении зрачка и глаза (зрачок почти круглый, на его изображении выделяются две области - радужная оболочка и непосредственно сам зрачок, зрачок имеет цвет, отличный от кожи и глазного яблока, сверху и снизу глаза расположены границы нижнего и верхнего века, уголки глаз имеют острый угол) производится распознавание глаза (блок 2 алгоритма, фиг.1). Используемый для формирования эталона метод распознавания позволяет достоверно выделять глаза на изображении (см. Принципы функционирования бинокулярного оптико-электронного устройства для диагностики отклонений глазодвигательного аппарата /В.Н.Гридин, B.C.Титов, М.И.Труфанов // Известия вузов. Приборостроение, - 2008 г., - №2, - С.48-53 [8]; Метод обнаружения глаз на изображении и распознавания их состояния /B.C.Титов, М.И.Труфанов // Вестник ТулГУ. Серия Радиотехника и радиоэлектроника. Т.IX. - Тула: Изд-во ТулГУ, 2007, - С.133-138 [9]).On the basis of a priori information about the image of the pupil and eye (the pupil is almost round, two areas are distinguished on its image - the iris and the pupil itself, the pupil has a color different from the skin and the eyeball, the borders of the lower and upper eyelids are located above and below the eye, the corners of the eyes have an acute angle) eye recognition is performed (block 2 of the algorithm, Fig. 1). The recognition method used to form the standard allows one to reliably distinguish eyes in the image (see. Principles of functioning of a binocular optoelectronic device for diagnosing deviations of the oculomotor apparatus / V.N. Gridin, BC Titov, M. I. Trufanov // Izvestiya Vuzov. Instrument-making, - 2008, - No. 2, - S.48-53 [8]; A method for detecting eyes in an image and recognizing their state / BCTitov, M.I. Trufanov // Bulletin of TulSU. Series Radio engineering and radio electronics. T.IX. - Tula: Publishing house of TulSU, 2007, - S.133-138 [9]).
В результате формируется эталон глаз текущего водителя, представляющий собой набор характеристик (блок 3, фиг.1):As a result, the eye pattern of the current driver is formed, which is a set of characteristics (
- длина и ширина описанных вокруг каждого глаза прямоугольников;- the length and width of the rectangles described around each eye;
- диаметр зрачков и радужных оболочек,- the diameter of the pupils and iris,
- отношение цвета зрачка к цвету радужной оболочки (цвет во всех операциях способа представляется в градациях серого),- the ratio of the color of the pupil to the color of the iris (the color in all operations of the method is presented in shades of gray),
- расстояние между глазами.- distance between the eyes.
Далее согласно предлагаемому способу выполняется группа операций, обеспечивающая анализ текущего состояния глаз (открыт/закрыт) и определение координат зрачков для открытых глаз.Further, according to the proposed method, a group of operations is performed that provides an analysis of the current state of the eyes (open / closed) and determination of the coordinates of the pupils for open eyes.
Для этого получают изображения лица при выключенном и затем при включенном инфракрасном (ИК) осветителе. Каждый кадр изображения разбивают на небольшие области. По каждой области получают среднее значение яркостей пикселей, ее составляющих. Анализ средних яркостей областей кадров при выключенном и включенном источнике ИК-излучения позволяет обнаружить лицо на основе следующих особенностей. При включенном ИК-излучении кожа лица имеет почти белый цвет, тогда как фон, расположенный дальше от ОЭД, чем лицо, характеризуется существенно меньшей яркостью. Кроме этого для обнаружения лица используют дополнительный признак: при выключенном и включенном ИК-излучении яркость соответствующей коже лица части кадра будет существенно отличаться, а яркость фона за лицом лишь незначительно изменится. Таким образом, совокупность данных признаков позволяет обнаружить лицо водителя простой с вычислительной точки зрения процедурой. Заключительной операцией второй группы операций является обнаружение глаз по наличию зрачков на изображении на основе использования следующих признаков и измерение двумерных координат зрачков:For this, face images are obtained with the infrared (IR) illuminator turned off and then on. Each frame of the image is divided into small areas. For each region, the average value of the brightness of the pixels that make it up is obtained. Analysis of the average brightness of the frame areas with the IR source turned off and on allows you to detect a face based on the following features. When IR radiation is on, the skin of the face has an almost white color, while the background located farther from the OED than the face is characterized by a significantly lower brightness. In addition, an additional feature is used to detect faces: when the infrared radiation is turned off and on, the brightness of the part of the frame corresponding to the skin of the face will differ significantly, and the background brightness behind the face will only slightly change. Thus, the combination of these features allows you to detect the driver’s face with a procedure that is simple from a computational point of view. The final operation of the second group of operations is the detection of eyes by the presence of pupils in the image based on the use of the following features and measurement of the two-dimensional coordinates of the pupils:
- при ИК-освещении зрачок остается почти черным на изображении, а остальная часть лица светлой, а также круглой формы зрачка;- under IR illumination, the pupil remains almost black in the image, and the rest of the face is light as well as a round pupil;
- известного (определенного ранее в блоках 1-3 алгоритма, фиг.1) диаметра зрачков,- known (previously defined in blocks 1-3 of the algorithm, figure 1) the diameter of the pupils,
- расстояния между глазами (также определенного ранее в блоках 1-3 алгоритма).- the distance between the eyes (also defined earlier in blocks 1-3 of the algorithm).
Для обнаружения глаз, определения их состояния и измерения координат зрачков в случае открытых глаз производят:To detect the eyes, determine their condition and measure the coordinates of the pupils in the case of open eyes, produce:
1) получение кадра I1 изображения при отключенном ИК-излучении;1) obtaining a frame I 1 image when the infrared radiation is off;
2) оценку средней яркости в областях P1ij кадра, представляющих собой прямоугольники с размерами сторон, в n раз меньшими, чем соответствующие размеры кадра (длина и ширина).2) an estimate of the average brightness in the regions P 1ij of the frame, which are rectangles with side sizes n times smaller than the corresponding frame sizes (length and width).
3) облучение объекта ИК-излучением и получение кадра I2 изображения при включенном ИК-излучении;3) irradiation of the object with infrared radiation and obtaining a frame I 2 image when the infrared radiation;
4) оценку средней яркости в указанных выше областях P2ij кадра при включенном источнике ИК-излучения;4) an estimate of the average brightness in the above areas P 2ij frame when the source of infrared radiation;
5) выявление факта наличия изменения яркостей областей кадра, такого что: а) яркости областей с левой и правой стороны кадра изменились незначительно; б) яркости центральных областей изменились существенно, причем данные области представляют собой связанную область;5) the identification of the fact that there is a change in the brightness of the areas of the frame, such that: a) the brightness of the areas on the left and right sides of the frame have changed slightly; b) the brightness of the central areas have changed significantly, and these areas are a connected area;
6) принятие решения при выполнении условия 5 о наличии лица в кадре или об отсутствии такового при невыполнении условия 5;6) a decision is made when
7) анализ кадра I2. Формирование множества из областей изображения с яркостью, близкой к минимальной для данного кадра изображения, и определение степени округлости (см. Методы цифровой обработки изображений: учебное пособие Ч.1. Гриф УМО / Дегтярев С.В., Садыков С.С., Тевс С.С., Ширабакина Т.А. - Курск: Курск, гос. тех. ун-т, 2001, - 167 с.) [10] для каждой из них;7) frame analysis I 2 . Formation of a set of image areas with brightness close to the minimum for a given image frame, and determination of the degree of roundness (see Digital image processing methods: a training manual Part 1. Grif UMO / Degtyarev SV, Sadykov SS, Tevs SS, Shirabakina T.A. - Kursk: Kursk, state technical university, 2001, - 167 p.) [10] for each of them;
8) поиск не менее двух круглых областей из сформированного в п.7 множества, имеющих близкие диаметры и площади;8) the search for at least two circular regions from the set formed in
9) определение контраста в соответствующей области P2i, содержащей круглые области по п.8;9) determination of contrast in the corresponding region of P 2i containing the circular region of
10) принятие решения о нахождении зрачков (и глаз) при наличии не менее двух областей по п.8, имеющих контраст, измеренный в п.9, превышающий заданный порог, и расположенных на расстоянии не менее, чем m*d (где m - константа, d - определенный в п.8 диаметр областей).10) the decision to find the pupils (and eyes) in the presence of at least two areas according to
Рассмотрим подробнее перечисленные выше операции.Consider the operations listed above in more detail.
Получение кадра изображения заключается в считывании значений яркостей пикселей с матричного приемника оптико-электронного датчика и занесения данных яркостей в матрицу I, размерность которой определяется размерами кадра изображения (см. Методы компьютерной обработки изображений / Под ред. В.А.Сойфера. - М.: Физматлит, - 2001, - 784 с.) [11]. Формируют два кадра изображения - при отключенном ИК-излучении I1 и при включенном I2.Obtaining an image frame consists in reading pixel brightness values from a matrix receiver of an optoelectronic sensor and recording the brightness values in matrix I, the dimension of which is determined by the image frame size (see Methods of computer image processing / Edited by V.A.Soyfer. - M. : Fizmatlit, - 2001, - 784 p.) [11]. Two image frames are formed - when the IR radiation is off I 1 and when I 2 is on .
Далее разбивают каждый кадр изображения на n2 областей (P1ij - области первого кадра, P2ij - области второго кадра, индексы i, j определяют позицию области). Если исходное изображение цветное, то его преобразуют к монохроматическому или дальнейший анализ изображения производят только по красному каналу. По каждой области получают среднее значение яркостей пикселей, ее составляющих.Next, each image frame is divided into n 2 areas (P 1ij - areas of the first frame, P 2ij - areas of the second frame, indices i, j determine the position of the area). If the original image is color, then it is converted to monochromatic or further image analysis is performed only on the red channel. For each region, the average value of the brightness of the pixels that make it up is obtained.
Анализ средних яркостей областей P1ij и P2ij кадров при выключенном и включенном источнике ИК-излучения позволяет обнаружить лицо на основе рассмотренных выше особенностей.Analysis of the average brightness of the regions P 1ij and P 2ij frames with the IR source turned off and on allows you to detect a face based on the features discussed above.
Заключительной операцией является обнаружение зрачков на изображении. Известно (см. [8]), что при ИК-освещении зрачок остается почти черным на изображении, а остальная часть лица светлой. Причем для открытого глаза зрачок будет иметь форму, близкую к окружности (незначительно исказить форму могут ресницы верхнего века). На изображении лица другими темными областями могут оказаться только ноздри. Для селекции зрачков от ноздрей применяют признак, связанный с расстоянием между ними, в разы большим расстояния между ноздрями. Появление других темных пятен на лице маловероятно. Указанные признаки с достаточной для практического применения достоверностью позволяют обнаруживать зрачки и определять их координаты, выявлять факт наличия глаз и их состояние (открыты, закрыты).The final operation is the detection of pupils in the image. It is known (see [8]) that under IR illumination the pupil remains almost black in the image, and the rest of the face is light. Moreover, for an open eye, the pupil will have a shape close to a circle (eyelashes of the upper eyelid can slightly distort the shape). Only dark nostrils may appear in the image of the face with other dark areas. For the selection of pupils from the nostrils, a sign is used that is associated with the distance between them, many times greater than the distance between the nostrils. Other dark spots on the face are unlikely. These signs, with sufficient reliability for practical use, make it possible to detect pupils and determine their coordinates, to reveal the fact of the presence of eyes and their condition (open, closed).
Полученные текущие данные о состоянии глаз сохраняются за заданный промежуток времени и используются для оценки состояния водителя и принятия решения о необходимости сигнализации о засыпании водителя (блоки 12-20 алгоритма, фиг.1).The obtained current data on the state of the eyes are stored for a given period of time and are used to assess the condition of the driver and make a decision about the need for signaling that the driver is falling asleep (blocks 12-20 of the algorithm, FIG. 1).
Рассмотрим заключительную третью группу операций предлагаемого способа.Consider the final third group of operations of the proposed method.
В блоке 12 алгоритма (фиг.1) производится подсчет количества n морганий глаз (как перехода из открытого состояния в закрытое и обратно в открытое за небольшой интервал времени) и определение их средней длительности t.In
В блоке 13 алгоритма определяются средние амплитуда α и частота быстрых движений глаз при смене направлений наблюдения при управлении транспортным средством.In
В блоке 14 определяется интервал времени T, в течение которого глаза находятся в закрытом состоянии (если текущее их состояние - «закрыты»).In
Принятие решения об утомлении водителя и возможном начале засыпания осуществляется:The decision on the fatigue of the driver and the possible start of falling asleep is carried out:
- по снижению количества морганий n и увеличению их средней длительности t. Проверка данных условий выполняется сравнением величин n, t с априори заданными величинами nЭ, tЭ в блоке 15;- to reduce the number of blinks n and increase their average duration t. Verification of these conditions is performed by comparing the values of n, t with a priori given values of n e , t e in
- по снижению средней амплитуды A движений зрачков при смене направлений наблюдения и снижению частоты f смены направлений (движений глаз). Проверка данных условий выполняется в блоке 17 сравнением величин A, f с априори заданными величинами AЭ, fЭ.- to reduce the average amplitude A of the movements of the pupils when changing directions of observation and reducing the frequency f of changing directions (eye movements). Checking these conditions is performed in
При выполнении условий блоков алгоритма 15 и 17 производится формирование предупреждающего звукового сигнала о начале засыпания водителя.When the conditions of the blocks of
Засыпание как конечное состояние определяется в блоке 19 посредством обнаружения длительного закрытия обоих глаз (закрытия глаз на величину большую, чем эталонную TЭ). В этом случае формируется звуковой сигнал об опасности, не прекращающийся до открытия глаз.Falling asleep as a final state is determined in
В предлагаемом способе в качестве источника ИК-излучения может быть использован ИК-светодиод. В качестве ОЭД - малогабаритная видеокамера. Операции блоков 4-21 алгоритма характеризуются низкой вычислительной сложностью и могут быть реализованы на низкобюджетных программируемых логических интегральных схемах и микроконтроллере или микроЭВМ. Операция блока 2 (первоначальное распознавание глаз) является вычислительно сложной, однако в отличие от операций 4-21 она может быть выполнена не в реальном времени, что позволяет ее реализовать на указанных выше низкобюджетных вычислительных средствах.In the proposed method, an IR LED can be used as a source of infrared radiation. As an OED - a small-sized video camera. The operations of blocks 4-21 of the algorithm are characterized by low computational complexity and can be implemented on low-budget programmable logic integrated circuits and a microcontroller or microcomputer. The operation of block 2 (initial eye recognition) is computationally complex, however, unlike operations 4-21, it can be performed in real time, which allows it to be implemented on the low-cost computing tools mentioned above.
Изобретение позволяет повысить безопасность дорожного движения посредством своевременного обнаружения засыпания и характеризуется возможностью применения в транспортном средстве любого типа, низкой вычислительной сложностью, достаточной для реализации на низкобюджетных вычислительных средствах, простотой практической реализации, возможностью анализа как признаков процесса засыпания и усталости водителя, так и факта его засыпания.The invention improves road safety through the timely detection of falling asleep and is characterized by the possibility of application in a vehicle of any type, low computational complexity, sufficient for implementation on low-budget computing facilities, ease of practical implementation, the ability to analyze both signs of the process of falling asleep and driver fatigue, and its fact falling asleep.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2009113443/11A RU2413632C2 (en) | 2009-04-10 | 2009-04-10 | Method to prevent driver falling asleep |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2009113443/11A RU2413632C2 (en) | 2009-04-10 | 2009-04-10 | Method to prevent driver falling asleep |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2009113443A RU2009113443A (en) | 2010-10-20 |
RU2413632C2 true RU2413632C2 (en) | 2011-03-10 |
Family
ID=44023614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2009113443/11A RU2413632C2 (en) | 2009-04-10 | 2009-04-10 | Method to prevent driver falling asleep |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2413632C2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2563091C1 (en) * | 2014-05-16 | 2015-09-20 | Закрытое акционерное общество "НЕЙРОКОМ" | Determination of operator eye current state at control over vigilance |
RU171527U1 (en) * | 2016-05-17 | 2017-06-05 | Ярослав Валерьевич Голуб | DEVICE FOR DETECTING SIGNS OF SLEEPING VEHICLE DRIVERS |
RU2700253C1 (en) * | 2018-12-29 | 2019-09-13 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Волгоградский государственный технический университет" (ВолгГТУ) | Method to prevent vehicle driver falling asleep |
RU2726349C1 (en) * | 2019-08-06 | 2020-07-13 | Общество с ограниченной ответственностью «ОКО Системс» | Device for monitoring state of operator, controlling vehicle movement |
RU2741932C1 (en) * | 2019-11-14 | 2021-01-29 | Федеральное государственное бюджетное учреждение "4 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации | Wake level control device for multi-axle chassis driver |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10671071B2 (en) * | 2016-08-09 | 2020-06-02 | Nissan Motor Co., Ltd. | Control method and control device of automatic driving vehicle |
-
2009
- 2009-04-10 RU RU2009113443/11A patent/RU2413632C2/en not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2563091C1 (en) * | 2014-05-16 | 2015-09-20 | Закрытое акционерное общество "НЕЙРОКОМ" | Determination of operator eye current state at control over vigilance |
RU171527U1 (en) * | 2016-05-17 | 2017-06-05 | Ярослав Валерьевич Голуб | DEVICE FOR DETECTING SIGNS OF SLEEPING VEHICLE DRIVERS |
RU2700253C1 (en) * | 2018-12-29 | 2019-09-13 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Волгоградский государственный технический университет" (ВолгГТУ) | Method to prevent vehicle driver falling asleep |
RU2726349C1 (en) * | 2019-08-06 | 2020-07-13 | Общество с ограниченной ответственностью «ОКО Системс» | Device for monitoring state of operator, controlling vehicle movement |
RU2741932C1 (en) * | 2019-11-14 | 2021-01-29 | Федеральное государственное бюджетное учреждение "4 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации | Wake level control device for multi-axle chassis driver |
Also Published As
Publication number | Publication date |
---|---|
RU2009113443A (en) | 2010-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6442942B2 (en) | Driver status determination device | |
US8102417B2 (en) | Eye closure recognition system and method | |
RU2413632C2 (en) | Method to prevent driver falling asleep | |
US8063786B2 (en) | Method of detecting drowsiness of a vehicle operator | |
CN101593425B (en) | Machine vision based fatigue driving monitoring method and system | |
Eriksson et al. | Driver fatigue: a vision-based approach to automatic diagnosis | |
WO2020029444A1 (en) | Method and system for detecting attention of driver while driving | |
JP4899059B2 (en) | Sleepiness detection device | |
JP4677963B2 (en) | Dozing detection device, dozing detection method | |
Liu et al. | Driver fatigue detection through pupil detection and yawing analysis | |
EP2060993B1 (en) | An awareness detection system and method | |
WO2007092512A2 (en) | Driver drowsiness and distraction monitor | |
JP2009219555A (en) | Drowsiness detector, driving support apparatus, drowsiness detecting method | |
Anjali et al. | Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness | |
Tang et al. | Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance | |
EP1799483A1 (en) | A security device | |
CN107507395A (en) | A kind of fatigue driving detecting system and method | |
Bergasa et al. | Visual monitoring of driver inattention | |
Bergasa et al. | Real-time system for monitoring driver vigilance | |
JPH08290726A (en) | Doze alarm device | |
JP7240910B2 (en) | Passenger observation device | |
JP4781292B2 (en) | Closed eye detection device, dozing detection device, closed eye detection method, and closed eye detection program | |
Hamada et al. | Detecting method applicable to individual features for drivers' drowsiness | |
KR102072910B1 (en) | A drowsiness detection method using the drowsiness detection apparatus | |
CN112494045A (en) | Driver fatigue detection method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RH4A | Copy of patent granted that was duplicated for the russian federation |
Effective date: 20111205 |
|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20120411 |