RU2541922C2 - Method and device to determine look direction - Google Patents

Method and device to determine look direction Download PDF

Info

Publication number
RU2541922C2
RU2541922C2 RU2013121977/08A RU2013121977A RU2541922C2 RU 2541922 C2 RU2541922 C2 RU 2541922C2 RU 2013121977/08 A RU2013121977/08 A RU 2013121977/08A RU 2013121977 A RU2013121977 A RU 2013121977A RU 2541922 C2 RU2541922 C2 RU 2541922C2
Authority
RU
Russia
Prior art keywords
control
image
object
images
range
Prior art date
Application number
RU2013121977/08A
Other languages
Russian (ru)
Other versions
RU2013121977A (en
Inventor
Артемий Александрович Котов
Борис Митрофанович Величковский
Сергей Александрович Шевчик
Андрей Александрович Тремба
Александр Викторович Пчелинцев
Original Assignee
Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" filed Critical Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт"
Priority to RU2013121977/08A priority Critical patent/RU2541922C2/en
Publication of RU2013121977A publication Critical patent/RU2013121977A/en
Application granted granted Critical
Publication of RU2541922C2 publication Critical patent/RU2541922C2/en

Links

Images

Abstract

FIELD: measurement equipment.
SUBSTANCE: invention relates to the field of I&C. The method consists in setting mutual location of devices that detect images of the object of interest, which perform consecutive or synchronous detection of the object of interest in different spectral ranges. They produce an image of a whole object with a certain background with the help of one detecting device having sensitivity in the remote infrared range, on this image they separate the object itself from the background, and also separate individual segments of the object and localise them on this image. Similar segments of the object are localised on images produced from other detecting devices, which are sensitive in ordinary visible and/or near infrared rage, or regardless of the first detecting device they align these detecting devices in space relative to the first detecting device so that they detect images of object segments localised on images from the first detecting device. They calculate orientation of object segments and direction of the look line.
EFFECT: reduction of noise introduced by external sources, at the stage of image registration.
17 cl, 3 dwg

Description

Изобретение относится к контрольно-измерительной технике и может быть использовано для измерения динамики движения глаз в процессе выполнения человеком когнитивных задач, а также для реализации интерфейсов, чувствительных к вниманию, интерфейсах глаз - мозг - компьютер, в системах, осуществляющих коммуникацию между людьми с нарушениями моторных функций. The invention relates to test and measurement equipment and may be used to measure the dynamics of eye movement during the execution of human cognitive tasks, as well as to implement interfaces sensitive attention interfaces eye - Brain - a computer, carrying out communication between people with motor impairment systems functions.

Уровень техники BACKGROUND

Техника относится к системам регистрации движений глаз. Technique relates to systems for recording eye movements. Механизмы восприятия и активной обработки визуальной информации широко изучаются в рамках прикладных когнитивных наук уже более пятидесяти лет [5, 4]. Mechanisms of perception and active processing of visual information have been widely studied in the framework of the application of cognitive science for over fifty years [5, 4]. В процессе этих исследований были описаны устойчивые связи между динамикой движений глаз и параметрами восприятия зрительной информации человеком (так называемая глубина внимания) [4, 5, 6]. During these studies, stable relationship between eye movements and dynamics parameters of human perception of visual information have been described (so-called depth of focus) [4, 5, 6]. Данные закономерности позволили реализовать методы измерения зрительного внимания, а также распознавания намерений пользователя на основе анализа глазодвигательной активности [4, 5, 8, 14]. These patterns allow to implement the methods of measurement of visual attention, as well as the user's intention based on recognition analysis oculomotor activity [4, 5, 8, 14]. Это открывает перспективу создания ряда уникальных устройств, обеспечивающих интерфейс взаимодействия человека с техническими системами посредством взгляда. This opens up the prospect of creating a number of unique devices that provide the human interface to the technical systems by sight. Областью применения таких систем является, например, дистанционное управление автономными робототехническими системами и технологическими процессами. The field of application of such systems is, for example, remote control autonomous robotic systems and processes. Измерение зрительного внимания дает возможность прогнозировать способность пользователя своевременно реагировать на изменения в окружающем его пространстве [4]. Measurement of visual attention makes it possible to predict the user's ability to react to changes in the surrounding area. [4] Назначением подобных систем является учет человеческого фактора (например, оценка состояния оператора, вовлеченного в сложные технологические процессы, водителя транспортного средства и т.д.). The purpose of such systems is the human factors (e.g., evaluation of the status of the operator involved in the complex processes, the driver vehicle, etc.). Внедрение подобных систем в транспортные средства является особенно актуальной задачей в связи с большим количеством жертв автомобильных аварий в России [7]. The introduction of these systems into vehicles is particularly important in view of the large number of victims of road accidents in Russia [7].

Несмотря на значительное количество накопленных знаний в области когнитивных наук, создание устройств, которые бы в полной мере реализовали описанные выше возможности, представляет сложную техническую задачу. Despite the significant amount of accumulated knowledge in the field of cognitive science, the creation of devices that would take full advantage of the above, is a complex technical problem. Традиционные методы регистрации движений глаз являются контактными, что ограничивает их применение в широком круге прикладных задач. Traditional methods for recording eye movements are contact, which limits their application in a wide range of applications. Крепление датчиков в таких системах осуществляется непосредственно на лице испытуемого (например, в методе электроокулографии) [22]. Fastening sensors in such systems are carried out directly on the face of the subject (e.g., in a method electrooculography) [22]. Многолетний опыт использования традиционных методов позволил сформулировать основные требования к подобным системам в целом: Many years of experience in the use of traditional methods has allowed to formulate the basic requirements for such systems as a whole:

1. Возможность бесконтактной, дистанционной регистрации движения зрачка; 1. The possibility of non-contact, remote check movement of the pupil;

2. Максимальная свобода на естественные движения пользователя; 2. The maximum freedom to the natural movement of the user;

3. Использование пассивных методов регистрации (без задействования специальной подсветки или обучения пользователя). 3. Using passive recording methods (without involvement of special lighting or user training).

Последнее требование обусловлено необходимостью в ряде случаев проводить длительные наблюдения за человеком, в то время как наличие засветки накладывает значительные временные ограничения на подобные измерения (вследствие накопления дозы излучения). The last requirement is due to the need in some cases to carry out long-term monitoring of a person, while the presence of significant exposure imposes temporary restrictions on such measurements (due to the accumulation of radiation dose). Частичное достижение вышеперечисленных требований стало возможным только с появлением детектирующих устройств на базе матричных фотодетекторов (ПЗС, КМОП), где основной упор делается на обработку изображений. Partial achieve the above requirements has been made possible only with the advent of the detection devices based on the matrix of photodetectors (CCD, CMOS), where the emphasis is on image processing. В их состав входит непосредственно само детектирующее устройство (одно или несколько), а также персональный компьютер, обеспечивающий обработку полученных изображений в режиме реального времени. Their structure includes directly detecting device itself (one or more), and a personal computer, which provides processing of the received images in real time. Алгоритмы обработки изображений при этом реализуют сложные многоэтапные математические методы, среди которых обычно последовательно производится поиск лица и глаз пользователей на изображении, поиск зрачка, его оконтуривание, вычисление пространственного положения пользователя и вычисление линии взгляда. Image processing algorithms implemented in this complex multi-step mathematical methods, among which are usually performed sequentially search the face and eyes of users in the image search, the pupil, it contouring, calculating the spatial position of the user and the calculation of the line of sight. На сегодняшний день доступны несколько коммерческих систем, имеющих описанную выше архитектуру [9, 10]. Today there are several commercial systems having the architecture described above [9, 10]. Несмотря на значительные преимущества по сравнению с традиционными контактными методами, они по прежнему обладают рядом значительных недостатков. Despite the significant advantages compared to traditional contact methods, they still have a number of significant drawbacks. Точность измерений в реальных условиях зависит от изменений градиента и уровня внешней освещенности. Measurement accuracy in real conditions depends on the gradient of change and the level of ambient light. Технические возможности ряда детектирующих устройств позволяют частично компенсировать данные условия. Technical capabilities of a number of detection devices make it possible to partially compensate for these conditions. В процессе регистрации изображений производится адаптивная подстройка времени экспозиции в зависимости от засветки фоточувствительной матрицы (шатерный механизм -англ. shutter). In the process of image registration is made adaptive tuning of the time of exposure depending on the exposure of the photosensitive matrix (shaterny mechanism -angl. Shutter). Это позволяет избегать насыщения элементов матричного фотодетектора и при изменении уровня освещенности поддерживать контраст изображения. This avoids saturation of the matrix elements of the photodetector and the illumination level change to maintain the contrast of the image. Однако полностью компенсировать внешние факторы и выдерживать постоянный контраст с помощью шатерного механизма не всегда возможно. However, to fully compensate for external factors and to maintain a constant contrast using shaternogo mechanism is not always possible. Это в значительной степени влияет на работу алгоритмов обработки изображений, которые крайне чувствительны к контрасту изображений. This largely affects the operation of the image processing algorithms that are extremely sensitive to the contrast of the image. На сегодняшний день это является основным фактором, влияющим на работу систем. Today it is the main factor affecting the operation of the systems. Пример - регистрация лица и глаз водителя в условиях ночного движения, где фары встречных автомобилей создают неравномерные перепады освещенности. Example - registration of the face and eyes of the driver in a nighttime traffic, where oncoming car headlights create a non-uniform illumination variations. Интенсивность встречного движения может привести к невозможности проводить указанные измерения. The intensity of oncoming traffic may make it impossible to carry out these measurements. Повышение контраста изображений, содержащих лицо и глаза пользователя, в условиях плохой освещенности или при ее резких перепадах в некоторых системах достигается путем подсветки лица низкоинтенсивным излучением ближнего ИК диапазона (700-950 нм). Increasing the contrast of images containing the face and eyes of the user, in low light conditions or when the sharp drops in some systems is achieved by low intensity illumination radiation face near infrared range (700-950 nm). Данный диапазон не воспринимается глазом человека, но соответствует спектральному диапазону чувствительности устройств на базе ПЗС. This range is not perceived by the human eye, but it corresponds to the spectral sensitivity range of the CCD-based devices. Однако в полевых условиях соответствующая компонента внешних мощных световых источников (например, фар встречных автомобилей, солнечный свет) также содержит соответствующую компоненту, что влияет на зашумленность видеоданных. However, in the field the corresponding component of the external high-power light sources (eg headlights of oncoming vehicles, sunlight) also contains a corresponding component that affects the noisy video.

Решение, предложенное в рамках настоящей заявки, обеспечивает значительное снижение влияния внешней засветки и градиента освещенности от внешних источников на этапе регистрации изображений. The solution proposed in the framework of the present application provides a significant reduction in the influence of ambient light and illumination gradient from external sources at the stage of registration of images. Это достигается путем расширения спектрального диапазона регистрации изображений пользователя. This is achieved by extending the spectral range of an imaging user. Предлагается осуществлять регистрацию в видимом (спектральный диапазон <1000 нм) и дальнем ИК диапазоне (длина волны ≥3000 нм). It is proposed to register in the visible (spectral range <1000 nm) and far infrared (wavelength ≥3000 nm). Низкий уровень шума в изображениях дальнего ИК диапазона объясняется отсутствием соответствующей спектральной составляющей в большинстве внешних источников освещения, окружающих человека в повседневной жизни (в тех же источниках, где она присутствует, ее влияние на качество изображений пренебрежительно мало). Low noise images in the far infrared due to the lack of the corresponding spectral component of the majority of external light sources surrounding the person in everyday life (in the same sources, where it is present, its effect on the image quality is negligible). Изображения в указанных диапазонах регистрируются последовательно или одновременно. Images are recorded in the specified ranges sequentially or simultaneously. Сопоставление данных изображений позволяет точно определить область лица и глаз пользователя независимо от положения и интенсивности внешних источников. A comparison of the image data can accurately determine the area of ​​the face and eyes of the user regardless of the position and intensity of external sources. Техническая реализация подобного рода систем до недавнего времени была нецелесообразна в связи с несовершенством матричных фотодетекторов дальнего ИК диапазона. Technical realization of such systems, until recently, been impractical due to imperfections in the matrix of far-infrared photodetectors. В основном это были устройства, обеспечивающие приемлемый уровень сигнал/шум при низкой температуре. It was mostly devices which provide an acceptable level of signal / noise ratio at low temperature. В качестве охладителя использовались жидкий азот или гелий. As used coolant liquid nitrogen or helium. В связи с этим обвязка данных устройств состояла из системы охлаждения (микроболометр с циркулирующим внутри газом) и не позволяла миниатюризировать устройство. In this regard, these devices harness consisted of a cooling system (microbolometer within the circulating gas) and not allowed to miniaturize the device. Однако последние достижения в развитии этих технологий и появление неохлаждаемых миниатюрных матриц для данного диапазона [19] позволило задействовать их в широком круге задач. However, recent advances in these technologies and emergence uncooled miniature dies for this range [19] engage allowed their tasks in a wide circle. Отсутствие в необходимости дополнительных охлаждающих устройств позволило создавать миниатюрные портативные приборы визуализации в дальнем ИК диапазоне. The absence of the need of additional cooling devices allowed to create miniature portable imaging devices in the far IR range. Совмещение изображений дальнего ИК диапазона и обычного видимого диапазона на этапе регистрации и обработки в системах айтрекинга может значительно снизить влияние внешнего шума и, как следствие, повысить точность измерений. The combination of images of far-infrared and conventional visible range at the registration stage and processing aytrekinga systems can greatly reduce the influence of external noise and, consequently, improve the measurement accuracy.

Обзор аналогов Overview analogues

Известно техническое решение [20], в котором осуществляется подсветка объекта несколькими источниками излучения, которые формируют световой паттерн на поверхности объекта. Known technical solution [20] in which the illumination object more radiation sources that form a light pattern on the object surface. В качестве объекта рассматривается глаз пользователя. In the eyes of the user is considered as an object. Производят регистрацию изображений объекта, детектируя также отражение светового паттерна. Conduct registration of images of the object by detecting the reflected light as a pattern. Производят обнаружение объекта путем обработки полученных изображений, содержащих световой паттерн и образ объекта. Produces an object detection obtained by processing the images containing the light pattern and the image of the object. По положению паттерна определяют пространственное положение объекта. The position of the pattern to determine the spatial position of the object. Основным недостатком системы является наличие активной засветки, а также детектирование изображений в спектральном диапазоне излучателя. The main drawback of the system is the presence of the active illumination and the detection of images in the spectral range of the radiator. Регистрация производится в видимом и ближнем ИК диапазоне (в случае излучателя дальнего ИК диапазона может быть нанесено тепловое повреждение самого объекта, в связи с чем применительно к описываемой задаче использование такого рода источников излучения не имеет практического смысла). Registration is performed in the visible and near-IR range (in the case of far-infrared radiator can be applied thermal damage of the object, in this connection with regard to the use of such radiation sources described problem has no practical use). Помимо этого наличие внешней засветки в указанном диапазоне может привести к зашумлению сигнала и значительному снижению точности измерений. In addition the presence of ambient light in the specified range may result in a noisy signal and a significant reduction in accuracy. Основным отличием предлагаемого решения описанного выше является отсутствие каких-либо дополнительных источников излучения. The main difference between the proposed solutions described above is the absence of any additional light sources. Регистрация изображений производится не только в видимом, но также и в дальнем ИК диапазоне. Recording is done not only in the visible but also in the far infrared. Отсутствие внешних источников шумов в дальнем ИК диапазоне в большинстве случаев обеспечивает приемлемое соответствие в уровне сигнал/шум в получаемых изображениях. The absence of external noise sources in the far infrared range, in most cases provide an acceptable level of matching in the signal / noise ratio in the resulting images. Это приводит к более высокому контрасту изображений и более устойчивой работе алгоритмов обработки. This results in a higher image contrast and a stable operation processing algorithms.

Известно решение [21], в котором производится регистрация объекта детектирующими устройствами. Known solution [21], wherein the object is made to register the detecting devices. Производится подсветка объекта, в качестве которого рассматривается лицо пользователя несколькими низкоинтенсивными источниками ближнего ИК диапазона. Produced object illumination, which is regarded as the face of a user by several low-intensive near-IR sources. Производится детектирование изображений объекта с помощью детектирующих устройств. Object image detection is performed using the detection device. Полученные изображения бинаризуются и анализируются путем одновременного сканирования изображения в вертикальном и горизонтальном направлении. The obtained image is binarized and analyzed by simultaneously scanning the image in vertical and horizontal direction. Производится поиск светлых пикселей на изображении, что соответствует области объекта. Searches for bright pixels in the image that corresponds to object scope. На основании светлых областей на изображении производится локализация объекта. On the basis of the light areas of the image made object localization. Авторами не указывается спектральный диапазон источника облучения, однако, как отмечалось выше, практическое значение имеет только видимый и ближний ИК диапазоны (≤1000 нм). The authors do not indicate the spectral range of the radiation source, however, as noted above, has practical significance only visible and near-infrared regions (≤1000 nm). Регистрация изображений также осуществляется в спектральном диапазоне излучателя (для получения контраста светлых пикселей на фоне темных). Image registration is also carried out in the spectral range of the transmitter (for bright contrast against the dark pixel). Недостатком системы по-прежнему являются возможные зашумления изображений внешними источниками, которые могут снизить контраст отраженного от объекта сигнала. A disadvantage of the system are still possible noisy images by external sources, which may reduce the contrast of the signal reflected from the object. В предлагаемом решении отсутствуют какие-либо дополнительные излучатели. The proposed decision does not have any additional emitters. Регистрация изображений производится в нескольких спектральных диапазонах, в частности, в дальнем ИК. Recording is carried out in several spectral ranges, in particular, in the far infrared. Контраст объекта в данном случае обеспечивается собственным излучением объекта, не зависит от внешних источников излучений и является постоянной величиной. The contrast in this case is provided by its own radiation of the object does not depend on external sources of radiation, and is constant.

Известно решение [11], в котором производится детектирование изображений объекта и расчет его ориентации. Known solution [11], wherein the detection object image is performed and the calculation of its orientation. Предлагается повышение точности вычислений путем устранения запаздывания на этапе передачи зарегистрированного изображения объекта в устройство обработки. It is proposed to increase the calculation accuracy by eliminating the delay in the transmission step the registered image object processing device. Данное решение может повысить устойчивость работы систем, в частности при переключении шатерного механизма детектирующего устройства. This solution can increase the stability of the systems, in particular when switching mechanism shaternogo detecting device. Однако предложенное решение не позволяет отфильтровать шум и локализовать непосредственно сам объект по его изображениям. However, the proposed solution does not allow to filter out the noise and locate the object directly in his images. Таким образом, сутью данного изобретения является устранение описанной выше задержки передачи видеосигнала, в то время как в настоящем изобретении приводится решение для уменьшения шумов на этапе регистрации изображений при одновременном упрощении обработки видеоданных. Thus, the essence of the invention is to eliminate the above-described video transmission delay, while the present invention provides a solution to noise reduction in step registration image while simplifying processing video data. Такая комбинация возможна за счет смещения части регистрации изображений в дальний ИК диапазон. Such a combination is possible due to the shift of the image capture to the far-infrared range.

Также известно решение [12], в котором производится регистрация изображений объекта, обработка этих изображений с последующей локализацией объекта на изображениях. Also known solution [12], wherein the produced object image registration, the processing of these images with the subsequent localization of the object in the images. К основному недостатку этого решения относится то, что детектирование производится в видимом диапазоне. The main disadvantage of this solution include the fact that the detection is carried out in the visible range. Это приводит к зашумлению полученных изображений от внешней засветки. This leads to noisy images obtained from ambient light. Предлагаемое решение в рамках данной заявки смещает часть измерений в дальний ИК диапазон, где количество источников шумов значительно меньше, чем в видимом диапазоне. The proposed solution in the framework of this application displaces part of the measurement in the far infrared range, wherein the number of noise sources is considerably less than in the visible range. Это позволяет добиться относительно низкого уровня шумов на этапе регистрации изображений. This allows to achieve a relatively low level of noise in the image recording step.

Также известно решение [13], в котором производится засветка объекта источниками излучения. Also known solution [13], in which the illumination of the object is made of radiation sources. Излучение сформировано в паттерн. The radiation generated in the pattern. Производится детектирование объекта детектирующими устройствами с последующей обработкой данных изображений. Produced detection object detecting devices with the subsequent processing of image data. Производится локализация объекта на изображениях с последующей установкой пространственного положения объекта. Produced localization of objects in images with the subsequent installation of the spatial position of the object. Основным недостатком системы является детектирование изображений в видимом диапазоне, а также наличие дополнительной засветки, также производящейся в видимом спектральном диапазоне. The main drawback of the system is the detection of images in the visible range, as well as the presence of additional exposure, also produced in the visible spectral range. При наличии внешней шумовой засветки, спектральный диапазон которой совпадает со спектральным диапазоном дополнительного источника облучения, контраст паттерна будет низким. In the presence of external noise exposure, spectral range which matches the spectral range of the additional source of radiation, patterning the contrast will be low. Аналогично контраст объекта также будет низок для устойчивой работы алгоритмов обработки. Similarly, the contrast of the object will also be low for stable operation processing algorithms. Основным отличием данной системы от предлагаемого решения является активная засветка лица и глаз пользователя. The main difference of this system from the proposed solution is the active illumination of the face and eyes of the user. В предлагаемом изобретении регистрация производится в пассивном режиме. In the present invention, the registration is done in a passive mode. В дальнем ИК диапазоне лицо пользователя само представляет собой источник теплового излучения. The far infrared user entity is itself a source of heat radiation.

Наиболее близким к предлагаемому способу регистрации лица и глаз пользователя является изобретение [1]. The closest to the proposed method the user's face and eyes registration invention is [1]. В работе описывается способ определения пространственного положения головы, а также ее ориентация. The paper describes a method for determining the spatial position of the head, as well as its orientation. Способ основан на методах восстановления пространственной структуры объекта по серии обычных двухмерных изображений, снятых с различных ракурсов (методами эпиполярной геометрии) [2]. The method is based on the methods of restoring the spatial structure of an object by a series of conventional two dimensional images taken from different angles (epipolar geometry techniques) [2]. Метод заключается в установке нескольких детектирующих устройств, ориентированных под разными углами по отношению к некоторой области пространства. The method consists of installing multiple detection devices oriented at different angles with respect to a region of space. Производится регистрация головы пользователя внутри данного пространства. User registration is made the head of the inside space. Далее для каждого изображения производится последовательное нахождение анатомических особенностей головы (features extraction), поиск присутствующих на всех изображениях особенностей, расчет конфигурации детектирующих устройств с использованием эпиполярной геометрии и пространственная реконструкция головы с вычислением ее пространственного положения [2]. Next for each image is performed sequentially finding the anatomical features of the head (features extraction), search present in all the images features, configurations calculation detecting devices using epipolar geometry and spatial reconstruction of the head with the calculated spatial position [2]. Основным отличием данной работы от предлагаемого изобретения является регистрация всех изображений в видимом диапазоне. The main difference between this operation of the invention is to register all of the images in the visible range. Как отмечалось выше, подобные системы являются максимально чувствительными к внешней засветке. As noted above, such systems are maximally sensitive to ambient light. В предлагаемом изобретении регистрация изображений спектрально разнесена на видимый и дальний ИК диапазоны с различными алгоритмами обработки. In the present invention, image registration spectrally spaced in the visible and far infrared ranges with different processing algorithms. В предлагаемом решении регистрация производится одновременно как в дальнем ИК, так и в видимом спектральном диапазоне. The proposed decision is made at the same time as the registration in the far infrared, and visible spectral range. Определение положения объекта исследования и его отдельных сегментов производится по ИК изображению с использованием обычных пороговых методов (бинаризация изображения с фиксированным или плавающим порогом). Determination of the position investigation object and its individual segments of the infrared image is produced using conventional methods threshold (binarization image with fixed or variable threshold).

Наиболее близким к предлагаемому решению является [3]. The closest to the proposed solution is [3]. В работе предлагается система, где объект находится на изображениях, полученных с детектирующего устройства, имеющего чувствительность в видимом диапазоне, путем пороговой обработки. We propose a system where the object is on the images obtained from the detection device having sensitivity in the visible range, by thresholding. Отличие предложенного в данном изобретении решения заключается в регистрации изображения в дальнем ИК диапазоне. Unlike the proposed solutions in the present invention is to record an image in the far infrared. Это обеспечивает низкий уровень шумов при определении лица и глаз пользователя в условиях изменяющейся засветки. This provides a low noise level in the determination of the face and eyes of the user in the changing illumination. Помимо этого в связи с низкими уровнями шумов (чувствительность детектирующих устройств дальнего ИК диапазона имеет порядка 0.1 градуса) предлагаемый метод позволяет использовать более простые процедуры обработки. In addition due to the low levels of noise (sensitivity of detection of far-infrared devices is about 0.1 degrees) the proposed method allows to use more simple processing procedure. В качестве таких процедур предлагается простая бинаризация изображения. As such procedures serves simple binarization image.

Таким образом, во всех приведенных решениях основной проблемой остается чувствительность систем к внешней шумовой засветке. Thus, in all of these solutions remains a major challenge to the sensitivity of the systems of external illumination noise. Наличие такой засветки значительно снижает контраст изображений (как в случае активных систем, так и пассивных), что не позволяет проводить измерения направленности взгляда и динамики движений глаз. The presence of such exposure substantially reduces image contrast (as in the case of active systems and passive) that does not allow for gaze direction measurement dynamics and eye movements.

Таким образом, решаемая техническая задача состоит в том, чтобы обеспечить снижение шумов, вносимых внешними источниками, на этапе регистрации изображений. Thus, the technical problem solved is to provide a noise reduction introduced by external sources, at the registration stage images. Существует возможность эффективного решения этой задачи на этапе регистрации изображений объекта. It is possible to effectively address this problem at the stage of registration of the object images. Этого можно достигнуть путем регистрации части изображений в спектральном диапазоне, в котором практически не имеется внешних источников излучения, вносящих шумовую засветку в изображения (а также резких кратковременных перепадов освещенности, наличия градиента освещенности или интенсивной засветки, приводящей к работе фотодетектора вблизи зоны насыщения). This can be achieved by recording the portion of the image in a spectral range in which there is almost no external sources of radiation, introducing noise in the illumination image (short and sharp luminance drops, luminance gradient or the presence of intense illumination, which leads to the photodetector near the saturation zone). Разделение регистрации сигнала по различным спектральным диапазонам позволяет значительно упростить алгоритмы обработки для отделения объекта от фона и улучшить локализации отдельных сегментов объекта. Division of Registration for different spectral bands of the signal can significantly simplify processing algorithms to separate the object from its background and to improve localization of individual object segments.

Техническая задача решается предложенной совокупностью существенных признаков. The technical problem is solved by the proposed combination of essential features.

Способ определения направленности взгляда, состоящий в том, что устанавливают не менее двух предварительно калиброванных детектирующих устройств изображения объекта в пространстве (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне со спектральным диапазоном чувствительности >=3000 нм, а остальные регистрируют изображения в видимом диапазоне 400-1000 нм, при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно, все ДУ регистрируют изображения области пространства, соответствующей обр A method for determining gaze direction, consisting in the fact that the set of at least two pre-calibrated detection imaging devices of the object in the space (DU), at least one of which records the image in the far infrared range with a spectral sensitivity range of> = 3000 nm, and the remaining recorded images in the visible range of 400-1000 nm, the remote registering images in the infrared range is fixedly set, all control register image space region corresponding arr зу объекта, результаты регистрации обрабатывают с помощью БСОИ, при этом вначале регистрируют изображения части пространства ДУ, обладающим чувствительностью в дальнем ИК диапазоне с длиной волны >3000 нм и получают ИК изображения объекта и некоторого фона за ним, после чего производят обработку полученного ИК изображения, отделяя объект от фона и локализуя области на изображении, соответствующие образу объекта, на локализованной части изображения выделяют отдельные сегменты объекта, также локализуя их на изображении, после чего определ zu object of registration is treated with BSOI, the first recorded image part of the space control, having sensitivity in the far infrared range with wavelengths> 3000 nm and receive IR image of an object and a background behind it, whereupon the processing of the obtained infrared images, separating object from background and localizing the areas on the image corresponding to the image of the object at a localized portion of the image separated individual segments of the object, localizing them as an image and then determines яют координаты этих сегментов в координатной системе, привязанной к изображению, регистрируют изображения части пространства ДУ, обладающего чувствительностью в видимом диапазоне 400-1000 нм, производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты, привязанные изображениям с ДУ, имеющих чувствительность в видимой области, после чего локализуют соответствующие сегменты объекта на изображениях видимого диапазона, и рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видим yayut coordinates of these segments in a coordinate system tied to the image portion recorded image control space having sensitivity in the visible range of 400-1000 nm, recalculates the coordinates of the segments obtained at the registration in the IR range, coordinates linked with control images having sensitivity in the visible region, then the corresponding object segments localize the images in the visible range, and the calculated sight line direction of the case, if the remote control infrared and see ого диапазона фиксированы друг относительно друга, или производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты ориентации ДУ видимого диапазона, после чего ориентируют ДУ видимого диапазона и регистрируют часть пространства, содержащую образы выделенных сегментов объекта на ИК изображениях, и на основании полученных изображений рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видимого диапазона подвижны друг относительно друга. th band are fixed relative to each other, or recalculate the coordinates of segments received when registering in the IR range, the coordinates of the visible range control orientation and then orient the visible range control and recording of the space containing the images of the selected object segments on IR images, and based on images obtained line of sight direction is calculated for the case, if the remote control infrared and visible range are movable relative to each other.

При этом: Wherein:

- ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона в координаты положения объекта на изображениях, получаемых с ДУ видимого диапазона, для случая, если все ДУ фиксированы друг относительно друга. - control calibrated by converting the position coordinates of the object and / or its segments in the images obtained from the infrared remote in position coordinates of the object in images obtained with the control of the visible range, for the case where all controls are fixed relative to each other.

- ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона в координаты ориентации ДУ видимого диапазона относительно ДУ ИК диапазона для регистрации сегментов объекта, локализованных на ИК изображениях в случае, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона. - control calibrated by converting the position coordinates of the object and / or its segments in the images obtained with the control IR range coordinates orientation visible range control relatively remote infrared range to register the object segments, localized on IR images if the visible range control movable relative to controls IR range.

- регистрацию изображения части пространства в инфракрасном и видимом диапазоне проводят одновременно. - Registration of the image portion of the space in the infrared and visible range are carried out simultaneously.

- регистрацию изображения части пространства в ИК и видимом диапазоне проводят последовательно. - Registration of the image portion of the space in the infrared and visible range is performed sequentially.

- производят обработку сначала ИК изображения, отделяя изображения от фона с помощью анализа градиентов тепловых полей. - producing first IR image processing by separating the image from the background by analyzing the fields of thermal gradients.

- после отделения объекта от фона производят определение положения отдельных сегментов объекта на изображении, используя анализ градиентов тепловых полей. - after the separation of the object from the background to produce certain positions of the individual segments of the object in the image, using the analysis of thermal field gradients.

- после определения положения сегментов на ИК изображении, находят данные сегменты на изображениях видимого диапазона с использованием данных калибровки, для случая, если все ДУ фиксированы друг относительно друга. - after determining the position of the segments on the IR image data segments are in the images in the visible range using the calibration data for the case where all control are fixed relative to each other.

- после определения положения сегментов на ИК изображении на основании калибровки ориентируют ДУ видимого диапазона таким образом, что они производят регистрацию области пространства, содержащую образы сегментов объекта, локализованных на ИК изображениях, для случая, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона; - after determining the position of the segments on the thermal image on the basis of the calibration control in the visible range is oriented so that they produce a registration region of space containing the images of the object segments, localized on IR images, for the case where the visible range remote control movable relative to IR range;

- рассчитывают направленность линии взгляда на основании изображений, полученных с ДУ видимого диапазона, выводя результаты обработки на визуально воспринимаемый носитель. - orientation of sight line is calculated on the basis of images obtained by control of the visible range, outputting processing results on a visually perceptible carrier.

- в качестве объекта определяют лицо пользователя, а в качестве сегментов - глаза пользователя. - as the object of determining the user's face, and as segments - the user's eyes.

Технический результат достигается также совокупностью признаков, изложенных ниже. The technical result is also achieved by the combination of features set out below.

Устройство определения направленности взгляда, включающее не менее двух размещенных в пространстве детектирующих изображения объекта средств (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне (спектральным диапазон чувствительности >=3000 нм), а остальные регистрируют изображения в видимом диапазоне (спектральный диапазон чувствительности 400-1000 нм), при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно и все ДУ соединены с блоком сбора и обработки информации БСОИ. Apparatus determine gaze direction, comprising at least two distributed in space detecting the image means an object (DU), at least one of which records the image in the far infrared (spectral sensitivity range> = 3000 nm), and the remaining recorded images in the visible range (400-1000 nm spectral sensitivity range), the control unit registering images in the infrared, and is set fixedly connected with all the control and acquisition unit BSOI processing information.

При этом: Wherein:

- ДУ видимого диапазона установлены неподвижно. - the visible range control are stationary.

- ДУ видимого диапазона установлены подвижно, при этом исполнительный механизм, обеспечивающий подвижность, соединен с блоком сбора и обработки информации. - control of the visible range are movably mounted, wherein the actuator provides motive power connected to the information collection and processing unit.

- ДУ установлены так, что их поля зрения совпадают в плоскости перемещения объекта. - control installed so that their fields of view coincide at the transport plane of the object.

- ДУ установлены так, что их поля зрения не совпадают плоскости перемещения объекта, при этом поле зрения ДУ ИК диапазона больше поля зрения ДУ видимого диапазона. - control installed so that their fields of view do not coincide plane of movement of the object, wherein the control field of view infrared larger than the field of view control of the visible range.

- БСОИ производит сбор изображений со всех ДУ одновременно или последовательно, производит обработку изображений, производит выработку управляющего сигнала для пространственной ориентации ДУ видимого диапазона, производит расчет направленности линии взгляда. - BSOI collects images from all control simultaneously or sequentially produces image processing, generates a control signal for generation of the spatial orientation of the visible range control, calculates the line of sight direction.

При расчете направленности взгляда человека производят оконтуривание области зрачка и радужки глаз методами [17] и с использованием анализа проекции данного контура производят расчет направленности линии взгляда, например, аналогично [18]. When calculating the orientation of human sight produce contouring the pupil and iris of eyes methods [17] and using the projection of the contour analysis, calculate the line of sight direction, such as in [18].

Способ и устройство, реализующие данный способ, раскрыты в подробном описании, приведенном ниже, со ссылкой на сопроводительные фигуры: The method and apparatus implementing the method are disclosed in the detailed description below, with reference to the accompanying figures:

Фигура 1 - Взаимное расположение ДУ, где: 1 и 3 - ДУ видимого диапазона, 2 - ДУ дальнего ИК диапазона, 4 - исполнительные устройства изменения ориентации ДУ, 5 - поле зрения 1 (П31), 6 - поле зрения 2 (П32), 7 - плоскость перемещения объекта; Figure 1 - The relative remote location, where: 1 and 3 - control the visible range, 2 - Control of far-infrared, 4 - actuators change control orientation 5 - field of view 1 (P31) 6 - field of view 2 (P32), 7 - the plane of movement of the object;

Фигура 2 - Этапы обработки изображения, полученного с телевизионного ДУ для идентификации области глаз: a) изображение лица, зарегистрированного с ДУ, имеющего чувствительность в дальнем ИК диапазоне, с более холодным фоном, b) результат пороговой обработки изображения с динамическим порогом, c) точки, принадлежащие границе объекта (отмечены перекрестными маркерами) и эллипс, вписанный в данные точки, d) найденные области глаз по температурному градиенту (вынесен вне изображения лица); Figure 2 - The steps of processing an image obtained from a television remote control for identifying the eye region: a) the face image registered with the controller having a sensitivity in the far infrared, colder background, b) the result of thresholding the image with a dynamic threshold, c) points belonging to the object boundary (marked by cross-markers) and an ellipse inscribed in the given points, d) point area of ​​the temperature gradient eye (pronounced is a facial image);

Фигура 3 - Коммутация ДУ с блоком сбора и обработки информации (БСОИ), где: 8 - блок сбора и обработки изображений, 9 - канал коммутации ДУ с БСОИ, 1 и 3 - ДУ видимого диапазона, 2 - ДУ дальнего ИК диапазона. Figure 3 - Switching control with data collection and processing unit (BSOI) wherein 8 - acquisition unit and image processing 9 - control switching channel BSOI, 1, and 3 - the visible range control, 2 - Control of far-infrared.

На Фиг.1-Фиг.3 и в тексте использованы следующие обозначения: Figure 1-Figure 3 and in the text the following abbreviations are used:

ДУ - детектирующее устройство; Control - the detection device;

БСОИ - блок сбора и обработки информации; BSOI - unit for collecting and processing information;

ИК - инфракрасный. IR - infrared.

Описание способа Description of the way

1. Устанавливается ДУ изображений, имеющее диапазон чувствительности в дальнем ИК диапазоне (спектральный диапазон чувствительности >3000 нм). 1. Set control images having a sensitivity range in the far infrared (spectral sensitivity range> 3000 nm). Положение ДУ фиксировано в пространстве. The position control is fixed in space. В качестве данных устройств, например, могут быть использованы тепловизионные камеры FLIR (Швеция), CEDIP (Франция) и проч.; As these devices, for example, can be used FLIR thermal imaging camera (Sweden), CEDIP (France), etc .;

2. Дополнительно устанавливается два или более ДУ, имеющих чувствительность в обычном видимом диапазоне (400-1000 нм). 2. Additionally set two or more control having sensitivity to normal visible range (400-1000 nm). При этом технически обеспечиваются условия, при котором ориентация ДУ видимого диапазона относительно ДУ ИК диапазона всегда известна. Thus technically provided by the conditions under which the orientation control of the visible range with respect to control IR always known. В качестве таких ДУ могут использоваться телевизионные камеры на базе ПЗС или КМОП кремниевой технологии, например компании Videoscan (Россия); As such control can be used by television cameras based on CCD or CMOS silicon technology, such as a company Videoscan (Russia);

3. ДУ видимого диапазона могут устанавливаться неподвижно относительно ДУ ИК диапазона, при этом их ориентация производится таким образом, что поле зрения ДУ ИК диапазона и поле зрения ДУ видимого диапазона максимально совпадают в плоскости перемещения объекта, как показано на Фигуре 1, позиция 5; 3. The control of the visible range can be mounted fixedly relative to control IR range, wherein their orientation is made such that the field of view of infrared remote control and a field of view control maximum visible range coincide in the plane of movement of the object as shown in Figure 1, the position 5;

3.1. 3.1. Производят предварительную калибровку всех ДУ. Produce a preliminary calibration of all control. Для случая неподвижного расположения всех ДУ друг относительно друга целью калибровки является получение преобразования координат положения элемента изображения, получаемого с ДУ ИК диапазона, в координаты положения аналогичного элемента изображения, получаемого с ДУ видимого диапазона. For the case of fixed location remote relative to each other for calibration is to obtain a coordinate transformation the position of the picture element, obtained with a remote infrared range, similar to the position coordinates of the picture element, obtained with the control of the visible range.

3.2. 3.2. Описанную калибровку могут производить путем размещения экрана, перпендикулярного к оптической оси ДУ ИК диапазона, с нанесенными на него маркерами, воспринимаемыми всеми ДУ одновременно. The described calibration may be effected by placing the screen perpendicular to the optical axis of the infrared remote control, with deposited on it markers perceived by all control simultaneously. При этом известно расстояние от экрана до всех ДУ, а также взаимное расположение всех ДУ. In this case, you know the distance from the screen to all remote control, as well as the relative position of all control. Производят регистрацию изображения экрана с нанесенными маркерами всеми ДУ. Conduct registration screen image with applied markers all control.

3.3. 3.3. Путем сравнения полученных изображений получают проекционную матрицу: By comparing the acquired images obtained projection matrix:

β=А*γ, где β - вектор координат точки на изображении дальнего ИК диапазона, γ - вектор координат на изображении видимого диапазона или в случае подвижных ДУ видимого диапазона вектор ориентирования ДУ из пп.2 относительно ДУ из пп.1. β = A * γ, where β - vector coordinate point on the image of far-infrared, γ - vector coordinates on the image of the visible range or in the case of moving the visible range control vector orientation control of Claims 2 relative control of the claims 1. А - матрица отображений координат β в координаты γ. A - matrix maps the coordinates into coordinates β γ. Такая процедура, например, может быть проведена путем решения системы уравнений β=А*γ для каждого маркера по методу, описанному в [2]. Such a procedure, for example, can be carried out by solving the system of equations β = A * γ for each marker by the method described in [2].

3.4. 3.4. После калибровки производится регистрация изображений области пространства с помощью ДУ ИК диапазона и ДУ видимого диапазона одновременно. After calibration is performed to register image space field via control infrared and visible range control simultaneously.

3.5. 3.5. Производится операция отделения объекта от фона с использованием изображения, полученного с ДУ ИК диапазона. Produced separating operation object from the background by using the image obtained with the control IR range. На данном этапе используется свойство объекта испускать тепловое излучение. At this step, a property of an object emitting thermal radiation. При этом фон рассматривается на изображении как менее яркая область. In this case, the image background is seen as less bright area. За счет этого поиск объекта может осуществляться путем анализа градиентов тепловых полей на изображении. Due to this, the object search can be performed by analyzing the fields of thermal gradients in the image. Анализ может заключаться в поиске наиболее теплых участков изображения и выделения этих участков из общего, более холодного фона. The analysis may be to find the warmest areas of the image and selection of these portions of the common cooler background.

3.6. 3.6. Например, подобная обработка может происходить путем последовательного перебора всех пикселей изображения, полученного с ДУ ИК диапазона. For example, such processing can occur by sequential search of all pixels in the image obtained from the infrared remote control. Пикселы с интенсивностью, превышающей некоторый порог, отбираются как кандидаты на область объекта. Pixels with an intensity exceeding a certain threshold are selected as candidates for the region of the object. Пикселы с интенсивностью ниже пороговой, запоминаются как принадлежащие фону изображения. Pixels with an intensity below the threshold, are stored as belonging to the background image.

3.7. 3.7. Пороговое значение может выбираться динамически в зависимости от предварительных знаний о температуре поверхности тела человека. The threshold value may be selected dynamically based on prior knowledge of the temperature of the human body surface. Например, известно, что обычно температура поверхности объекта (eg кожи) варьирует в диапазоне 18-26 градусов. For example, it is known that generally the temperature of the object surface (eg skin) in the range 18-26 degrees.

3.8. 3.8. Порог может выбираться динамически в зависимости от гистограммы изображения. The threshold may be selected dynamically based on the image histogram. Методы, которые могут задействоваться на этом этапе, приведены, например, в [15]. The methods that can be invoked at this stage are shown, for example, in [15].

3.9. 3.9. Далее может производиться объединение пикселей с высоким значением интенсивности. Further pixels may be carried association with a high intensity. Такое объединение в области может выполняться, например, с помощью метода взаимосвязей [16]. Such association may be performed in the field, e.g., via interconnections method [16]. На этом этапе может отсекаться импульсный шум (отдельные пикселы с высокой интенсивностью, окруженные пикселами с низкой интенсивностью). At this stage, the impulsive noise can be clipped (selected pixels with high intensity, surrounded by pixels of low intensity).

3.10. 3.10. Далее может быть произведено оконтуривание областей, включающих в себя пикселы с высокой интенсивностью. Furthermore, it can be made outlining areas including pixels with high intensity. Анализ формы этих областей, например, может быть произведен путем корреляционного анализа относительно эталонного изображения лица. Analysis of the shape of these regions, for example, can be produced by the correlation analysis relative to a reference face image. Области, имеющие низкую степень корреляции, могут быть отнесены к фону изображения, в то время как области, имеющие высокую корреляцию с эталоном, могут рассматриваться как сам объект (в нашем случае лицо/лица пользователя) (Фигура 2, изображение б)). Area having a low degree of correlation can be attributed to the background of the image, while the region having a high correlation with the benchmark may be regarded as the object (in this case, the person / user's face) (Figure 2, B picture)).

3.11. 3.11. В качестве эталонной формы для анализа полученных участков изображения также могут выбираться геометрические фигуры. As a reference for shape analysis of the image areas and geometric shapes may be selected. Например, если известно, что объект (например, лицо) имеет в большинстве случаев овальную форму, то оконтуривание объекта может производиться путем вписывания овала в контур области, содержащей пикселы с высокой интенсивностью (Фигура 2, изображение с)). For example, if it is known that an object (e.g., face) is in most cases oval shape, the contouring of the object may be accomplished by inscribing an oval contour in the region containing pixels with high intensity (Figure 2, image c)).

3.12. 3.12. Далее вычисляется ориентация объекта в плоскости изображения (в нашем случае ориентация головы). Next calculate the orientation of the object in the image plane (in this case, the orientation of the head). Такое вычисление может, например, производиться путем нахождения максимальной длины между противоположными сторонами внутри области и соответствующей минимальной длины (что соответствует расстоянию от подбородка до лба и между скулами соответственно). Such calculation may, e.g., be done by finding the maximum length between the opposite sides and inside the region corresponding to the minimum length (that corresponds to the distance from chin to forehead and cheek bones between respectively). Ориентация и положение в координатах изображения запоминается. Orientation and position in the coordinates of the image is stored.

3.13. 3.13. Далее определяются отдельные сегменты объекта. Further object defined individual segments. В качестве сегментов рассматриваются глаза пользователя. In the eyes of the user are considered as segments. Локализация сегментов на изображении может, например, осуществляться путем разделения области изображения, занимаемого объектом, на две подобласти. Localization of the image segments may, for example, be carried out by dividing the image area occupied by an object, into two subregions. В нашем случае область глаз ищется в верхней подобласти. In this case, the eye area is sought in the upper subregion.

3.14. 3.14. Сегменты также могут находится путем анализа температурного градиента. Segments can also be found by analysis of the temperature gradient. Так может использоваться априорно известная информация о градиентах сегментов. So it can be used a priori known information about gradients segments. В нашем случае сегменты (например, глаза) имеют наиболее низкую температуру по сравнению с прилегающими областями, что объясняется наличием слизистой поверхности склеры, экранирующей тепловое излучение (Фигура 2, изображение d). In this case, the segments (e.g., eyes) are the most low temperature compared with surrounding areas, because of the presence of the mucosal surface of the sclera, the thermal radiation shield (Figure 2, d image).

3.15. 3.15. Полученные таким образом сегменты локализуются на изображении, полученном с ДУ ИК диапазона. The thus obtained segments are located on an image obtained from the infrared remote control.

3.16. 3.16. Производится определение координат обнаруженных сегментов на изображении, полученном с ДУ ИК диапазона. A determination of coordinates detected in the image segments obtained from the infrared remote control. Координаты привязаны к самому изображению. Coordinates tied to the image itself. Данные координаты запоминаются. These coordinates are stored.

3.17. 3.17. Производится перерасчет координат сегментов, обнаруженных на изображении с ДУ из пп.1, в координаты изображений, полученных с ДУ видимого диапазона. Recalculated coordinate segments detected on an image with the control of the claims 1 to coordinates of images obtained with the control of the visible range. Перерасчет производится с помощью матрицы, определенной на этапе калибровки, описанной в пп.3.1-3.3. Recalculation is performed using a matrix determined in step calibration described in pp.3.1-3.3. В результате получают координаты сегментов в координатах, привязанных к ДУ видимого диапазона. There was thus obtained segment coordinates in the coordinates tied to control the visible range.

3.18. 3.18. Используя полученные координаты на изображении, полученном с ДУ видимого диапазона, локализуют участки изображений, соответствующие сегментам, определенным с помощью изображения с ДУ ИК диапазона. Using the obtained coordinates in the image obtained with the control of the visible range, the localized portions of images corresponding to the segments identified by the image controller with infrared range.

3.19. 3.19. Далее по изображениям, полученным с ДУ видимого диапазона, производится дальнейший расчет направленности взгляда. Next on the images obtained with the visible range control, performed further calculations glance orientation. Процедура может выполняться, например, в соответствии с [18]. The procedure may be performed, for example, in accordance with [18].

4. ДУ видимого диапазона могут устанавливаться подвижно относительно ДУ ИК диапазона, при этом их ориентация производится таким образом, что поле зрения ДУ ИК диапазона и поле зрения ДУ видимого диапазона перекрываются, но не совпадают. 4. visible range control can be installed movably relative to control IR range, wherein their orientation is made such that the field of view of infrared remote control and a field of view control of the visible range overlap but do not coincide. При этом поле зрения ДУ видимого диапазона меньше, чем поле зрения ДУ ИК диапазона. The field of view of the visible range control is smaller than the field of view of infrared remote control.

Соответствующая конфигурация показана на Фигуре 1, позиция 5 для ДУ ИК диапазона, Фигура 1, позиция 6 для ДУ видимого диапазона; The corresponding configuration is shown in Figure 1, the position controller 5 for IR, Figure 1, position 6 for control of the visible range;

4.1. 4.1. Аналогично п.3 производят калибровку. Similarly to claim 3 is calibrated. Целью калибровки для случая подвижной ориентации ДУ видимого диапазона относительно ДУ ИК диапазона является получение преобразования координат положения элемента изображения области пространства, получаемых с ДУ ИК диапазона, в координаты поворота ДУ видимого диапазона относительно ДУ ИК диапазона, при котором область пространства, изображаемая на данном пикселе, попадает в центр изображения, получаемого с ДУ видимого диапазона; The purpose of the calibration in the case of the mobile orientation control of the visible range with respect to control infrared is to obtain the coordinate transformation of the picture element region of the space positions obtained with the control IR range, coordinate rotation control of the visible range with respect to control IR range, at which a region of space depicted on a given pixel, into the center of the image obtained with the control of the visible range;

4.2. 4.2. Калибровку производят, например, следующим образом. Calibration is performed, for example, as follows. Перпендикулярно к оптической оси ДУ ИК диапазона устанавливают экран. Perpendicular to the optical axis of the infrared remote control screen set. Определяют точки, попадающие в поле зрения ДУ ИК диапазона (соответствующее поле зрения указано на Фигуре 1, позиция 5), но лежащие на границе поля зрения ДУ ИК диапазона (в горизонтальном и вертикальном азимутах). Define points falling within the field of view of infrared remote control (corresponding to the field of view indicated in Figure 1, item 5), but lying on the boundary of the field of view of infrared remote control (in the horizontal and vertical azimuths). На данные точки наводят ДУ видимого диапазона таким образом, чтобы установленные точки были в центре поля зрения этих ДУ. On these points suggest control the visible range so that the set point were in the center of the field of view of control. Запоминают углы поворота для каждого ДУ видимого диапазона относительно ДУ ИК диапазона. Storing the angles of rotation for each remote control relative to the visible range infrared. Аналогично определяют углы поворота для ДУ видимого диапазона для точки пересечения оптической оси ДУ ИК диапазона с плоскостью перемещения объекта (Фигура 1, позиция 7). Similarly, rotation angles determined to control the visible range to the point of intersection of the optical axis of the infrared remote control with the plane of movement of the object (Figure 1, item 7).

4.3. 4.3. Определяют все промежуточные положения углов поворота для ДУ видимого диапазона относительно ДУ ИК диапазона с учетом позиций, определенных в п.4.2. Define all the intermediate positions of rotation angles to control the visible range with respect to control IR for the sites identified in paragraph 4.2.

4.4. 4.4. Производят регистрацию изображения с помощью ДУ ИК диапазона. Produce images using registration control IR range.

4.5. 4.5. Производят операции обработки аналогично пунктам 3.4.-3.16. Produce machining operations similar items 3.4.-3.16.

4.6. 4.6. Производят перерасчет координат сегментов объекта в углы поворота ДУ видимого диапазона относительно ДУ ИК диапазона с учетом калибровочных данных, полученных в п.4.2. Recalculates the coordinates of the object segments in the visible range of rotation angles relative to control Control infrared considering calibration data obtained in 4.2.

4.7. 4.7. Производят ориентацию ДУ видимого диапазона с использованием данных, полученных на этапе 4.7. Orientation produce visible range control using the data obtained in step 4.7. Производят регистрацию изображений. Conduct registration of images.

4.8. 4.8. Производят обработку изображений и вычисление линии взгляда аналогично 3.19. Produces image processing and computation of the line of sight is similar to 3.19.

Описание устройства device Description

1. Устройство, реализующее описанный метод, состоит из ДУ, регистрирующего изображения некоторой области пространства в дальнем ИК диапазоне (>3000 нм) (Фигура 1, 2, позиция 2). 1. Apparatus implementing the described method consists of a controller, recording images of a spatial region in the far infrared (> 3000 nm) (Figure 1, 2, position 2).

2. Устройство включает дополнительно одно или более ДУ, регистрирующих изображения в видимом спектральном диапазоне (400-1000 нм) (Фигура 1, 2, позиции 1 и 3), 2. The apparatus further includes one or more control, recording images in the visible spectral range (400-1000 nm) (Figure 1, 2, positions 1 and 3),

3. Все ДУ подключены к блоку сбора и обработки информации, БСОИ (Фигура 3, позиция 8). 3. All control unit connected to the information collection and processing, BSOI (Figure 3, item 8). БСОИ обеспечивает обработку изображений, получаемых со всех ДУ, и вырабатывает управляющий сигнал для исполнительных устройств ориентации ДУ видимого диапазона, в случае если они подвижны относительно ДУ ИК диапазона (Фигура 1, позиция 4). BSOI provides processing images obtained from all control and generates a control signal for the actuator control the orientation of the visible range, if they are movable relative to IR control (Figure 1, position 4). Управляющий сигнал, а также видеосигнал со всех ДУ передается в БСОИ по каналу связи (Фигура 3, позиция 9). The control signal and the video signal is transmitted from all the control of a BSOI communication channel (figure 3, position 9).

4. ДУ ИК диапазона, как и ДУ видимого диапазона устанавливаются стационарно друг относительно друга. 4. The IR control, as control of the visible range are set stationary relative to each other. Поля зрения ДУ ИК диапазона и ДУ видимого диапазона совпадают (Фигура 1, позиция 5). Field of view control infrared and visible range coincide control (Figure 1, item 5).

4.1. 4.1. Производится регистрация изображений со всех ДУ одновременно. The images from all registration control simultaneously. В этом случае все изображения синхронно передаются в БСОИ (Фигура 3, позиция 8) посредством каналов связи (Фигура 3, позиция 9). In this case, all the images are transmitted in synchronism BSOI (Figure 3, item 8) via the communication channel (figure 3, position 9).

4.2. 4.2. Прежде всего производится обработка изображения, полученного с ДУ ИК диапазона (Фигура 1, позиция 2). First of all image processing is performed, with the resulting control IR (figure 1, position 2). Обработка может, в частности, осуществляться методами, описанными в способе настоящего изобретения. The treatment may in particular be carried out by methods described in the present invention. В процессе обработки осуществляется отделение объекта от фона с последующим определением специфических сегментов на этом объекте. The separation processing is carried object from the background, with subsequent determination of specific segments at the site.

4.3. 4.3. Положение обнаруженных сегментов локализуется на изображениях, получаемых с ДУ ИК диапазона. The position detected segment is localized on images obtained with infrared control. Определяются координаты данных объектов в системе координат, привязанной к изображению с ДУ ИК диапазона. Determine the coordinates of data objects in a coordinate system tied to the image with the remote infrared range.

4.4. 4.4. Производится перерасчет координат обнаруженных сегментов из системы координат, привязанной к изображению с ДУ ИК диапазона, в координаты, привязанные к изображению с ДУ видимого диапазона. Recalculation of segments detected coordinate coordinate system linked to the image from the infrared remote control, in the coordinates tied to the picture controller with visible range. Операция производится в соответствии с данными калибровки, полученными на этапе 3-5 способа. The operation is performed in accordance with the calibration data obtained in the step 3-5 of the method.

4.5. 4.5. Производится локализация сегментов изображения, привязанных к координатам изображения, полученных с ДУ видимого диапазона. Produced localization image segments tied to the coordinates of the image obtained with the control of the visible range.

4.6. 4.6. Вычисляется направление взгляда аналогично описанному в способе настоящего устройства и аналогично [21]. Gaze direction is calculated as described in the method of the present apparatus and similar to [21]. Результат выводится на визуально воспринимаемый носитель. The results are displayed in a visually perceptible carrier.

5. ДУ видимого диапазона устанавливаются подвижно относительно ДУ ИК диапазона. 5. Control visible range movably mounted relative to control IR range. В последнем случае исполнительные устройства ориентируют ДУ видимого диапазона относительно ДУ ИК диапазона по управляющему сигналу (Фигура 1, позиция 4). In the latter case, the actuators are oriented relative to control a visible range of the IR remote control signal range (figure 1, position 4).

5.1. 5.1. Поле зрения ДУ видимого диапазона меньше поля зрения ДУ ИК диапазона (полю зрения ДУ видимого диапазона соответствует Фигура 1, позиция 6, в то время как полю зрения ДУ ИК диапазона соответствует Фигура 1, позиция 5). The field of view control of the visible range smaller than the field of view control IR range (field of view control of the visible range corresponds to Figure 1, position 6, while the field of view of infrared remote control corresponds to Figure 1, item 5).

5.2. 5.2. Производят регистрацию изображений ДУ ИК диапазона, данные передают в БСОИ (Фигура 3, позиция 8). Registration control produce infrared image data is transmitted in BSOI (Figure 3, item 8).

5.3. 5.3. Производят обработку изображения в БСОИ аналогично 4.2.-4.4. Produce image processing BSOI similar 4.2.-4.4.

5.4. 5.4. Производят перерасчет координат сегментов изображения, полученных с ДУ ИК диапазона в ориентацию ДУ видимого диапазона относительно ДУ ИК диапазона. Recalculates coordinate image segments obtained from the infrared remote control in orientation relative to the visible range control controls infrared range.

5.5. 5.5. Вырабатывается управляющий сигнал и передается из БСОИ (Фигура 3, позиция 8) в исполнительные устройства (Фигура 1, позиция 4). Control signal is generated and transmitted from BSOI (figure 3, position 8) in the actuators (figure 1, position 4). Производится ориентация ДУ видимого диапазона. Focus control is carried out in the visible range.

5.6. 5.6. Производится регистрация изображений сегментов объекта ДУ видимого диапазона. Produced registration images in the visible range of the object control segments.

5.7. 5.7. Вычисляется направление взгляда аналогично описанному в способе настоящего устройства и аналогично [21]. Gaze direction is calculated as described in the method of the present apparatus and similar to [21]. Результат выводится на визуально воспринимаемый носитель. The results are displayed in a visually perceptible carrier.

Источники информации Information sources

1. Патент US 8339459. Zhang Z., Sankaranarayanan A., Zhang Q., Liu Z., Cai Q., Multi camera head pose tracking, Microsoft Corporation (Redmond, WA). 1. The patent US 8339459. Zhang Z., Sankaranarayanan A., Zhang Q., Liu Z., Cai Q., ​​Multi camera head pose tracking, Microsoft Corporation (Redmond, WA).

2. Hartley RI, Zisserman A. Multiple View Geometry in Computer Vision [Текст].- Cambridge University Press, 2004. 2. Hartley RI, Zisserman A. Multiple View Geometry in Computer Vision [Text] .- Cambridge University Press, 2004.

3. Патент US 8224108. Steinberg E., Prilutsky Y., Corcoran P., Bigioi P. Digital Image Processing Using Face Detection Information, Digital Optics Corporation. 3. The patent US 8224108. Steinberg E., Prilutsky Y., Corcoran P., Bigioi P. Digital Image Processing Using Face Detection Information, Digital Optics Corporation.

4. Velichkovsky BM, Comelissen F., Geusebroek J.-M., Graupner S.-Th., Hari R., Marsman J.В., ShevchikS. 4. Velichkovsky BM, Comelissen F., Geusebroek J.-M., Graupner S.-Th., Hari R., Marsman published by JB, ShevchikS. A., PannaschS. A., PannaschS. Measurement-related issues in investigation of active vision [Текст]// Measurement with persons: Theory and methods / B. Berglund, GB Rossi, J. Townsend, L. Pendrill (Eds.). Measurement-related issues in investigation of active vision [Text] // Measurement with persons: Theory and methods / B. Berglund, GB Rossi, J. Townsend, L. Pendrill (Eds.). - London-New York: Taylor and Francis, 2011. - Pp.281-300. - London-New York: Taylor and Francis, 2011. - Pp.281-300.

5. Pannasch S., Velichkovsky BM Distractor Effect and Saccade Amplitudes: Further Evidence on Different Modes of Processing in Free Exploration of Visual Images [Текст] // Visual Cognition. 5. Pannasch S., Velichkovsky BM Distractor Effect and Saccade Amplitudes: Further Evidence on Different Modes of Processing in Free Exploration of Visual Images [Text] // Visual Cognition. -2009. -2009. - 17 (6/7). - 17 (6/7). - Pp.1109-1131. - Pp.1109-1131.

6. Di Stasi LL, Renner R., Staehr P., Helmert JR, Velichkovsky BM, Canas JJ, Catena A., Pannasch S. Saccadic peak velocity is sensitive to variations in mental workload in complex environments [Текст] // Aviation, Space, and Environmental Medicine,2010. 6. Di Stasi LL, Renner R., Staehr P., Helmert JR, Velichkovsky BM, Canas JJ, Catena A., Pannasch S. Saccadic peak velocity is sensitive to variations in mental workload in complex environments [Text] // Aviation, Space, and Environmental Medicine, 2010. - 81(4). - 81 (4). - pp.413-417. - pp.413-417.

7. Сведения о показателях состояния безопасности дорожного движения [Электронный ресурс] / ГУОБДД МВД России. 7. Information on the terms of the road safety [electronic resource] / GUOBDD the Russian Interior Ministry. - Электрон, дан. - Electron is given. - 2012 - Режим доступа: www.gibdd.ru/, свободный. - 2012 - Access: www.gibdd.ru/, free. - Загл. - Zagli. с экрана. screen. - Яз. - Jaz. рус. Rus.

8. Majaranta P., Raiha K.-J. 8. Majaranta P., Raiha K.-J. Twenty Years of Eye Typing: Systems and Design Issues[TeKCT] // Proceedings of ETRA 2002, Eye Tracking Research and Applications Symposium, 25-27, 2002. Twenty Years of Eye Typing: Systems and Design Issues [TeKCT] // Proceedings of ETRA 2002, Eye Tracking Research and Applications Symposium, 25-27, 2002.

9. SR Research Complete Eye Tracking Solutions [Электронный ресурс] / SR Research. 9. SR Research Complete Eye Tracking Solutions [Electron resource] / SR Research. - Электрон. - Electron. дан. Dan. - Ontario, Canada, 2012. - Режим доступа: http://www.sr-research.com/свободный. - Ontario, Canada, 2012. - Access: http://www.sr-research.com/свободный. - Загл. - Zagli. с экрана. screen. - Яз. - Jaz. англ. Eng.

10. SMI SensoMotoric Instruments [Электронный ресурс] / SMI SensoMotoric Instruments. 10. SMI SensoMotoric Instruments [Electron resource] / SMI SensoMotoric Instruments. - Электрон. - Electron. дан. Dan. - Teltow, Germany, 2013. - Режим доступа: http://www.smivision.com свободный. - Teltow, Germany, 2013. - Access: http://www.smivision.com free. - Загл. - Zagli. с экрана. screen. - Яз. - Jaz. англ. Eng.

11. Устройство для регистрации движения глаз. 11. An apparatus for recording eye movement. А.с. AS СССР №1009418, кл. USSR №1009418, cl. A61B 3/00 / Курочкин С.Л., Фомин Б.M., Шиф M.И. A61B 3/00 / Kurochkin SL, Fomin B.M., Schiff M.I. - опубл. - publ. 1981. 1981.

12. Устройство для регистрации и анализа зрительной деятельности оператора. 12. An apparatus for recording and analysis of operator visual activity. А.с. AS СССР №1438690. USSR №1438690. Курочкин С.Л., Молодцов В.А., Спецаков А.И., Тетерин Н.В. Kurochkin SL, Molodcov VA Spetsakov AI, Teterin NV - заявл. - appl. 17.10.1986. 17.10.1986.

13. Способ определения координат точек фиксации взгляда на объекте наблюдения. 13. A method for determining the coordinates of gaze fixation points on the object of observation. А.с. AS СССР №1430027. USSR №1430027. Курочкин С.Л., Сидоров А.С., Фомин Б.М., Шиф М.И. Kurochkin SL, Sidorov AS, Fomin BM Schiff MI - заявл. - appl. 05.08.1986. 05.08.1986.

14. Velichkovsky BM, Sprenger A., Pomplu, М., Unema P. Eye movements and encoding manipulations in two visual memory tasks[TeKCT] // Proceedings of the Psychonomic Society 38th Annual Meeting. 14. Velichkovsky BM, Sprenger A., ​​Pomplu, M., Unema P. Eye movements and encoding manipulations in two visual memory tasks [TeKCT] // Proceedings of the Psychonomic Society 38th Annual Meeting. November 20th-23rd - Philadelphia, USA, 1997. - P.73. November 20th-23rd - Philadelphia, USA, 1997. - P.73.

15. Kapur JN, Sahoo PK, Wong AK A new method for gray-level picture thresholding using the entropy of the histogram [Текст] // Computer vision, graphics, and image processing. 15. Kapur JN, Sahoo PK, Wong AK A new method for gray-level picture thresholding using the entropy of the histogram [Text] // Computer vision, graphics, and image processing. - 1985. -29(3) - Pp.273-285, 1, 2.5, 2.6. - 1985. -29 (3) - Pp.273-285, 1, 2.5, 2.6.

16. Davies E. Machine Vision: Theory, Algorithms and Practicalities [Текст]: - Academic Press, 1990 - Chap.6. 16. Davies E. Machine Vision: Theory, Algorithms and Practicalities [Text]: - Academic Press, 1990 - Chap.6.

17. Li D., Winfield D., Parkhurst DJ Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [Текст] // Computer Vision and Pattern Recognition - Workshops, 2005. CVPR Workshops, IEEE Computer Society Conference on, 25-25 June 2005. - pp.79. 17. Li D., Winfield D., Parkhurst DJ Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [text] // Computer Vision and Pattern Recognition - Workshops, 2005. CVPR Workshops, IEEE Computer Society Conference on, 25-25 June 2005. - pp.79. - doi: 10.1109/CVPR.2005.531. - doi: 10.1109 / CVPR.2005.531.

18. Способ и устройство для определения пространственного положения глаз для вычисления линии взгляда [Текст]: патент РФ №2444275 / Шевчик С.А., Величковский Б.М., Величковский Б.Б., Вартанов А.В. 18. A method and apparatus for determining the spatial position of the eye for calculating sight line [Text]: RF Patent №2444275 / Szewczyk SA, Velichkovski BM, Velichkovski BB, Vartanov AV - Опубл. - Publ. 10.09.10. 10.09.10.

19. http://www.ulis-ir.com/ 19. http://www.ulis-ir.com/

20. Method and installation for detecting and following an eye and the gaze direction therefore [Текст]: патент US 7572008. 20. Method and installation for detecting and following an eye and the gaze direction therefore [Text] US patent 7,572,008.

21. Eye position detecting apparatus [Текст]: патент US 5218387. 21. Eye position detecting apparatus [Text] US Patent No. 5,218,387.

22. Jin S., Lee K., and Hong K. "An Implementation of Multimodal Gaze Direction Recognition System using Image and EOG", 6th International Conference on Digital Content, Multimedia Technology and its Applications (IDC), pp.229-235, 978-1-4244-7607-7, 2010. 22. Jin S., Lee K., and Hong K. "An Implementation of Multimodal Gaze Direction Recognition System using Image and EOG", 6th International Conference on Digital Content, Multimedia Technology and its Applications (IDC), pp.229-235 , 978-1-4244-7607-7 2010.

Claims (17)

1. Способ определения направленности взгляда, состоящий в том, что устанавливают не менее двух предварительно калиброванных детектирующих устройств изображения объекта в пространстве (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне со спектральным диапазоном чувствительности >=3000 нм, а остальные регистрируют изображения в видимом диапазоне 400-1000 нм, при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно, все ДУ регистрируют изображения области пространства, соответствующей об 1. A method for determining the gaze direction, consisting in the fact that the set of at least two pre-calibrated image detecting device in the object space (DU), at least one of which records the image in the far infrared range with a spectral sensitivity of> = 3000 nm, and the remaining recorded images in the visible range of 400-1000 nm, the remote registering images in the infrared range is fixedly set, all control register image space region corresponding to an разу объекта, результаты регистрации обрабатывают с помощью блока сбора и обработки информации БСОИ, при этом вначале регистрируют изображения части пространства ДУ, обладающим чувствительностью в дальнем ИК диапазоне с длиной волны >3000 нм, и получают ИК изображения объекта и некоторого фона за ним, после чего производят обработку полученного ИК изображения, отделяя объект от фона и локализуя области на изображении, соответствующие образу объекта, на локализованной части изображения выделяют отдельные сегменты объекта, также локализуя once an object of registration is treated by an information collection and processing unit BSOI, the first recorded image part of the space control, having sensitivity in the far infrared range with wavelengths> 3000 nm, and the obtained infrared image of the object and a background behind it, whereupon produce treating the resulting thermal image, separating object from background and localizing the areas on the image corresponding to the image of the object at a localized portion of the image separated individual segments of the object, also localizing их на изображении, после чего определяют координаты этих сегментов в координатной системе, привязанной к изображению, регистрируют изображения части пространства ДУ, обладающего чувствительностью в видимом диапазоне 400-1000 нм, производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты, привязанные изображениям с ДУ, имеющими чувствительность в видимой области, после чего локализуют соответствующие сегменты объекта на изображениях видимого диапазона и рассчитывают направленность линии взгляда д of the image, and then determining the coordinates of these segments in a coordinate system tied to the image portion recorded image control space having sensitivity in the visible range of 400-1000 nm, recalculates the coordinates of the segments obtained at the registration in the IR range, coordinate, bound remote images having sensitivity in the visible region, then the corresponding object segments localize the images in the visible range and the calculated sight line direction d ля случая, если ДУ ИК диапазона и видимого диапазона фиксированы друг относительно друга, или производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты ориентации ДУ видимого диапазона, после чего ориентируют ДУ видимого диапазона и регистрируют часть пространства, содержащую образы выделенных сегментов объекта на ИК изображениях, и на основании полученных изображений рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видимого диапазона подвижны друг относительно дру A case, if the remote control infrared and visible range are fixed relative to each other, or recalculate the coordinates of segments received when registering in the IR range, the coordinates of the visible range control orientation and then oriented control of the visible range and recorded part of the space containing the images of the selected segments object on IR images, and based on the obtained images is calculated sight line orientation of the case if the remote infrared range and the visible range are movable relative to each Dru а. a.
2. Способ по п.1, отличающийся тем, что ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона, в координаты положения объекта на изображениях, получаемых с ДУ видимого диапазона, для случая, если все ДУ фиксированы друг относительно друга. 2. A method according to claim 1, characterized in that the controller is calibrated by converting the position coordinates of the object and / or its segments in the images obtained from the infrared remote control, a coordinate position of the object in images obtained with the control of the visible range, for the case where all controls are fixed relative to each other.
3. Способ по п.1, отличающийся тем, что ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона, в координаты ориентации ДУ видимого диапазона относительно ДУ ИК диапазона для регистрации сегментов объекта, локализованных на ИК изображениях в случае, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона. 3. The method of claim 1, wherein the controller is calibrated by converting the position coordinates of the object and / or its segments in the images obtained with the control IR range, visible range orientation coordinates relative to control Control infrared to register the object segments, localized on IR images when the visible range remote control movable relative to the IR range.
4. Способ по п.2, отличающийся тем, что регистрацию изображения части пространства в инфракрасном и видимом диапазоне проводят одновременно. 4. A method according to claim 2, characterized in that the image recording portion of the space in the infrared and visible range are carried out simultaneously.
5. Способ по п.3, отличающийся тем, что регистрацию изображения части пространства в ИК и видимом диапазоне проводят последовательно. 5. A method according to claim 3, characterized in that the image recording portion of the space in the infrared and visible range is performed sequentially.
6. Способ по любому из пп.1-5, отличающийся тем, что производят обработку сначала ИК изображения, отделяя изображения от фона с помощью анализа градиентов тепловых полей. 6. A method according to any one of claims 1-5, characterized in that the processing produces first IR image by separating the image from the background by analyzing the fields of thermal gradients.
7. Способ по п.6, отличающийся тем, что после отделения объекта от фона производят определение положения отдельных сегментов объекта на изображении, используя анализ градиентов тепловых полей. 7. A method according to claim 6, characterized in that, after separation of the object from the background produce object determining the position of individual segments in the image using the analysis of thermal field gradients.
8. Способ по п.7, отличающийся тем, что после определения положения сегментов на ИК изображении находят данные сегменты на изображениях видимого диапазона с использованием данных калибровки для случая, если все ДУ фиксированы друг относительно друга. 8. A method according to claim 7, characterized in that after determining the position of the segments on the thermal image data segments are in the images in the visible range using the calibration data for the case where all control are fixed relative to each other.
9. Способ по п.7, отличающийся тем, что после определения положения сегментов на ИК изображении на основании калибровки ориентируют ДУ видимого диапазона таким образом, что они производят регистрацию области пространства, содержащую образы сегментов объекта, локализованных на ИК изображениях, для случая, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона. 9. A method according to claim 7, characterized in that after determining the position on the IR image segments based on the calibration control orient the visible range such that they generate registration region of space containing the images of the object segments, localized on IR images, for the case where visible range control movable relative to IR control.
10. Способ по любому из пп.7, 8, отличающийся тем, что рассчитывают направленность линии взгляда на основании изображений, полученных с ДУ видимого диапазона, выводя результаты обработки на визуально воспринимаемый носитель. 10. The method according to any one of claims 7 and 8, characterized in that the orientation of sight line is calculated on the basis of images obtained by control of the visible range, outputting processing results on a visually perceptible carrier.
11. Способ по п.3, отличающийся тем, что в качестве объекта определяют лицо пользователя, а в качестве сегментов - глаза пользователя. 11. A method according to claim 3, characterized in that the object is determined as the user's face, as well as segments - the user's eye.
12. Устройство определения направленности взгляда, включающее не менее двух размещенных в пространстве детектирующих изображения объекта средств (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне (спектральный диапазон чувствительности >=3000 нм), а остальные регистрируют изображения в видимом диапазоне (спектральный диапазон чувствительности 400-1000 нм), при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно, и все ДУ соединены с блоком сбора и обработки информации БСОИ. 12. The gaze direction detecting apparatus comprising at least two distributed in space detection object image means (DM), at least one of which records the image in the far infrared (spectral sensitivity range> = 3000 nm), and the remaining recorded image, visible range (400-1000 nm spectral sensitivity range), the control unit registering images in the infrared range, is set fixedly, and all are connected to the control unit and collecting information processing BSOI.
13. Устройство по п.12, отличающееся тем, что ДУ видимого диапазона установлены неподвижно. 13. The apparatus according to claim 12, characterized in that the visible range control are stationary.
14. Устройство по п.12, отличающееся тем, что ДУ видимого диапазона установлены подвижно, при этом исполнительный механизм, обеспечивающий подвижность, соединен с блоком сбора и обработки информации. 14. The apparatus according to claim 12, characterized in that the control of the visible range are movably mounted, wherein the actuator provides motive power connected to the information collection and processing unit.
15. Устройство по п.13, отличающееся тем, что ДУ установлены так, что их поля зрения совпадают в плоскости перемещения объекта. 15. The apparatus according to claim 13, characterized in that the control arranged so that their fields of view coincide at the transport plane of the object.
16. Устройство по п.14, отличающееся тем, что ДУ установлены так, что их поля зрения не совпадают в плоскости перемещения объекта, при этом поле зрения ДУ ИК диапазона больше поля зрения ДУ видимого диапазона. 16. The apparatus according to claim 14, characterized in that the control arranged so that their fields of view do not coincide in the plane of movement of the object, wherein the control field of view infrared larger than the field of view control of the visible range.
17. Устройство по п.12, отличающееся тем, что БСОИ производит сбор изображений со всех ДУ одновременно или последовательно, обработку изображений, производит выработку управляющего сигнала для пространственной ориентации ДУ видимого диапазона, производит расчет направленности линии взгляда. 17. The apparatus according to claim 12, characterized in that the BSOI collects images from all control simultaneously or sequentially, image processing, generates a control signal for generation of the spatial orientation of the visible range control, calculates the line of sight direction.
RU2013121977/08A 2013-05-14 2013-05-14 Method and device to determine look direction RU2541922C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2013121977/08A RU2541922C2 (en) 2013-05-14 2013-05-14 Method and device to determine look direction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013121977/08A RU2541922C2 (en) 2013-05-14 2013-05-14 Method and device to determine look direction

Publications (2)

Publication Number Publication Date
RU2013121977A RU2013121977A (en) 2015-01-10
RU2541922C2 true RU2541922C2 (en) 2015-02-20

Family

ID=53278727

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013121977/08A RU2541922C2 (en) 2013-05-14 2013-05-14 Method and device to determine look direction

Country Status (1)

Country Link
RU (1) RU2541922C2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2408162C2 (en) * 2005-08-17 2010-12-27 Сириал Текнолоджиз Гмбх Method and apparatus for real-time detecting and tracking eyes of several viewers
RU2444275C1 (en) * 2010-09-30 2012-03-10 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Method and apparatus for determining spatial position of eyes for calculating line of sight
US8224108B2 (en) * 2003-06-26 2012-07-17 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8339459B2 (en) * 2009-09-16 2012-12-25 Microsoft Corporation Multi-camera head pose tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224108B2 (en) * 2003-06-26 2012-07-17 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
RU2408162C2 (en) * 2005-08-17 2010-12-27 Сириал Текнолоджиз Гмбх Method and apparatus for real-time detecting and tracking eyes of several viewers
US8339459B2 (en) * 2009-09-16 2012-12-25 Microsoft Corporation Multi-camera head pose tracking
RU2444275C1 (en) * 2010-09-30 2012-03-10 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Method and apparatus for determining spatial position of eyes for calculating line of sight

Also Published As

Publication number Publication date
RU2013121977A (en) 2015-01-10

Similar Documents

Publication Publication Date Title
Zhu et al. Eye and gaze tracking for interactive graphic display
US6920236B2 (en) Dual band biometric identification system
US7995808B2 (en) Contactless multispectral biometric capture
CN103797344B (en) The wireless communication device having an integrated electromagnetic radiation sensor
US9245171B2 (en) Gaze point detection device and gaze point detection method
US8121356B2 (en) Long distance multimodal biometric system and method
Li et al. Learning to predict gaze in egocentric video
US20170004623A1 (en) Method and system for object reconstruction
KR101608848B1 (en) System and method for generating a multi-dimensional image
Turano et al. Oculomotor strategies for the direction of gaze tested with a real-world activity
EP2404283B1 (en) Processing images of at least one living being
EP2486539B1 (en) Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US7417727B2 (en) Method and apparatus for standoff detection of liveness
US7027619B2 (en) Near-infrared method and system for use in face detection
US20030086061A1 (en) Method for detecting, evaluating, and analyzing look sequences
JP4403453B2 (en) How to convert the head surface coordinates to brain surface coordinates, transcranial brain function measuring apparatus using the converted data
US7174033B2 (en) Methods and systems for detecting and recognizing an object based on 3D image data
US8077914B1 (en) Optical tracking apparatus using six degrees of freedom
KR100343223B1 (en) Apparatus for eye and face detection and method thereof
CN103748598B (en) Systems and methods for identifying scene gaze tracking reference position
US8879801B2 (en) Image-based head position tracking method and system
US9052329B2 (en) Tire detection for accurate vehicle speed estimation
US9646217B2 (en) Method and system for biometric recognition
US8818041B2 (en) Method of controlling a function of a device and system for detecting the presence of a living being
US20150356362A1 (en) Personal electronic device for performing multimodal imaging for non-contact identification of multiple biometric traits