RU2227930C2 - Method and system for contactless data input in computer - Google Patents
Method and system for contactless data input in computer Download PDFInfo
- Publication number
- RU2227930C2 RU2227930C2 RU2002117877/09A RU2002117877A RU2227930C2 RU 2227930 C2 RU2227930 C2 RU 2227930C2 RU 2002117877/09 A RU2002117877/09 A RU 2002117877/09A RU 2002117877 A RU2002117877 A RU 2002117877A RU 2227930 C2 RU2227930 C2 RU 2227930C2
- Authority
- RU
- Russia
- Prior art keywords
- head
- computer
- operator
- screen
- cursor
- Prior art date
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Изобретение относится к области компьютерной техники и может быть использовано при управлении компьютером для лиц с физическими недостатками, а также в случаях управления компьютером без помощи рук.The invention relates to the field of computer technology and can be used in computer control for persons with physical disabilities, as well as in cases of computer control without the help of hands.
Проблема взаимодействия оператора с компьютером как современным средством коммуникации, обучения и обслуживания особенно остра для операторов с физическими недостатками. В частности, особую сложность вызывает полноценное общение с компьютером у пациентов, страдающих церебральным параличом. Этот недуг затрагивает прежде всего двигательный аппарат и характерен наличием хаотических движений, неадекватных выданной команде и выполняемому заданию. Поэтому такие тонкие инструменты управления компьютером, как клавиатура, манипуляторы типа “джойстик” или “мышь”, не пригодны для пациентов с указанным типом патологии.The problem of operator interaction with a computer as a modern means of communication, training and maintenance is especially acute for operators with physical disabilities. In particular, it is particularly difficult to fully communicate with a computer in patients with cerebral palsy. This ailment affects primarily the motor apparatus and is characterized by the presence of chaotic movements inadequate given to the team and the task to be performed. Therefore, such delicate computer control tools as a keyboard, “joystick” or “mouse” manipulators are not suitable for patients with this type of pathology.
Известны различные способы ввода информации в компьютер без помощи рук. Так, из патента RU 2084949, Логутко, 20.07.1997 известен способ управления компьютером, согласно которому одну из частей тела оператора помечают закреплением оптического излучателя, а перемещение курсора определяют пространственным перемещением части тела оператора. Клавиатуру создают на части экрана компьютера, выбор определенного действия осуществляют задержкой курсора на избранной клавише или движением дополнительного оптического излучателя (например, резким движением плеча). Соответственно, для реализации способа необходимо средство, диагностирующее местоположение и движение оптических излучателей на теле оператора.There are various ways of entering information into a computer without the help of hands. So, from the patent RU 2084949, Logutko, 07.20.1997, a computer control method is known, according to which one of the parts of the operator’s body is marked by fixing the optical emitter, and the cursor is determined by the spatial movement of the part of the operator’s body. The keyboard is created on a part of the computer screen, the selection of a specific action is carried out by delaying the cursor on the selected key or by the movement of an additional optical emitter (for example, a sharp movement of the shoulder). Accordingly, to implement the method, a means is needed that diagnoses the location and movement of the optical emitters on the body of the operator.
В другом изобретении по патенту RU 2161816, СПЕЦВУЗАВТОМАТИКА, 10.01.2001 предлагается устройство манипулятора для компьютера, в котором управление осуществляется органами дыхания оператора: изменением направления потока воздуха ртом или носом при выдохе. Для этой цели служат четыре дифференциально включенных датчика температуры. Описаны также устройства для бесконтактного ввода, согласно которому используется панель дискретных фотоприемников, укрепленная на компьютере, и оптическая указка, укрепленная на оголовье, снабженном, кроме того, зубным многопозиционным переключателем для включения режима “ввод” (RU 93037986 А, 27.01.1997; RU 95110648, Рыбьяков и др., 27.05.1997).In another invention according to patent RU 2161816, SPECIAL AUTOMATION, January 10, 2001, a manipulator device for a computer is proposed in which the respiratory system of the operator is controlled by changing the direction of air flow through the mouth or nose when exhaling. For this purpose, four differentially connected temperature sensors are used. Also described are devices for contactless input, according to which a discrete photodetector panel mounted on a computer is used, and an optical pointer mounted on a headband, equipped with, in addition, a dental multi-position switch for activating the input mode (RU 93037986 A, January 27, 1997; RU 95110648, Rybjakov et al. 05/27/1997).
В изобретении US 5686942, Ball, 11.11.1997 описана система управления компьютером путем регистрации перемещения части лица оператора, например, кончика носа, и выделения его положения, скорости, ускорения или иных характеристик движения. В изобретении US 5900863, Numazaki, 04.05.1999 анализируется система управления по дальности и технические средства.In the invention US 5686942, Ball, 11.11.1997 describes a computer control system by recording the movement of part of the operator’s face, for example, the tip of the nose, and highlighting its position, speed, acceleration or other movement characteristics. In the invention, US 5900863, Numazaki, 05/04/1999 analyzes the range control system and technical means.
В изобретении RU 2175143, Свириденко, 20.10.2001 описан способ дистанционного управления, в котором управляющий сигнал формируется посредством положения и состояния в пространстве и времени по меньшей мере одной части человеческого тела, регистрируемого посредством распознавания и анализа оптического изображения. Иными словами, управление курсором осуществляется посредством жестикуляции кистью руки, головой, туловищем. Устройство предусматривает реализацию стандартных процедур распознавания изображений, полученных телевизионным путем. Указанный источник является ближайшим аналогом для патентуемой группы изобретений.In the invention RU 2175143, Sviridenko, 10.20.2001 describes a remote control method in which a control signal is generated by the position and state in space and time of at least one part of the human body, recorded by recognition and analysis of the optical image. In other words, the cursor is controlled by gesturing with the hand, head, and body. The device provides for the implementation of standard recognition procedures for images obtained by television. The specified source is the closest analogue for the patented group of inventions.
Анализ уровня техники показывает, что упомянутые технические решения не могут быть использованы непосредственно для управления компьютером лицами, страдающими заболеваниями, связанными с патологией координации движений, характеризующимся чрезмерным усилением коррекции. Даже небольшой промах вызывает хаотическое нагромождение корректирующих движений с увеличивающейся амплитудой.An analysis of the prior art shows that the mentioned technical solutions cannot be used directly for controlling a computer by persons suffering from diseases associated with pathology of coordination of movements, characterized by excessive amplification of correction. Even a small slip causes a chaotic pile of corrective movements with increasing amplitude.
Задачей группы изобретений является построение бесконтактного метода управления компьютером для лиц, страдающих расстройствами адекватных двигательных функций конечностей, в частности, больных церебральным параличом.The objective of the group of inventions is the construction of a non-contact method of computer control for people suffering from disorders of adequate motor functions of the limbs, in particular, patients with cerebral palsy.
Технический результат группы изобретений состоит в повышении социальной активности лиц с патологиями, в обеспечении возможности коммуникаций посредством письменной речи, а также обучения при параллельной работе с преподавателем на одном и том же экране компьютера.The technical result of the group of inventions is to increase the social activity of people with pathologies, to ensure the possibility of communication through written speech, as well as learning while working with a teacher on the same computer screen.
Технический результат обеспечивается тем, что способ бесконтактного ввода информации в компьютер, преимущественно для инвалидов, включает регистрацию в пространстве и во времени положения головы оператора и преобразование этих параметров в управляющие сигналы “положение курсора на экране” и “ВВОД” компьютера. Управляющий сигнал “положение курсора на экране” формируют поворотом головы в сторону желаемого направления перемещения, при этом скорость перемещения устанавливают пропорциональной пространственному углу поворота головы, а управляющий сигнал “ВВОД” формируют мимикой, преимущественно открытием рта на период времени, превышающий физиологический порог непроизвольной артикуляции.The technical result is ensured by the fact that the method of contactless input of information into a computer, mainly for people with disabilities, includes recording the position of the operator’s head in space and time and converting these parameters into control signals “cursor position on the screen” and “ENTER” of the computer. The control signal “cursor position on the screen” is formed by turning the head in the direction of the desired direction of movement, while the speed of movement is set proportional to the spatial angle of rotation of the head, and the control signal “ENTER” is formed by facial expressions, mainly by opening the mouth for a period exceeding the physiological threshold of involuntary articulation.
Способ может характеризоваться тем, что регистрацию поворотов головы и мимики проводят путем покадрового анализа телевизионного изображения пространственного положения головы оператора, оснащенного наголовной реперной структурой, при этом приемную телевизионную камеру для формирования телевизионного изображения размещают со стороны экрана компьютера, оператора размещают в поле зрения упомянутой камеры, а пространственный угол поворота головы определяют по проекциям элементов упомянутой реперной структуры на плоскость кадра упомянутого изображения.The method may be characterized in that the registration of head rotations and facial expressions is carried out by frame-by-frame analysis of a television image of the spatial position of the operator’s head equipped with a head reference structure, while the receiving television camera for forming a television image is placed on the side of the computer screen, the operator is placed in the field of view of the said camera, and the spatial angle of rotation of the head is determined by the projections of the elements of the mentioned frame structure on the plane of the frame yanutogo image.
Способ может характеризоваться также тем, что наголовная реперная структура содержит по меньшей мере три элемента, два из которых лежат в одной плоскости, преимущественно в плоскости лица оператора, а третий - размещен симметрично между ними и отстоит от упомянутой плоскости.The method may also be characterized in that the head-mounted reference structure contains at least three elements, two of which lie in the same plane, mainly in the plane of the operator’s face, and the third is placed symmetrically between them and spaced from the mentioned plane.
Способ может характеризоваться и тем, что наголовная реперная структура размещена на шлеме.The method can be characterized by the fact that the head-mounted reference structure is placed on the helmet.
Способ может характеризоваться, кроме того, тем, что положение рта определяют по проекциям элементов реперной структуры, а факт его открытия - по появлению в центре рта темной области, соответствующей неосвещенной ротовой полости.The method can be characterized, in addition, by the fact that the position of the mouth is determined by the projections of the elements of the reference structure, and the fact of its opening is determined by the appearance in the center of the mouth of a dark area corresponding to an unlit oral cavity.
Система управления компьютером, включающая манипулятор “мышь”, подсоединенный через блок ввода/вывода к компьютеру, дополнительно содержит бесконтактный манипулятор на основе системы технического зрения для определения в пространстве и во времени положения головы и мимики оператора и преобразования этих параметров в управляющие сигналы “положение курсора на экране” и “ВВОД” компьютера. При этом система технического зрения содержит последовательно соединенные приемную телевизионную камеру, блок обработки изображения, блок выработки сигналов управления “положение курсора на экране” и “ВВОД”, выход которого присоединен параллельно манипулятору “мышь”.The computer control system, including a mouse, connected via an input / output unit to a computer, further comprises a non-contact manipulator based on a vision system to determine the head position and facial expressions in space and time and convert these parameters into control signals “cursor position” on screen ”and“ ENTER ”of the computer. In this case, the vision system contains a series-connected receiving television camera, an image processing unit, a control signal generation unit “cursor position on the screen” and “ENTER”, the output of which is connected in parallel with the mouse.
Система может характеризоваться тем, что блок обработки изображений содержит последовательно соединенные блок выделения контуров, блок определения координат изображений реперных элементов, один выход которого соединен с блоком вычисления пространственных углов, в другой - с блоком определения мимических признаков, выходы которых являются выходами блока.The system can be characterized by the fact that the image processing unit contains a series-connected contour extraction unit, a unit for determining the coordinates of images of reference elements, one output of which is connected to a unit for calculating spatial angles, and in the other, to a unit for determining facial features, the outputs of which are the outputs of the unit.
Система может характеризоваться и тем, что система технического зрения включает наголовную реперную структуру, содержащую по меньшей мере три реперных элемента, образующих трехмерную пространственную структуру, два из которых лежат в плоскости лица оператора, а третий - размещен симметрично между ними и отстоит от упомянутой плоскости.The system can be characterized by the fact that the vision system includes a head-mounted reference structure containing at least three reference elements forming a three-dimensional spatial structure, two of which lie in the plane of the operator’s face, and the third is placed symmetrically between them and is separated from the mentioned plane.
Система может характеризоваться также тем, что наголовная реперная структура размещена на шлеме.The system may also be characterized in that the head-mounted reference structure is placed on the helmet.
Сущность изобретения поясняется на чертежах, где:The invention is illustrated in the drawings, where:
на фиг.1 представлена блок-схема системы,figure 1 presents a block diagram of a system,
на фиг.2 - наголовная реперная структура,figure 2 - head-mounted reference structure,
на фиг.3 - то же, что на фиг.2, вид сбоку,figure 3 is the same as in figure 2, side view,
на фиг.4 - блок-схема блока выработки сигналов управления “положение курсора на экране” и “ВВОД”,figure 4 is a block diagram of a block for generating control signals “cursor position on the screen” and “ENTER”,
на фиг.5 представлена фотография варианта интерфейса.figure 5 presents a photograph of a variant of the interface.
В основе патентуемого способа лежит управление компьютером при помощи движений головы и мимики оператора. Движение головы - поворот в ту или иную сторону - влечет перемещение курсора в соответствующем направлении со скоростью, пропорциональной углу поворота. В теории этот метод носит название “управление по скорости”. Патентуемое решение имеет три специфических преимущества для лиц, страдающих координаторными расстройствами. Во-первых, это интегрирование воздействия: резкие движения головы не приводят к резким перемещениям курсора. Во-вторых, появляется возможность одновременного управления курсором как путем изменения угла поворота головы (по скорости), так и при помощи "мыши" (по положению). В третьих, становится возможной работа с преподавателем: системный курсор управляется как посредством мимики оператора, так и при помощи управляемого преподавателем стандартного манипулятора “мышь”, входящего в состав компьютера. Последнее имеет важное значение в процессе педагогической и реабилитационной деятельности с использованием современных компьютерных программных средств. Наибольший эффект достигается в процессе совместной работы с педагогом, когда педагог корректирует неизбежные ошибки и способен помочь инвалиду выполнить особенно трудные операции. Без совместного управления курсором и сигналом срабатывания “ввод” использование большинства готовых программ, так называемых стандартных приложений, вообще невозможно.The patented method is based on computer control using head movements and facial expressions of the operator. Head movement - turning in one direction or another - entails moving the cursor in the corresponding direction at a speed proportional to the angle of rotation. In theory, this method is called “speed control”. A patented solution has three specific advantages for individuals with coordinating disorders. Firstly, it is the integration of the impact: sharp movements of the head do not lead to sharp movements of the cursor. Secondly, it becomes possible to simultaneously control the cursor both by changing the angle of rotation of the head (in speed), and using the "mouse" (in position). Thirdly, it becomes possible to work with a teacher: the system cursor is controlled both through the operator’s facial expressions and with the help of a teacher controlled by a standard mouse manipulator, which is part of the computer. The latter is important in the process of pedagogical and rehabilitation activities using modern computer software. The greatest effect is achieved in the process of working together with the teacher, when the teacher corrects the inevitable errors and is able to help the disabled person perform especially difficult operations. Without joint control of the cursor and the input signal, the use of most ready-made programs, the so-called standard applications, is generally impossible.
Блок-схема системы для осуществления способа представлена на фиг.1 и предусматривает использование обычного компьютера. Такой персональный компьютер 10 имеет в своем составе монитор 12, подключенный к системному блоку 14, к которому через блок 15 ввода-вывода подключен манипулятор 16 типа “мышь”.The block diagram of a system for implementing the method is presented in figure 1 and involves the use of a conventional computer. Such a personal computer 10 includes a monitor 12 connected to a system unit 14, to which a mouse 16 is connected via an input / output unit 15.
Вблизи монитора 12 или непосредственно на нем установлена приемная телевизионная камера 18, входящая в состав системы 20 технического зрения. Приемная телевизионная камера 18 подключена к блоку 22 обработки изображения, выход которого соединен с блоком 24 выработки сигналов управления “положение курсора на экране” и “ВВОД”. Выход блока 24 присоединен к блоку 15 ввода-вывода компьютера 10. Блок 15 выполняет функции программного анализатора сигналов от драйверов внешних устройств, которыми являются как стандартный манипулятор 16 типа “мышь”, так и патентуемый мимический манипулятор.Near the monitor 12 or directly on it is installed a receiving television camera 18, which is part of the system 20 of technical vision. The receiving television camera 18 is connected to the
На фиг.2, 3 показана наголовная реперная структура. Структура 50 включает оголовье 52, на которой закреплен темный, преимущественно черный небликующий экран 54 (заштрихован), содержащий по меньшей мере три контрастных по цвету реперных 56, 58, 60 элемента, образующих трехмерную пространственную структуру. Два реперных элемента 56, 60 лежат в плоскости лица оператора, а третий 58 - размещен симметрично между ними и отстоит от упомянутой плоскости экрана 54. Форма реперных элементов 56, 60 - одинаковая, например, в виде прямоугольников, форма реперного элемента 58 - круглая и может представлять собой штырь или плоский круг, установленный на кронштейне 62. Для фиксации на голове оператора реперная структура имеет оголовье, в качестве которого может быть использованы различные очковые оправы или шлем (не показаны).Figure 2, 3 shows the head-mounted reference structure. The
На фиг.4 показана блок-схема блока 22 выработки сигналов управления “положение курсора на экране” и “ВВОД”. Блок 22 включает блок 222 выделения контуров реперных элементов, соединенный с блоком 223 определений координат изображений характерных элементов лица оператора. Выходы блока 223 соединены с входами блока 224 вычисления пространственных углов, характеризующих положение головы оператора и блока 225 выделения мимических признаков. Выходы блоков 224 и 225 соединены с входами блока 24 выработки сигналов управления. Выход блока 24 соединен, как указано выше, с блоком 15 ввода-вывода компьютера.Figure 4 shows a block diagram of a
Способ управления компьютером с помощью бесконтактного манипулятора реализуют посредством системы, показанной на фиг.1-4, следующим образом.The method of controlling a computer using a contactless manipulator is implemented by the system shown in figures 1-4, as follows.
Предварительно подготавливают систему 20 технического зрения и компьютер. На голову оператора устанавливают наголовную реперную структуру 50 и активизируют программу реализации блока 22, а регулировку ее параметров удобно реализовать посредством экранных окон.Pre-prepare the system 20 of technical vision and a computer. A head-mounted
Пример реализации интерфейса представлен на фиг.5. На верхней части экрана размещены окна настроек “Отслеживание лица”, “Кнопка мыши”, “Параметры движения”, “Функции передачи”, “Звуки”, “Индикация”.An example implementation of the interface is presented in figure 5. On the top of the screen are the settings windows “Face tracking”, “Mouse button”, “Motion parameters”, “Transfer functions”, “Sounds”, “Indication”.
Окно “Отслеживание лица” предназначено для задания параметров цвета для блока определения координат реперной структуры. Параметры цвета задаются указанием с помощью стандартной "мыши", принадлежащей реперной структуре точки на экране индикатора в окне “Отслеживание лица”, показывающего изображение головы и реперной структуры. Блок определения координат реперной структуры, получив цветовые и яркостные параметры точек реперной структуры, настраивает алгоритм выделения координат реперной структуры.The “Face tracking” window is intended for setting color parameters for the block for determining the coordinates of the reference structure. Color parameters are set by pointing with the standard “mouse” that belongs to the reference structure of the point on the indicator screen in the “Face Tracking” window, showing the image of the head and the reference structure. The unit for determining the coordinates of the frame structure, having received the color and brightness parameters of the points of the frame structure, sets up an algorithm for selecting coordinates of the frame structure.
Окно “Кнопка мыши” предназначено для задания относительного положения области рта оператора в координатах реперной структуры. Относительное положение задается выбором с помощью стандартной "мыши" точки на экране индикатора в окне “Кнопка мыши”, показывающего текущее положение головы оператора вместе с выделенной реперной структурой.The “Mouse Button” window is intended for setting the relative position of the operator’s mouth area in the coordinates of the frame structure. The relative position is set by using a standard “mouse” to select a point on the indicator screen in the “Mouse Button” window, showing the current position of the operator’s head along with the selected frame structure.
Окно “Параметры движения” предназначено для задания нулевого положения продольной оси головы оператора относительно оси, проходящей через голову и приемную телевизионную камеру. Нулевое положение задается выбором с помощью стандартного манипулятора 16 “мышь” точки на экране индикатора в окне “Параметры движения”, показывающего текущее положение оси головы.The “Motion parameters” window is intended for setting the zero position of the longitudinal axis of the operator’s head relative to the axis passing through the head and the receiving television camera. The zero position is set by using the standard manipulator 16 “mouse” points on the indicator screen in the “Motion Parameters” window, showing the current position of the head axis.
Окно “Функции передачи” предназначено для задания функциональной зависимости между углом отклонения оси головы оператора и соответствующей этому углу скоростью движения курсора на экране.The window “Transfer Functions” is intended for setting the functional relationship between the angle of deviation of the axis of the operator’s head and the corresponding cursor’s speed on the screen.
Окно “Звуки” предназначено для включения/отключения звуковой индикации открытия рта и поворота головы.The “Sounds” window is designed to enable / disable the sound indication of opening the mouth and turning the head.
Окно “Индикация” предназначено для визуального контроля текущей работы блока 223 определения координат реперной структуры. Контуры выделяемой реперной структуры обводятся красными линиями на экране окна “Индикация”, что позволяет контролировать правильность операции.The “Indication” window is intended for visual control of the current operation of the
В центральном окне размещены клавиатура и наборное поле. Работа на этом поле посредством клавиатуры реализует процесс коммуникации оператора посредством письменной речи, а также предоставляет возможность обучения при параллельной работе с преподавателем. Оператор может наблюдать на экране компьютера свое изображение.In the central window there is a keyboard and a typing field. Working in this field using the keyboard implements the operator’s communication process through written speech, and also provides the opportunity to learn while working with the teacher in parallel. The operator can watch his image on a computer screen.
Начинают работу с предварительной разметки телевизионного изображения, для этого определяют положение головы оператора относительно телевизионной приемной камеры 18, установленной со стороны экрана монитора 12 персонального компьютера 10, которым оператор управляет. Посредством блоков 22, 24 системы 20 технического зрения анализируется изображение, полученное телевизионной камерой 18. На изображении выделяют контуры изображений реперных элементов (блок 222), определяют координаты изображений характерных элементов лица оператора (блок 223). Вычисляют направление продольной оси головы оператора относительно оси, проходящей через голову и приемную телевизионную камеру 18 (блок 224). Сигнал управления перемещением курсора по экрану монитора формируют по величине пространственного угла между указанными осями (блок 24). Команду на срабатывание “ВВОД” в блок 24 подают при выявлении в анализируемом изображении открытого рта оператора (блок 245).Work begins with the preliminary marking of the television image, for this, the position of the operator’s head relative to the television receiving camera 18, which is installed on the side of the monitor screen 12 of the personal computer 10, which the operator controls, is determined. By means of
Ниже приведены пояснения принципов функционирования вышеуказанных блоков. Сначала активируют программу выделения контуров в блоке 222. Для этого на изображении выделяют одну из точек, принадлежащих реперному прямоугольнику 56 (или 60), и цвет этой точки запоминают. Далее автоматически настраиваются параметры программы распознавания, разделяющей точки изображения на две группы: на близкие и далекие по цвету к выделенной точке реперного прямоугольника. Построение подобных систем цветового анализа для систем технического зрения известно (см., например. Фор А., Восприятие и распознавание образов / Пер. с фр. А.В.Серединского; под ред Г.П.Катыса. - М, Машиностроение, 1986, с.70-74) и в патентуемом изобретении использовано по известному назначению. Кроме того, на анализируемом изображении определяют положение рта оператора и вычисляют его координаты относительно реперных прямоугольников 56, 60.Below are explanations of the principles of operation of the above blocks. First, the contouring program is activated in
Далее в процессе реализации способа при функционировании системы технического зрения программой осуществляются следующие операции:Further, in the process of implementing the method during the functioning of the vision system, the program performs the following operations:
1. На каждом анализируемом кадре изображения выбирают прямоугольные контуры для реперных элементов 56, 60 и круглый контур для реперного элемента 58, для которых минимальна функция рассогласования. Это характеризует наличие внутри выделенных контуров точек, далеких по цвету от отмеченной точки, и наличие точек, близких к отмеченной по цвету, вне указанных контуров (блок 222).1. On each analyzed image frame, rectangular contours for the
2. По смещению выделенного изображения реперного элемента 58 относительно реперных прямоугольников 56, 60 вычисляют пространственные углы положения оси головы оператора относительно оси, соединяющей его голову и телевизионную камеру 18 (блоки 223, 224).2. By offsetting the selected image of the
3. Вычисляют положение центра рта оператора по координатам рта относительно положения реперных прямоугольников (блок 223).3. Calculate the position of the center of the mouth of the operator according to the coordinates of the mouth relative to the position of the reference rectangles (block 223).
4. Анализируется наличие/отсутствие в области изображения центра рта темной области, соответствующей неосвещенной ротовой полости. При наличии таковой вырабатывается сигнал “есть мимический признак” (блок 225). При непроизвольной артикуляции (кратковременное открытие рта, подрагивание губами и пр.) на период времени меньший, 1-2 сек, подбираемый экспериментально, срабатывание блока 225 не осуществляется.4. The presence / absence in the image area of the center of the mouth of the dark region corresponding to the unlit oral cavity is analyzed. If there is one, a signal “there is a facial expression” is generated (block 225). In case of involuntary articulation (short-term opening of the mouth, twitching of the lips, etc.) for a period of time shorter, 1-2 seconds, selected experimentally, the activation of
5. Далее осуществляется принятие решений и выработка сигналов управления “положение курсора на экране” и “ВВОД”.5. Next, decisions are made and the control signals “cursor position on the screen” and “ENTER” are generated.
5.1. Положение курсора на экране зависит от двух углов: горизонтального и вертикального, имеющихся между осью головы оператора и линией визирования (осью, соединяющей голову с телевизионной камерой 18). По величине горизонтального угла вычисляется скорость перемещения курсора по горизонтали, по вертикальному углу - скорость перемещения курсора по вертикали на экране компьютера.5.1. The cursor position on the screen depends on two angles: horizontal and vertical, between the axis of the operator’s head and the line of sight (the axis connecting the head to the television camera 18). The horizontal angle is used to calculate the horizontal velocity of the cursor, and the vertical angle is the vertical velocity of the cursor on the computer screen.
Скорость перемещения курсора является нечетной кусочно-линейной функцией от величины угла. Вид этой функции задается в окне настроек “Функции передачи” (см. фиг.5), при этом для разных задач и для разных состояний оператора предпочтительными оказываются различные функции, которые подбираются экспериментальным путем. В результате блоком 24 выдается команда процессору компьютера переместить курсор на соответствующее расстояние. При этом анализ выхода курсора за пределы экрана операционная система компьютера проводит самостоятельно: если курсор оказывается на границе экранного поля, то он больше не сдвигается и остается видимым на границе экранного поля.The cursor speed is an odd piecewise linear function of the angle. The appearance of this function is set in the “Transfer Functions” settings window (see Fig. 5), while for different tasks and for different operator states, various functions that are selected experimentally are preferred. As a result, block 24 issues a command to the computer processor to move the cursor to the appropriate distance. At the same time, the computer operating system independently analyzes the cursor’s exit from the screen: if the cursor is on the border of the screen field, it no longer moves and remains visible on the border of the screen field.
5.2. При наличии сигнала от блока 225 “есть мимический признак”, блок 24 формирует сигнал “левая кнопка мыши нажата”, что эквивалентно сигналу “ВВОД”, передаваемому к программному анализатору сигналов от драйверов внешних устройств в блок 15 ввода-вывода.5.2. If there is a signal from
Поскольку блок 15 выполняет функции программного анализатора сигналов от драйверов внешних устройств, которыми являются как стандартный манипулятор типа “мышь”, так и патентуемый мимический манипулятор, может осуществляться режим параллельной работы как стандартного манипулятора 16, так и патентуемого, что особенно важно в процессе работы инвалида и преподавателя.Since block 15 performs the functions of a software analyzer of signals from external device drivers, which are both a standard mouse-type manipulator and a patented mimic manipulator, parallel operation of both a standard manipulator 16 and a patented one can be carried out, which is especially important during the work of a disabled person and teacher.
В результате эксплуатации системы бесконтактного ввода информации в компьютер, реализующей патентуемый способ, показана перспективность ее использования в качестве инструмента доступа к компьютерным ресурсам для инвалидов, страдающих церебральными расстройствами.As a result of the operation of the system of contactless input of information into a computer that implements the patented method, the prospects of its use as an instrument of access to computer resources for people with cerebral disorders are shown.
Промышленная применимость. Для осуществления способа и устройства управления возможно использование телевизионных камер с разрешением 320×240, используемых в качестве web-камер. Система технического зрения может быть реализована с использованием известной элементной базы и программных средств.Industrial applicability. To implement the method and control device, it is possible to use television cameras with a resolution of 320 × 240, used as web cameras. The system of technical vision can be implemented using well-known elemental base and software.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2002117877/09A RU2227930C2 (en) | 2002-07-04 | 2002-07-04 | Method and system for contactless data input in computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2002117877/09A RU2227930C2 (en) | 2002-07-04 | 2002-07-04 | Method and system for contactless data input in computer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2002117877A RU2002117877A (en) | 2004-02-10 |
| RU2227930C2 true RU2227930C2 (en) | 2004-04-27 |
Family
ID=32465199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2002117877/09A RU2227930C2 (en) | 2002-07-04 | 2002-07-04 | Method and system for contactless data input in computer |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2227930C2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7898563B2 (en) | 2005-08-11 | 2011-03-01 | Samsung Electronics Co., Ltd. | User input method and device of mobile communication terminal |
| US8760551B2 (en) | 2011-03-02 | 2014-06-24 | Canon Kabushiki Kaisha | Systems and methods for image capturing based on user interest |
| RU2534073C2 (en) * | 2009-02-20 | 2014-11-27 | Конинклейке Филипс Электроникс Н.В. | System, method and apparatus for causing device to enter active mode |
-
2002
- 2002-07-04 RU RU2002117877/09A patent/RU2227930C2/en not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7898563B2 (en) | 2005-08-11 | 2011-03-01 | Samsung Electronics Co., Ltd. | User input method and device of mobile communication terminal |
| RU2534073C2 (en) * | 2009-02-20 | 2014-11-27 | Конинклейке Филипс Электроникс Н.В. | System, method and apparatus for causing device to enter active mode |
| US8760551B2 (en) | 2011-03-02 | 2014-06-24 | Canon Kabushiki Kaisha | Systems and methods for image capturing based on user interest |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2002117877A (en) | 2004-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Betke et al. | The camera mouse: visual tracking of body features to provide computer access for people with severe disabilities | |
| Mahmud et al. | Interface for human machine interaction for assistant devices: A review | |
| Matarić et al. | Fixation behavior in observation and imitation of human movement | |
| CA2747814C (en) | Hands-free pointer system | |
| US8732623B2 (en) | Web cam based user interaction | |
| WO2010110411A1 (en) | Device for input via head motions | |
| US20020039111A1 (en) | Automated visual tracking for computer access | |
| JP2006516772A (en) | Gaze tracking system and method | |
| RU187548U1 (en) | VIRTUAL REALITY GLOVE | |
| Jackowski et al. | A novel head gesture based interface for hands-free control of a robot | |
| JP2022546644A (en) | Systems and methods for automatic anomaly detection in mixed human-robot manufacturing processes | |
| DE10056291A1 (en) | Visual display of objects in field of view for man-machine communication by acquiring information input by user using signal or pattern recognition | |
| Hu et al. | StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
| WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| JP2024020292A (en) | Operation request system, operation request method, and operation request program | |
| RU2227930C2 (en) | Method and system for contactless data input in computer | |
| Wu et al. | Omnidirectional mobile robot control based on mixed reality and semg signals | |
| Perez et al. | Robust human machine interface based on head movements applied to Assistive robotics | |
| EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
| Ababneh et al. | Gesture controlled mobile robotic arm for elderly and wheelchair people assistance using kinect sensor | |
| JPH04210390A (en) | Remote operation system for robot hand | |
| Al-Okby et al. | Development and testing of intelligent wheelchair controller for quadriplegic patients | |
| WO2005059736A1 (en) | Device and method for controlling pointer by detecting pupil | |
| Chang et al. | Bio-inspired gaze-driven robotic neck brace | |
| Chacón-Quesada et al. | Augmented reality control of smart wheelchair using eye-gaze–enabled selection of affordances |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20050705 |