WO2014126491A1 - Способ ввода информации и управления устройством - Google Patents

Способ ввода информации и управления устройством Download PDF

Info

Publication number
WO2014126491A1
WO2014126491A1 PCT/RU2013/000106 RU2013000106W WO2014126491A1 WO 2014126491 A1 WO2014126491 A1 WO 2014126491A1 RU 2013000106 W RU2013000106 W RU 2013000106W WO 2014126491 A1 WO2014126491 A1 WO 2014126491A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
input
actions
controlling
graphic information
Prior art date
Application number
PCT/RU2013/000106
Other languages
English (en)
French (fr)
Inventor
Андрей Юрьевич ЩЕРБАКОВ
Олег Олегович ТИХОНЕНКО
Original Assignee
Sherbakov Andrei Yuryevich
Tikhonenko Oleg Olegovich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sherbakov Andrei Yuryevich, Tikhonenko Oleg Olegovich filed Critical Sherbakov Andrei Yuryevich
Priority to PCT/RU2013/000106 priority Critical patent/WO2014126491A1/ru
Publication of WO2014126491A1 publication Critical patent/WO2014126491A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Definitions

  • the invention relates to the field of management and maintenance of technical systems, and more particularly to a method for entering information and controlling a device.
  • the present invention can find application in the creation of control systems, maintenance and diagnostics of computer equipment, computer-aided design tools, control of vehicles and household appliances, as well as for various technical systems.
  • a fixed device fetters natural movements and gestures.
  • the image of the hand is formed in infrared rays and natural infrared sources cause interference in the operation of the system.
  • the above problems are solved and the disadvantages of the existing technology are eliminated in the method of inputting information and controlling a device equipped with at least one means for inputting images and at least one means for displaying graphic information, according to which, using the means for displaying graphic information, an image of characters is created for input into the device and with the help of the image input means, actions are taken for selecting a character by a person entering information into the device, after which Properties enter the selected symbol into it or use the entered symbol to control the device, as well as in the control method implemented by the device, equipped with at least one image input means and at least one graphic information display means, which consists in graphic information display tools create a realistic or schematic image of a managed object, after which a person’s actions on the specified object, associated with touching various parts of the image, their movement or pre-recorded in the device and known to man actions to change the position of any parts of his body and the whole
  • the device is pre-trained in the actions of a person on an object.
  • the contours of the images are selected.
  • this system allows for the most efficient implementation of control of various devices through natural human gestures and in a non-contact way in adverse conditions that exclude or impede the use of keyboards or contact screens. This increases the speed of entering commands and data and the speed of control in general.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к области управления и обслуживания технических систем, а более конкретно - к способу ввода информации и управления устройством. Настоящее изобретение может найти применение при создании систем управления, обслуживания и диагностики компьютерной техники, средств автоматизированного проектирования, управления средствами транспорта и бытовыми приборами, а также для различных технических систем. По сравнению с другими способами ввода и управления, известными авторам, данная система позволяет максимально эффективно реализовать управление различными устройствами путем естественных человеческих жестов и бесконтактным путем в неблагоприятных условиях, исключающих или затрудняющих возможность использования клавиатур или контактных экранов. При этом повышается скорость ввода команд и данных и скорость управления в целом.

Description

Способ ввода информации и управления устройством
ОПИСАНИЕ
Изобретение относится к области управления и обслуживания технических систем, а более конкретно - к способу ввода информации и управления устройством.
Настоящее изобретение может найти применение при создании систем управления, обслуживания и диагностики компьютерной техники, средств автоматизированного проектирования, управления средствами транспорта и бытовыми приборами, а также для различных технических систем.
В настоящее время весьма актуальной является задача управления различными устройствами путем естественных человеческих жестов и бесконтактным путем в неблагоприятных условиях, исключающих или затрудняющих возможность использования клавиатур или контактных экранов. При этом актуально также повысить скорость ввода команд и данных и скорость управления в целом, а также максимально использовать уже встроенные в компьютерные устройства видеокамеры.
Наиболее близкой к заявляемой является технология Microsoft's Digits hand-gesture sensor bracelet detailed, описанная по ссылке http://www.bbc.co.ukynews/technology- 19884218. В данной технологии предлагается учитывать для управления движение пальцев руки при помощи двух инфракрасных камер, закрепленных на запястье руки.
Однако эта система имеет существенные недостатки:
1. Закрепленное устройство сковывает естественные движения и жесты.
2. Для управления необходимо дополнительное оборудование (браслет) и не используются уже имеющиеся ресурсы.
3. Изображение кисти руки формируется в инфракрасных лучах и естественные ИК-источники вызывают помехи в работе системы. Поставленные выше задачи решены и недостатки существующей технологии устранены в способе ввода информации и управления устройством, снабженным по меньшей мере одним средством ввода изображений и по меньшей мере одним средством отображения графической информации, согласно которому при помощи средства отображения графической информации создают изображение символов для ввода в устройство и при помощи средства ввода изображений фиксируют действия по выбору символа человеком, вводящим информацию в устройство, после чего средствами устройства вводят в него выбранный символ или используют введенный символ для управления устройством, а также в способе управления, реализованного при помощи устройства, снабженными по меньшей мере одним средством ввода изображений и по меньшей мере одним средством отображения графической информации, заключающийся в том, что при помощи средства отображения графической информации создают реалистическое или схематическое изображение управляемого объекта, после чего при помощи средства ввода изображений фиксируют действия человека над указанным объектом, связанные с касанием им различных частей изображения, их передвижением или заранее зафиксированные в устройстве и известные человеку действия по изменению положения любых частей его тела и всего тела в пространстве, связанные с действием над указанным объектом.
Технически целесообразно выбор символа на изображении проводить путем указания на него и/или касания пальцем руки или произвольным предметом.
Не менее технически целесообразно выбор символа на изображении проводить путем направления на него взгляда.
Весьма удобно изображение символов для ввода в устройство создавать непосредственно на средстве отображения графической информации устройства.
При вводе информации в сложных условиях внешней среды целесообразно изображение символов для ввода в устройство создавать на окружающих предметах или в воздушном пространстве.
Для корректной работы целесообразно предварительно проводить этап обучения фиксации действий по выбору символа человеком, вводящим информацию в устройство.
Для способа управления также целесообразно, чтобы устройство предварительно обучалось действиям человека над объектом.
Для управления в сложных условиях внешней среды целесообразно изображение управляемого объекта создавать на окружающих предметах или в воздушном пространстве.
Для иллюстрации технической реализуемости предлагаемых способов предлагаются рассмотреть Фиг. 1-6.
Фигуры 2, 4 и 6 получены путем преобразования фигур 1, 3 и 5 соответственно, при этом преобразование имеет вид R[i]=~(N[i]AN[i+l]), где R[i] - i-я точка нового изображения i, N[i] - i-я точка предыдущего изображения, N[i+1] - i+1-я точка предыдущего изображения и где "Л" - понимается как побитовое суммирование по модулю 2, а "~" понимается как побитовое отрицание. В результате данного преобразования выделены контуры изображений. Для Фиг.1 при этом выделяется область изображения, на которую указывает палец, а также изображение карандаша, который также может использоваться для указания на часть изображения, для Фиг.З определен наклон лица и положение глаз и зрачков и удалены все лишние детали изображения (в частности, волосы), для Фиг. 5 выделено положения зрачка глаза для определения направления взгляда.
По сравнению с другими способами ввода и управления, известными авторам, данная система позволяет максимально эффективно реализовать з управление различными устройствами путем естественных человеческих жестов и бесконтактным путем в неблагоприятных условиях, исключающих или затрудняющих возможность использования клавиатур или контактных экранов. При этом повышается скорость ввода команд и данных и скорость управления в целом.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ ввода информации и управления устройством, снабженным по меньшей мере одним средством ввода изображений и по меньшей мере одним средством отображения графической информации, заключающийся в том, что при помощи средства отображения графической информации создают изображение символов для ввода в устройство и при помощи средства ввода изображений фиксируют действия по выбору символа человеком, вводящим информацию в устройство, после чего средствами устройства вводят в него выбранный символ или используют введенный символ для управления устройством.
2. Способ по п.1 , отличающийся тем, что выбор символа на изображении происходит путем указания на него и/или касания пальцем руки или произвольным предметом.
3. Способ по п.1 , отличающийся тем, что выбор символа на изображении происходит путем направления на него взгляда.
4. Способ по п.1 , отличающийся тем, что изображение символов для ввода в устройство создают непосредственно на средстве отображения графической информации устройства.
5. Способ по п.1 , отличающийся тем, что изображение символов для ввода в устройство создают на окружающих предметах или в воздушном пространстве.
6. Способ по п.1 , отличающийся тем, что предварительно проводят этап обучения фиксации действий по выбору символа человеком, вводящим информацию в устройство.
7. Способ управления, реализованный при помощи устройства, снабженными по меньшей мере одним средством ввода изображений и по меньшей мере одним средством отображения графической информации, заключающийся в том, что при помощи средства отображения графической информации создают реалистическое или схематическое изображение управляемого объекта, после чего при помощи средства ввода изображений фиксируют действия человека над указанным объектом, связанные с касанием им различных частей изображения, их передвижением или заранее зафиксированные в устройстве и известные человеку действия по изменению положения любых частей его тела и всего тела в пространстве, связанные с действием над указанным объектом.
8. Способ по п. 7, отличающийся тем, что устройство предварительно обучается действиям человека над объектом.
9. Способ по п. 7, отличающийся тем, что изображение управляемого объекта создают на окружающих предметах или в воздушном пространстве.
PCT/RU2013/000106 2013-02-13 2013-02-13 Способ ввода информации и управления устройством WO2014126491A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/RU2013/000106 WO2014126491A1 (ru) 2013-02-13 2013-02-13 Способ ввода информации и управления устройством

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2013/000106 WO2014126491A1 (ru) 2013-02-13 2013-02-13 Способ ввода информации и управления устройством

Publications (1)

Publication Number Publication Date
WO2014126491A1 true WO2014126491A1 (ru) 2014-08-21

Family

ID=51354394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2013/000106 WO2014126491A1 (ru) 2013-02-13 2013-02-13 Способ ввода информации и управления устройством

Country Status (1)

Country Link
WO (1) WO2014126491A1 (ru)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070283296A1 (en) * 2006-05-31 2007-12-06 Sony Ericsson Mobile Communications Ab Camera based control
US20090179853A1 (en) * 2006-09-27 2009-07-16 Marc Ivor John Beale Method of employing a gaze direction tracking system for control of a computer
EP2461592A2 (en) * 2010-12-01 2012-06-06 Sony Ericsson Mobile Communications AB A timing solution for projector camera devices and systems
WO2012115307A1 (en) * 2011-02-23 2012-08-30 Lg Innotek Co., Ltd. An apparatus and method for inputting command using gesture
US20120309535A1 (en) * 2011-05-31 2012-12-06 Microsoft Corporation Action selection gesturing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070283296A1 (en) * 2006-05-31 2007-12-06 Sony Ericsson Mobile Communications Ab Camera based control
US20090179853A1 (en) * 2006-09-27 2009-07-16 Marc Ivor John Beale Method of employing a gaze direction tracking system for control of a computer
EP2461592A2 (en) * 2010-12-01 2012-06-06 Sony Ericsson Mobile Communications AB A timing solution for projector camera devices and systems
WO2012115307A1 (en) * 2011-02-23 2012-08-30 Lg Innotek Co., Ltd. An apparatus and method for inputting command using gesture
US20120309535A1 (en) * 2011-05-31 2012-12-06 Microsoft Corporation Action selection gesturing

Similar Documents

Publication Publication Date Title
Lee et al. Towards augmented reality driven human-city interaction: Current research on mobile headsets and future challenges
Suarez et al. Hand gesture recognition with depth images: A review
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
Bieber et al. Ambient interaction by smart watches
CN114341779A (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
CN100458665C (zh) 基于眼跟踪控制计算机装置的装置、方法及计算机程序
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
CN104428732A (zh) 与近眼显示器的多模交互
CN104090659A (zh) 基于人眼图像和视线追踪的操作指针指示控制设备
CN112585564A (zh) 用于为头戴式图像显示设备提供输入的方法和装置
CN110442233A (zh) 一种基于手势交互的增强现实键鼠系统
CN107450717B (zh) 一种信息处理方法及穿戴式设备
Jais et al. A review on gesture recognition using Kinect
CN106681509A (zh) 界面操作的方法和系统
US20160098160A1 (en) Sensor-based input system for mobile devices
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
US20230200715A1 (en) Methods and Systems for Displaying Eye Images to Subjects and for Interacting with Virtual Objects
WO2014126491A1 (ru) Способ ввода информации и управления устройством
Dhamanskar et al. Human computer interaction using hand gestures and voice
Parthasarathy et al. Novel video benchmark dataset generation and real-time recognition of symbolic hand gestures in indian dance applying deep learning techniques
Meyer et al. Development of interaction concepts for touchless human-computer interaction with geographic information systems
Ravipati et al. Real-time gesture recognition and robot control through blob tracking
CN114115532B (zh) 一种基于显示内容的ar标注方法及系统
Tomar et al. Gesture-Controlled Home Automation for the Differently Abled: Enhanced Accessibility and Independence

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13874895

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2014140800

Country of ref document: RU

Kind code of ref document: A

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 20/10/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13874895

Country of ref document: EP

Kind code of ref document: A1