WO2019083406A1 - Способ изготовления перчатки виртуальной реальности (варианты) - Google Patents

Способ изготовления перчатки виртуальной реальности (варианты)

Info

Publication number
WO2019083406A1
WO2019083406A1 PCT/RU2018/000631 RU2018000631W WO2019083406A1 WO 2019083406 A1 WO2019083406 A1 WO 2019083406A1 RU 2018000631 W RU2018000631 W RU 2018000631W WO 2019083406 A1 WO2019083406 A1 WO 2019083406A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensors
imu
motherboard
finger
fingers
Prior art date
Application number
PCT/RU2018/000631
Other languages
English (en)
French (fr)
Inventor
Андрей Сергеевич КАМОЦКИЙ
Original Assignee
Федоров, Александр Владимирович
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федоров, Александр Владимирович filed Critical Федоров, Александр Владимирович
Publication of WO2019083406A1 publication Critical patent/WO2019083406A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Definitions

  • the invention relates to manipulators and can be used in the manufacture of virtual gloves, designed to work with interactive devices, computer robotics and computer.
  • the prior art discloses a solution KR100221335, which describes a system and method for transmitting the value of a sensor in a virtual reality system by a glove, which includes a number of sensors measuring the movements of the wrist and fingers and the output of an electrical signal; The multiplexer selects the number of sensor signals included in one of the sensor groups.
  • the purpose of the patent is fundamentally different from the stated solution.
  • the analogs describe exactly the high-speed data transfer between the sensors and the virtual reality system. In the claimed solution, the data transfer method is irrelevant.
  • CN1480822 describes a data entry device for people with
  • limited capabilities which is a glove that has many sensors that can detect finger movement, much faster than is usually required to press keys in a conventional keyboard;
  • the sensor contains a virtual key detector and a key decoder, both of which are individually calibrated.
  • the purpose of the glove and the detection method differ.
  • it is proposed to interact by touching certain sensors of the glove for people with limited abilities; the contacts will be transmitted to an external device.
  • Our stated decision determines precisely the movements and positions of the fingers and hands for transmission to an external device.
  • US6870526 describes a mouse glove with virtual cursor tracking, designed to control the movement of the cursor and provide the function of a computer mouse.
  • the glove presented is intended only for cursor control and mouse control.
  • Our solution can not only control the mouse cursor, but also determine the movement of all fingers and hand to create a digital 3D model of the hand in virtual space.
  • the device includes a glove that includes sensors for detecting hand gestures, as well as hand position sensors connected to the glove and connected to a computer system for
  • gestures are determined by means of external sensors installed, for example, on a computer monitor.
  • the solution EP2624238 describes a virtual mock-up with a tactile hand, which has simulated objects that are manipulated with the aid of hand wearable gloves during the operation of the simulator.
  • the finger on the glove contains 3D common motion detection tools integrated with at least one sensor for interaction tasks and one tactile component.
  • the analog is not specified as it is precisely the motion sensors used.
  • the difference between the declared utility model is the use of inertial sensors.
  • the closest analogue is a virtual glove according to patent US9060385, publ .: 06/16/2015.
  • the prototype describes a virtual reality glove containing sensors located on the fingers of the gloves and sensors of the position of the hands located on the phalanges of the fingers of the gloves, with the sensors connected to the microprocessor.
  • the disadvantage of the prototype and other known solutions is the following.
  • a tactile analyzer has a high capacity for spatial localization. Its characteristic feature is the rapid development of adaptation (acclimatization), i.e. loss of feeling of touch or pressure.
  • the adaptation time depends on the strength of the stimulus, for different parts of the body it varies from 2 to 20 seconds. Thanks to the adaptation, we do not feel the touch of clothes to the body. See [Ekzertseva Ekaterina Vadimovna, Topic 1.1. General issues of life safety, Russian State Technological University. KZ Tsiolkovsky (MATI), Lectures, http://www.studfiles.ru/preview/854779/page:6/]
  • the objective of the invention is to eliminate these problems.
  • the technical result of the invention is the ability to receive and transmit data on the position of fingers, hands, elbow and shoulder joints to the computer or other device, as well as to carry out tactile feedback by transmitting vibration to the fingers.
  • the technical result is a more accurate calculation of the position of the brush in space and giving an additional degree of freedom to the hand.
  • the technical result is the ability to fix the virtual model of the hand not in the elbow joint, but in the shoulder and with high accuracy to recognize and transfer to the computer or other device all possible hand movements, including in the horizontal plane.
  • a method of manufacturing a virtual reality glove is declared, using sensors that have gloves on the fingers, and the sensors are connected to the system a board, characterized in that sensors of the IMU are used as sensors, which place gloves on the fingers, with the index finger, middle finger, ring finger and little finger placing one sensor in the penultimate phalanx of the finger, on the outside of the palm; two sensors are placed on the thumb - on the first and second phalanx, from the outside; in addition, IMU sensors are installed on the hand; IMU-sensors with a cable connected to the motherboard; additionally, on the inside of the palm, on the penultimate phalanges of each finger, vibration motors are placed, which are fixed in the same way as IMU-sensors, and also connected to the system board with a cable; At least two photodiodes are placed on the motherboard, while the external case for the control module is made of a transparent material that transmits light, either entirely or only in those areas where the photo
  • Additional photodiode set next to the IMU-sensor on the wrist.
  • the additional photodiode is positioned together with the IMU sensor in the shoulder module.
  • Photodiodes register light signals sent by a pair of special external light emitters installed stationary, stationary and separately from the described controller (motherboard and a set of sensors in the form of a glove or other form) on either side of it.
  • the emitters are designed in such a way that they generate light pulses of a certain length, shape and direction, at certain time intervals. Light from the emitters is emitted both in the visible and in the infrared or ultraviolet.
  • a single emitter By means of a single emitter, a set of short pulses of light is generated, and then a narrow band is generated by a laser mounted on a rotary mechanism rotating in a horizontal plane, and by means of another emitter, in parallel, but at different time intervals, generate the same pulses, but in vertical - Arthur plane.
  • the data on time intervals, the sequence of light pulses, the shape and nature of the pulses, which are known from the parametric data of the emitters, are delivered with the external device received through the external device driver: the photodiode registration time of various light pulses, whereby their coordinates are calculated relative to the emitters in space, then these data are used to correct the absolute position of the arm in space calculated using IMU sensors, and eliminate the accumulated error .
  • the shoulder module is additionally secured with an IMU sensor, which is connected to the system board with a cable via the socket of the combined module or wirelessly.
  • a method of manufacturing a virtual reality glove is declared, using sensors that have gloves on the fingers, and the sensors are connected to the system board, characterized in that the sensors used are IMU sensors. on the fingers of the glove, and on the index, middle, ring fingers and little finger set one sensor in the region of the penultimate phalanx of the finger, on the outside of the palm; two sensors are placed on the thumb - on the first and second phalanx, from the outside; in addition, IMU sensors are installed on the hand; IMU-sensors with a cable connected to the motherboard; additionally, on the inside of the palm, on the penultimate phalanges of each finger, vibration motors are placed, which are fixed in the same way as IMU-sensors, and also connected to the system board with a cable; At least two light or infrared LEDs are placed on the motherboard, while the outer case for the control module is made of transparent material that transmits light, either in whole or only in those areas where the sensors used are IMU sensors. on the fingers of the glove,
  • At least two video cameras are used, from which the image from the cameras is accessed by an external control device; on the images generated from the cameras, they find the position of the LEDs and then, using the data on the relative positions of the cameras, the linear distance between the LEDs and the resulting size and distortion (rotation / compression) of the LED images, calculate the absolute position of the LEDs in space what this data is used for adjusting the absolute position of the hand in space, calculated using IMU-sensors, and eliminate the accumulated error.
  • Figure 1 shows an example of performing gloves using a sensor on the wrist and an IMU and without using photodiodes.
  • FIG. 2 shows an exemplary embodiment of a glove using photodiodes and a combined module located on the wrist, containing a photodiode and an IMU sensor.
  • FIG. 3 shows an exemplary embodiment of the glove without using photodiodes in a system board and a combined module located on the wrist containing a photodiode and an IMU sensor.
  • Figure 4 shows an example of connection to the glove of the shoulder module.
  • 1 - glove 2 - inertial sensor (sensor) IMU, combining accelerometer, gyroscope and magnetometer, 3 - vibration motor, designed to transmit vibration sensations, 4 - motherboard, 5 - battery, b - wires, 7 - a case that combines the motherboard and a battery, 8 - a photodiode, 9 - a combined module, 10 - a shoulder module, 11 - a connecting wire between the combined module and the shoulder module.
  • the claimed solution allows receiving and transmitting data on the position of fingers, hands, elbow and shoulder joints to a computer or other device, as well as carrying out tactile feedback by transmitting vibrations to fingers.
  • Gyroscopic / inertial sensors are mounted on fingers: on the index, middle, ring fingers and little finger one sensor is installed in the penultimate phalanx of the finger, on the outside of the palm; Two sensors are installed on the thumb - on the first and second phalanx, from the outside. Additionally, similar sensors are mounted on the hand, from the outside, and on the wrist, from the outside or inside of the palm.
  • Sensors can be fixed in these positions with a rag glove, when sewn into the required positions, either each sensor can be attached independently using a rag (or other material) ring (fastener) attached to the finger / hand / wrist, or in any other way to ensure that the sensor is stationary relative to the finger / hand / wrists respectively.
  • IMU-sensor can be used, for example: https://www.digikey.com/product-detail/en/invensense/MPU-6000/1428-1005-l-
  • the control module contains a microcontroller-based control electronics, a wireless radio module, and a battery.
  • a software driver is installed on a computer (or other device) that uses data from sensors (angular velocities and acceleration vectors) and converts them into quaternions of space rotation for the following joints: rotation (fold) of the last phalanx of the finger relative to the palm for the index finger, middle, ringless fingers and little finger, in a vertical plane relative to the palm; rotation of the index, middle, ring fingers and little finger in the horizontal plane (palm plane); twist / fold of the thumb relative to the palm in space; twist / fold of the hand (palm) relative to the elbow joint; rotation of the elbow joint relative to the shoulder joint.
  • the obtained data is then provided for access as an application program interface (API) and can be used by third-party software producers for any purpose.
  • API application program interface
  • a vibration motor is placed, which is mounted in the same way as using IMU sensors, and also connected via cable to the motherboard and mic rock controllers.
  • the application programming interface allows the vibration motor to be launched independently on each of the fingers, setting the required parameters of the pulse-width modulation (vibration frequency / intensity).
  • the command from the software interface is processed by the device driver and, via the radio channel, is transmitted to the microcontroller, which directly controls the vibration motor.
  • vibration can be controlled by third-party software manufacturers using the application programming interface (API).
  • API application programming interface
  • vibration motor for example:
  • IMU sensor gyroscopic / inertial sensor
  • the data from the sensor is transmitted to the microcontroller, and then through the radio channel to the software-driver, where they are used to calculate the rotation of the elbow joint relative to the shoulder joint, as well as the rotation of the elbow joint in the plane perpendicular to it. This allows you to more accurately calculate the position of the brush in space and give extra degrees of freedom to your arm.
  • two or more photodiodes reacting to flashes of light are placed on the control module.
  • the housing for the control module is made of a transparent material that transmits light, either entirely or only in those areas where the photodiodes are located.
  • Another photodiode is located next to the IMU-sensor on the wrist.
  • another photodiode is also located with the IMU sensor at the shoulder joint.
  • Photodiodes register light signals sent by a pair of special external light emitters installed stationary, stationary and separate from the controller being described (the motherboard and a set of sensors in the form of a glove or other form), on either side of it.
  • the emitters are programmed in a special way and generate light pulses of a certain length, shape and direction, at certain intervals.
  • Light can be emitted both in the visible and in the invisible (infrared, ultraviolet) ranges.
  • a radiator can generate a set of short pulses of light, and then generate a narrow strip with a laser mounted on a rotating mechanism rotating in a horizontal plane.
  • Another emitter can do the same in parallel (but at different time intervals), but in the vertical plane.
  • the time intervals, the sequence of light pulses, the shape and nature of the pulses are known in advance, these data are compared by the software driver with the photodiode registration time of various light pulses, thereby calculating their position relative to emitters, and thus absolute Photodiode position in space. These data are then used to correct the absolute position of the arm in space, calculated using IMU sensors, and to eliminate the accumulated error.
  • photodiode As a photodiode can be used, for example: https://www.digikey.com/product-detail/en/osram-opto-semiconductors-inc/BPW-34-S-
  • an external radiator can be used, for example:
  • An alternative method (the second implementation option) is to arrange light or infrared LEDs in the same positions instead of photodiodes and replace light emitters with two or more video cameras.
  • the software must have access to the image received from the cameras.
  • the software finds the position of the LEDs on the image and then, using the data on the relative position of the cameras, the linear distance between the LEDs and the resulting size and distortion (rotation / compression) of the LED image, calculates the absolute position of the LEDs in space.
  • the claimed solution can be used to animate 3D models of a human (or other) hand in computer programs, as a way of interacting with interfaces in virtual (VR - virtual reality) or augmented (AR - augmented reality) reality, as well as video games, simulators different types of activities and in any other tasks that require receiving, processing, storing or transmitting precise movements of hands in space.
  • VR - virtual reality virtual reality
  • AR - augmented reality augmented reality
  • the claimed solution can also be used in medicine, for patients with impaired motility of the hands for tracking movements of the hands and fingers and stimulating their activity.
  • Feedback using vibration motors can be used to simulate sensations touching virtual reality objects, when data on the position of hands and fingers are used to determine collisions with virtual objects and, if they are detected, feed the fingers of vibration to the corresponding contact area.
  • the degree of vibration may depend on the shape of the contact - the size of the intersection area, or on the characteristics of the virtual object.
  • Another possible scenario for the use of vibration is the confirmation of an event by interactions with virtual interfaces — for example, pressing a virtual button.
  • the claimed solution offers a new way of placing IMU sensors and, as a result, the high accuracy of the results obtained: the relative position of the sensors makes it possible to obtain the required angles between the fingers, hand, elbow and shoulder joints; secondly, such an arrangement of sensors and vibration motors makes it possible to release the last phalanx of fingers, which is convenient in practical application — the user can use touch screens, perform actions requiring fine motor movements of fingers, etc.
  • the advantage of using a combined approach is the high accuracy of measuring spatial displacement, even higher than any alternative methods, such as strain gages (bend sensors) or solutions based only on IMU sensors.
  • this approach completely lacks “blind zones”, even if there is no direct view between the LED (photodiode) and the camera (light emitter), the stated solution is all it will also allow you to accurately calculate the position of the arm in space.
  • the method can be implemented on the example of performing the glove in the following construction.
  • the glove (Fig. 1) (1) is made of the fabric inside which there are: IMU sensors (2), each of which contains an accelerometer, a gyroscope and a magnetometer, with four IMU sensors (2) located on the penultimate phalanges of the little finger, beza - Myanny, middle and index fingers, two IU sensors (2) are located on the first and second phalanges of the thumb, one sensor IU (2) is located on the system board.
  • the fingers of the gloves (1) also have vibration motors (3) fixed, one each on each finger, and on all fingers except the thumb, the vibration motors (3) are fixed on the penultimate phalanges of the fingers, and on the thumb a vibration motor ( 3) fixed on the last phalanx.
  • the motherboard (4) is fixed on the glove (1), where the computational module is located.
  • the Bluetooth wireless communication module for communication with a computer or other device via radio, is installed on the motherboard (4).
  • the motherboard (4) is fixed on top of the battery (5), which is fixed on the glove (1).
  • IMU sensors (2), vibration motors (3), battery (5) are connected to the system board (4) by means of wires (6).
  • the motherboard (4) and the battery (5) can be made in a single package (7) of translucent plastic.
  • Photodiodes (8) are also installed on the system board (4), connected to the combined module (9) containing the photodiode and the IMU sensor.
  • the photodiodes (8) can be mounted on the system board (4) at its edges equidistant. There may be four.
  • a module (9) with an IMU sensor and a light sensor is placed on the wrist of the glove (1).
  • An additional advantage of the virtual glove (1) is the use of an additional shoulder module (10), which is placed on the shoulder (biceps), and connected to the system board with the help of a wire (11) through the module (9), which is performed with a connecting connector (on drawings not shown).
  • An IMU sensor can be installed inside the shoulder module (10).
  • the shoulder module (10) can also be implemented in the wireless version and can be connected to the computation module via radio (Bluetooth or Wifi).
  • radio Bluetooth or Wifi
  • a battery and a radio module (not shown in the drawings) and the wire (11) are located in a single module with a sensor (10).
  • the shoulder module (10) can be optionally implemented not with the help of an IMU sensor, but with the help of one or several strain gauges (bend sensors).
  • a microcontroller is installed in the shoulder module (10), to which the resistance strain gages are connected, and through them aggregate the information and transmit it to the main computing module of the motherboard (4).

Abstract

Изобретение относится к способам изготовления перчатки виртуальной реальности. В заявленном решении в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца с внешней стороны ладони, на большой палец устанавливают два датчика - на первую и на вторую фалангу с внешней стороны, дополнительно IMU-сенсоры устанавливают на кисть руки, IMU-сенсоры с помощью кабеля подключают к системной плате, дополнительно на внутренней стороне ладони на предпоследней фалангах каждого пальца размещают вибрационные моторы, подключенные к системной плате. На системной плате размещают по меньшей мере два фотодиода или два светодиода (световых или инфракрасных), при этом внешний корпус для модуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках где расположены фотод иод ы/светод йоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор.

Description

СПОСОБ ИЗГОТОВЛЕНИЯ ПЕРЧАТКИ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ (ВАРИАНТЫ)
ОПИСАНИЕ
Изобретение относится к манипуляторам и может быть использовано при изготовлении виртуальных перчаток, предназначенных для работы с интерактивными устройствами, компьютерной робототехникой и компьютером.
Из уровня техники известно решение KR100221335, где описана система и способ пе- редачи перчаткой значение датчика в системе виртуальной реальности, включающая в себя ряд датчиков, измеряющих движения запястья и пальцев рук и вывода элек- трического сигнала; мультиплексор выбирает количество сигналов датчиков, включен- ных в одну из групп датчиков. Цель патента принципиально отличается от заявленного решения. В аналоги описана именно скоростная передача данных между датчиками и системой виртуальной реальности. В заявленном решении метод передачи данных не имеет никакого значения.
В патенте CN1480822 описано устройство для ввода данных для людей с
ограниченными возможностями, представляющее собой перчатку, имеющую множест- во датчиков, способных обнаруживать движение пальцев, значительно быстрее, чем обычно требуется для нажатия клавиш в обычной клавиатуре; датчик содержит де- тектор виртуальных клавиш и ключевой декодер, оба из которых по отдельности ка- либрованы. Отличается назначение перчатки и метод детекции. В аналоге предлагает- ся осуществлять взаимодействие путем прикосновений к определенным датчикам пер- чатки для людей с ограниченными способностями, прикосновения будут передавать на внешнее устройство. Заявленное нами решение определяет именно движения и поло- жения пальцев и руки для передачи на внешнее устройство.
В заявке US20150002401 описаны альтернативные перчатки на основе «ключа» для мо- бильных устройств, включающие в себя, по меньшей мере, одну пару перчаток, множе- ство датчиков, расположенных на первой стороне, по меньшей мере, два экрана, рас- положенных с каждой стороны перчатки. Задачей перчатки является ввод каких-то клю- чей для мобильных устройств. При этом перчатка не детектирует движение и положе- ния пальцев и руки, как это делает заявленное решение.
В патенте US6870526 описана перчатка мышь с виртуальным отслеживанием кур- сора, предназначенная для контроля перемещения курсора и обеспечения функции компьютерной мыши. Представленная перчатка предназначена только для управления курсором и ышки.
Заявленное нами решение может не только управлять курсором мышки, но и опреде- лять движение всех пальцев и руки для создания цифровой 3D модели руки в вирту- альном пространстве.
В патенте US7205979 описано устройство формирования управляющих сигналов для манипулирования виртуальными объектами в компьютерной системе в соответст- вии с жестами оператора или другими частями тела; устройство включает в себя пер- чатку, которая включает датчики для обнаружения жестов кисти руки, а также сенсоры положения рук, соединенные с перчаткой и подключенные к компьютерной системе для
определения положения руки по отношению к системе.
Отличается принципом определения жестов руки. В аналоге жесты определяются по средствам внешних датчиков установленных например на мониторе компьютера.
Заявленное нами решение использует встроенные прямо в перчатку инерционные дат- чики.
В решении ЕР2624238 описан виртуальный макет с тактильной рукой, имеющий смо- делированные объекты, которые манипулируются с помощью носимых на руках перчаток во время работы тренажера. В перчатке на пальцах расположены 3D об- щие средства обнаружения движения, интегрированные вместе с по меньшей мере одним датчиком задач взаимодействия и одним тактильным компонентом.
В аналоге не конкретизировано, как и именно датчики движений используются.
В заявленном решении конкретизировано использование инерционных датчиков с ак- селерометром и гироскопом.
В международной заявке WO98050839, описана система для управления данными на основе жестов, предназначенная для обработки компьютерной анимации в реаль- ном времени, таких как виртуальная реальность, и управляется на компьютере. Сис- тема включает в себя цифровую перчатку для управления данными на основе жестов рук оператора. Решение основано на использовании материалов, которые меняют своё сопротивление при сгибании.
Отличием заявленной полезной модели - использование инерционных датчиков.
В международной заявке WO2007129663 (опубл.: 15.11.2007), описано устройство ввода с использованием датчиков, установленных на палец. Пользователь надевает перчатки с пальцами, каждый из которых имеет датчик обнаружения движения и тактильный датчик для каждого из кончиков пальцев на обеих руках. Информация движения на каждом из кончиков пальцев передается на различные информацион- ные устройства, такие как персональный компьютер (ПК), карманный компьютер, и сотовый телефон, так что позиции соответствующих кончиков пальцев отображаются на виртуальной клавиатуре на дисплее одного из устройств обработки информации. В аналоге не конкретизировано, как и именно датчики движений используются.
В заявленном решении конкретизировано использование инерционных датчиков с ак- селерометром и гироскопом.
Наиболее близким аналогом является виртуальная перчатка по патенту US9060385, опубл.: 16.06.2015. В прототипе описана перчатка виртуальной реальности, содержащая датчики, расположенные на пальцах перчатки, и сенсоры положения рук, расположен- ные на фалангах пальцев перчатки, причем датчики подключены к микропроцессору. Недостатком прототипа и иных известных решений является следующее.
Как известно, тактильный анализатор обладает высокой способностью к пространст- венной локализации. Характерная его особенность - быстрое развитие адаптации (при- выкания), т.е. исчезновение чувства прикосновения или давления. Время адаптации за- висит от силы раздражителя, для различных участков тела оно колеблется от 2 до 20 секунд. Благодаря адаптации мы не чувствуем прикосновение одежды к телу. См. [Эк- зерцева Екатерина Вадимовна, Тема 1.1. Общие вопросы безопасности жизнедеятель- ности, Российский государственный технологический университет им. КЗ. Циолковско- го (МАТИ), Лекции, http://www.studfiles.ru/preview/854779/page:6/]
Аналогичные проблемы работы с виртуальными перчатками вызывают и известные аналоги, что снижает эффект восприятия у пользователя с течением определенного времени работы в них.
Недостатком использования IMU-сенсоров без дополнительного внешнего "трекинга" является проблема "дрифта" - накоплению погрешности гироскопиче- ских/инерциальных датчиков, существенному отклонению получаемых данных от ре- альных и, как следствие, невозможности точного абсолютного позиционирования.
Для решения этой проблемы приходится накладывать ограничения на получаемые данные, ограничивая тем самым подвижность "виртуальной руки" - рука фиксируется в локтевом суставе. Таким образом, все движения интерпретируются в рамках полусфе- ры, которую может описать кисть при зафиксированном локтевом суставе - движения руки в горизонтальной плоскости полностью игнорируются, что доставляет неудобства на практике.
Задачей изобретения является устранение указанных проблем.
Техническим результатом изобретения является возможность получать и передавать в компьютер или другое устройство данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы.
Также техническим результатом является более точное вычисление положения кисти в пространстве и придание дополнительной степени свободы руке.
Также техническим результатом является возможность фиксировать виртуальную мо- дель руки не в локтевом суставе, а в плечевом и с высокой точностью распознавать и передавать на компьютер или иное устройство всех возможных движений руки, в том числе и в горизонтальной плоскости.
Еще одним преимуществом перед другими известными устройствами, основанными только на внешнем трекинге, является возможность использования вне стационарно оборудованных помещений, что удобно при использовании решения вместе с мобиль- ными устройствами (смартфонами), или портативными решениями виртуальной и до- полненной реальностей.
Указанный технический результат по первому варианту достигается за счет того, что за- явлен способ изготовления перчатки виртуальной реальности, использующий датчики, которые располагают на пальцах перчатки, причем датчики подключают к системной плате, отличающийся тем, что в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны; дополнительно IMU-сенсоры устанав- ливают на кисть руки; IMU-сенсоры с помощью кабеля подключают к системной плате; дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате; на системную плату размещают по меньшей мере два фотодиода, при этом внешний корпус для мо- дуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды, а в сам внешний кор- пус для модуля управления встраивают системную плату и аккумулятор.
Дополнительный фотодиод устанавливают рядом с IMU-сенсором на запястье. Пред- почтительно, дополнительный фотодиод располагают вместе с IMU-сенсором в плече- вом модуле.
Посредством фотодиодов регистрируют световые сигналы, посылаемые парой специ- альных внешних световых излучателей, установленных стационарно, неподвижно и от- дельно от описываемого контроллера (системной платы и набора сенсоров в виде пер- чатки или другой форме), по разные стороны от него.
Излучатели выполняют таким образом, что они генерируют световые импульсы опре- деленной длины, формы и направления, через определенные промежутки времени. Свет от излучателей испускают как в видимом, так и в инфракрасный, либо ультрафио- летовом диапазонах.
Посредством одного излучателя генерируют набор коротких импульсов света, а затем генерируют узкую полосу лазером, установленном на поворотном механизме, вра- щающемся в горизонтальной плоскости, а посредством другого излучателя параллель- но, но в другие временные интервалы, генерируют такие же импульсы, но в вертикаль- ной плоскости.
Данные о временных интервалах, последовательности световых импульсов, формы и характера импульсов, которые известны по параметрическим данным излучателей, со- поставляют с полученными через драйвер внешнего устройства: временем регистрации фотодиодами различных импульсов света, посредством чего вычисляют их координаты относительно излучателей в пространстве, затем эти данные используют для корректи- ровки абсолютной позиции руки в пространстве, вычисленной с помощью IMU- сенсоров, и устраняют накопленную погрешность.
На плечевом суставе дополнительно закрепляют плечевой модуль с IMU-сенсором, ко- торый подсоединяют к системной плате с помощью кабеля через разъем совмещенного модуля, либо беспроводным способом.
Указанный технический результат по второму варианту достигается за счет того, что за- явлен способ изготовления перчатки виртуальной реальности, использующий датчики, которые располагают на пальцах перчатки, причем датчики подключают к системной плате, отличающийся тем, что в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны; дополнительно IMU-сенсоры устанав- ливают на кисть руки; IMU-сенсоры с помощью кабеля подключают к системной плате; дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате; на системную плату размещают по меньшей мере два световых или инфракрасных светодиода, при этом внешний корпус для модуля управления изготавливают из прозрачного материа- ла, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены све- тодиоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор.
Используют по меньшей мере две видеокамеры, от которых на внешнее устройство управления получают доступ к изображению с камер; на формируемых с камер изо- бражениях находят позицию светодиодов и затем, используя данные о взаимном рас- положений камер, о линейном расстоянии между светодиодами и о получившемся размере и искажении (повороте/сжатии) изображения светодиодов вычисляют абсо- лютную позицию светодиодов в пространстве, после чего эти данные используют для корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устраняют накопленную погрешность.
Краткое описание чертежей
На Фиг.1 показан пример выполнения перчатки с использованием на запястье и IMU сенсора и без использования фотодиодов.
На Фиг.2 показан пример выполнения перчатки с использованием фотодиодов и распо- ложенного на запястье совмещенного модуля, содержащего фотодиод и IMU сенсор. На Фиг.З показан пример выполнения перчатки без использования фотодиодов в сис- темной плате и расположенного на запястье совмещенного модуля, содержащего фо- тодиод и IMU сенсор.
На Фиг.4 показан пример подключения к перчатке плечевого модуля.
На чертежах: 1 - перчатка, 2 - инерционный датчик (сенсор) IMU, объединяющий в себе акселерометр, гироскоп и магнитометр, 3 - вибрационный мотор, предназначенный для передачи ощущений вибрации, 4 - системная плата, 5 - аккумулятор, б - провода, 7 - корпус, объединяющий системную плату и аккумулятор, 8 - фотодиод, 9 - совмещен- ный модуль, 10 - плечевой модуль, 11 - соединительный провод между совмещенным модулем и плечевым модулем.
Осуществление изобретения
Заявленное решение позволяет получать и передавать в компьютер или другое устрой- ство данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы.
Это достигается следующим образом.
На пальцы устанавливаются гироскопические/инерциальные датчики (IMU-сенсоры): на указательный, средний, безымянный пальцы и мизинец устанавливается по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливается два датчика - на первую и на вторую фалангу, с внеш- ней стороны. Дополнительно аналогичные датчики устанавливаются на кисть руки, с внешней стороны, и на запястье, с внешней или внутренней стороны ладони.
Датчики могут быть закреплены в данных позициях с помощью тряпичной перчатки, будучи вшитыми в необходимых позициях, либо каждый датчик может быть закреплен независимо с помощью тряпичного (или из другого материала) кольца (крепления), на- деваемого на палец/кисть/запястье, либо любым другим способом, обеспечивающим неподвижность датчика относительно пальца/кисти/запястья соответственно.
В качестве IMU-сенсора может использоваться, например: https://www.digikey.com/product-detail/en/invensense/MPU-6000/1428-1005-l-
ND/4038006
Датчики с помощью кабеля подключаются к модулю управления, расположенному на внешней стороне ладони в пластиковом корпусе. Модуль управления содержит элек- тронику управления на основе микроконтроллера, радиомодуль беспроводной связи, аккумулятор.
Датчики постоянно собирают данные о движении и передают их микроконтроллеру, который по радиоканалу передает эти данные на компьютер или другое устройство. На компьютере (или другом устройстве) установлено программное обеспечение- драйвер, которое использует данные с датчиков (угловые скорости и векторы ускоре- ния) и преобразует их в кватернионы поворота пространства для следующих суставов: поворот(сгиб) последней фаланги пальца относительно ладони для указательного, среднего, безымянного пальцев и мизинца, в вертикальной плоскости относительно ладони; поворот указательного, среднего, безымянного пальцев и мизинца в горизон- тальной плоскости (плоскости ладони); поворот/сгиб большого пальца относительно ладони в пространстве; поворот/сгиб кисти(ладони) относительно локтевого сустава; поворот локтевого сустава относительно плечевого сустава.
Затем из полученных углов, с помощью алгоритмов инверсной кинематики (данных о связях суставов и их линейных размерах) вычисляются повороты всех остальных суста- вов и относительное положение всех суставов кисти руки.
Полученные данные затем предоставляются для доступа в виде программного интер- фейса приложения (API) и могут быть использованы сторонними производителями про- граммного обеспечения в любых целях.
Дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещается вибрационный мотор, который крепится аналогичным IMU- сенсорам способом, и также с помощью кабеля подключается к системной плате и мик- роконтроллеру.
Программный интерфейс приложения (API) позволяет запускать вибрационный мотор независимо на каждом из пальцев, задавая необходимые параметры широтно- импульсной модуляции (частоту/интенсивность вибрации).
Команда от программного интерфейса обрабатывается драйвером устройства и, через радиоканал, передается на микроконтроллер, который управляет непосредственно вибрационным мотором.
Таким образом, вибрация может контролироваться сторонними производителями про- граммного обеспечения с помощью программного интерфейса приложения (API).
В качестве вибрационного мотора может использоваться, например:
https://ru.aliexpress.com/item/50pcs-DC3V-0820-8-2-0mm-Mobile-phone-micro-flat- vibration-motor-Coin-motor-Mini-vibrator/32783671636.html
Недостатком использования IMU-сенсоров без дополнительного внешнего "трекинга" (трекинг - определение местоположения движущихся объектов во времени с помощью камеры) является проблема "дрифта" - накоплению погрешности гироскопиче- ских/инерциальных датчиков, существенному отклонению получаемых данных от ре- альных и, как следствие, невозможности точного абсолютного позиционирования.
Для решения этой проблемы приходится накладывать ограничения на получаемые данные, ограничивая тем самым подвижность "виртуальной руки" - рука фиксируется в локтевом суставе. Таким образом, все движения интерпретируются в рамках полусфе- ры, которую может описать кисть при зафиксированном локтевом суставе - движения руки в горизонтальной плоскости полностью игнорируются, что доставляет неудобства на практике.
По причине чего на плечевом суставе дополнительно может быть закреплен еще один гироскопический/инерциальный датчик (IMU-сенсор), например, внутри плечевого мо- дуля (10) (Фиг.4) и подсоединен к системной плате (4) с помощью кабеля (11) через разъем совмещенного модуля (9).
Данные с датчика, передаются на микроконтроллер, и далее через радиоканал - в про- граммное обеспечение-драйвер, где они используются для вычисления поворота лок- тевого сустава относительно плечевого, а также вращения локтевого сустава в перпен- дикулярной ему плоскости. Это позволяет более точно вычислять положение кисти в пространстве и придать дополнительные степени свободы руке.
Благодаря такому подходу, можно зафиксировать виртуальную модель руки не в локте- вом суставе, а в плечевом и с высокой точностью распознавать и передавать на компь- ютер (или иное устройство) все возможные движения руки, в том числе и в горизон- тальной плоскости.
Для полного решения проблемы накапливаемой погрешности в вычисленной абсолют- ной позиции датчиков допустимо добавить поддержку внешнего "трекинга".
Для этого (по первому варианту) на модуль управления размещаются два или более фотодиодов, реагирующие на вспышки света. При этом корпус для модуля управления изготавливается из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды. Еще один фотодиод располагается рядом с IMU-сенсором на запястье. Опционально еще один фотодиод также располага- ется вместе с IMU-сенсором на плечевом суставе.
Фотодиоды регистрируют световые сигналы, посылаемые парой специальных внешних свето-излучателей, установленных стационарно, неподвижно и отдельно от описывае- мого контроллера (системной платы и набора сенсоров в виде перчатки или другой форме), по разные стороны от него.
Излучатели запрограммированы особым образом и генерируют световые импульсы определенной длины, формы и направления, через определенные промежутки време- ни.
Свет может излучаться как в видимом, так и в невидимых (инфракрасный, ультрафиоле- товый) диапазонах.
Например, излучатель может генерировать набор коротких импульсов света, а затем генерировать узкую полосу лазером, установленном на поворотном механизме, вра- щающемся в горизонтальной плоскости. Другой излучатель может параллельно (но в другие временные интервалы) делать тоже самое, но в вертикальной плоскости.
Временные интервалы, последовательность световых импульсов, форму и характер им- пульсов (например форму пучка света лазера и скорость поворотного механизма) из- вестны заранее, эти данные сопоставляются программным обеспечением-драйвером со временем регистрации фотодиодами различных импульсов света, благодаря чему вычисляется их позиция относительно излучателей, и таким образом - абсолютная по- зиция фотодиодов в пространстве. Затем эти данные используются для корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устранения накопленной погрешности.
В качестве фотодиода может использоваться, например: https://www.digikey.com/product-detail/en/osram-opto-semiconductors-inc/BPW-34-S-
Z/475-2659-1-ND/1893861
В качестве внешнего излучателя может использоваться, например:
https://www.microsoftstore.com/store/msusa/en_US/pdp/HTC-Vive-Base-
Station/productlD.5073718900
Альтернативным способом (вторым вариантом реализации) является расположение в тех же позициях световых или инфракрасных светодиодов вместо фотодиодов и замена световых излучателей на две или более видеокамеры. В этом случае, программное обеспечение должно иметь доступ к изображению, получаемому с камер.
Программное обеспечение находит на изображении позицию светодиодов и затем, ис- пользуя данные о взаимном расположении камер, о линейном расстоянии между све- тодиодами и о получившемся размере и искажении(повороте/сжатии) изображения светодиодов вычисляет абсолютную позицию светодиодов в пространстве.
Затем эти данные используются для корректировки абсолютной позиции руки в про- странстве, вычисленную с помощью IMU-сенсоров, и устранения накопленной погреш- ности.
Заявленное решение может использоваться для анимации 3D моделей человеческой (или иной) руки в компьютерных программах, как способ взаимодействия с интерфей- сами в виртуальной (VR - virtual reality) или дополненной (AR - augmented reality) реаль- ностях, а также видеоиграх, симуляторах различных видов деятельности и в любых дру- гих задачах, где требуется получение, обработка, хранение или передача точных дви- жений рук в пространстве.
Например, заявленное решение также может применяться в медицине, для пациентов с нарушениями моторики рук для отслеживания движений кистей и пальцев рук и сти- мулирования их активности.
Обратная связь с помощью вибромоторов может применяться для имитации ощущений прикосновения к предметам в виртуальной реальности, когда данные о положении ру- ки и пальцев используются для определения коллизий с виртуальными предметами и, в случае их обнаружения, подавать на соответствующие месту контакта пальцы вибра- ции. При этом степень вибрации может зависеть от формы контакта - размера области пересечения, или от характеристик виртуального предмета. Другой возможный сцена- рий использования вибрации - подтверждение события взаимодействиями с виртуаль- ными интерфейсами - например, нажатие на виртуальную кнопку.
Заявленное решение предлагает новый способ размещения IMU-сенсоров и, как след- ствие, высокую точность получаемых результатов: взаимное расположение датчиков позволяет получить необходимые углы, между пальцами, кистью, локтевым и плече- вым суставами; во вторую очередь такое расположение сенсоров и вибрационных мо- торов позволяет освободить последнюю фалангу пальцев, что удобно в практическом применении - пользователь может пользоваться сенсорными экранами, производить действия требующие мелкой моторики пальцев и т.п.
Преимуществом использования комбинированного подхода (применение IMU- сенсоров и внешнего трекинга в одной технологии) является высокая точность измере- ния пространственного перемещения, еще более высокая, чем любые альтернативные методы, такие как тензорезисторы (датчики сгиба) или решения основанные только на IMU-сенсорах. Кроме того, в отличии от методов, основанных на внешнем оптическом или другом внешнем трекинге у данного подхода полностью отсутствуют "слепые зо- ны", даже если между светодиодом (фотодиодом) и камерой (свето-излучателем) не будет прямого обзора, заявленное решение все равно позволит достаточно точно вы- числить позицию руки в пространстве.
Еще одним преимуществом перед другими известными устройствами, основанными только на внешнем трекинге, является возможность использования вне стационарно оборудованных помещений, что удобно при использовании решения вместе с мобиль- ными устройствами (смартфонами), или портативными решениями виртуальной и до- полненной реальностей.
Способ может быть реализован на примере выполнения перчатки в следующей конст- рукции. Перчатка (Фиг.1) (1) выполняется из ткани, внутри которой расположены: IMU сенсоры (2), каждый из которых содержит в себе акселерометр, гироскоп и магнитометр, при этом четыре IMU сенсора (2) расположены на предпоследних фалангах мизинца, безы- мянного, среднего и указательного пальцев, два I U сенсора (2) расположены на пер- вой и второй фалангах большого пальца, один сенсор I U (2) расположен на системной плате.
На пальцах перчатки (1) также закреплены вибрационные моторы (3), по одному на ка- ждом пальце, причем на всех пальцах, кроме большого, вибрационные моторы (3) за- креплены на предпоследних фалангах пальцев, а на большом пальце вибрационный мотор (3) закреплен на последней фаланге.
На перчатке (1) закреплены системная плата (4), где расположен вычислительный мо- дуль.
При этом модуль беспроводной связи Bluetooth, для связи с компьютером или иным устройством по радиоканалу, установлен на системной плате (4).
Системная плата (4) закреплена поверх аккумулятора (5), который закреплен на перчат- ке (1).
Сенсоры IMU (2), вибромоторы (3), аккумулятор (5) подключены к системной плате (4) посредством проводов (6).
При необходимости, системная плата (4) и аккумулятор (5) могут быть выполнены в едином корпусе (7) из светопроницаемого пластика.
На системной плате (4) также установлены фотодиоды (8), подключенные к совмещен- ному модулю (9), содержащему фотодиод и IMU сенсор.
Предпочтительно, фотодиоды (8) могут быть установлены на системной плате (4) по ее краям равноудалено. Их может быть четыре.
Модуль (9) с IMU сенсором и световым датчиком располагают на запястье перчатки (1).
Дополнительным преимуществом виртуальной перчатки (1) является использование дополнительного плечевого модуля (10), который располагают на плече (бицепсе), и подключают к системной плате с помощью провода (11) через модуль (9), который вы- полняют содержащим соединительный коннектор (на чертежах не показан).
Внутри плечевого модуля (10) может быть установлен IMU-сенсор.
Данное взаимное расположение IMU сенсоров с использованием сенсора, закреплен- ного в плечевом модуле (10), позволяет эффективно бороться с проблемой "дрифта" данных о положении пальцев и кисти рук в пространстве и более эффективно отслежи- вать движения плечевого сустава. В отличии от систем с внешним трекингом (основан- ным на фотодиодах или светодиодах и внешних камерах), данное решение может быть использовано без каких либо внешних устройств, что удобно для работы с мобильными устройствами (смартфонами).
Плечевой модуль (10) может быть так же реализован в беспроводном варианте, и под- ключаться к вычислительному модулю по радиоканалу (Bluetooth или Wifi). В этом слу- чае в едином модуле с датчиком (10) располагают аккумулятор и радиомодуль (на чер- тежах не показаны) и провод (11) не используют.
Также плечевой модуль (10) может быть опционально реализован не с помощью IMU- сенсора, а с помощью одного или нескольких тензорезисторов (датчиков сгиба). В этом случае в плечевом модуле (10) устанавливается микроконтроллер, к которому подклю- чают тензорезисторы, и через них агрегируют информацию и передают ее на основной вычислительный модуль системной платы (4).

Claims

ФОРМУЛА
1. Способ изготовления перчатки виртуальной реальности, использующий датчики, которые располагают на пальцах перчатки, причем датчики подключают к системной плате, отличающийся тем, что в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны; дополнительно IMU-сенсоры устанав- ливают на кисть руки; IMU-сенсоры с помощью кабеля подключают к системной плате; дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате; на системную плату размещают по меньшей мере два фотодиода, при этом внешний корпус для мо- дуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды, а в сам внешний кор- пус для модуля управления встраивают системную плату и аккумулятор.
2. Способ по п.1, отличающийся тем, что дополнительный фотодиод устанавливают рядом с IMU-сенсором на запястье.
3. Способ по п.2, отличающийся тем, что дополнительный фотодиод располагают вместе с IMU-сенсором в плечевом модуле.
4. Способ по п.1, отличающийся тем, что посредством фотодиодов регистрируют световые сигналы, посылаемые парой специальных внешних световых излучателей, ус- тановленных стационарно, неподвижно и отдельно от описываемого контроллера, по разные стороны от него.
5. Способ по п.4, отличающийся тем, что излучатели выполняют таким образом, что они генерируют световые импульсы определенной длины, формы и направления, через определенные промежутки времени.
6. Способ по п.4, отличающийся тем, что свет от излучателей испускают как в види- мом, так и в инфракрасный, либо ультрафиолетовом диапазонах.
7. Способ по п.4, отличающийся тем, что посредством одного излучателя генери- руют набор коротких импульсов света, а затем генерируют узкую полосу лазером, уста- новленном на поворотном механизме, вращающемся в горизонтальной плоскости, а посредством другого излучателя параллельно, но в другие временные интервалы, ге- нерируют такие же импульсы, но в вертикальной плоскости.
8. Способ по п.7, отличающийся тем, что данные о временных интервалах, после- довательности световых импульсов, формы и характера импульсов, которые известны по параметрическим данным излучателей, сопоставляют с полученными через драйвер внешнего устройства: временем регистрации фотодиодами различных импульсов света, посредством чего вычисляют их координаты относительно излучателей в пространстве, затем эти данные используют для корректировки абсолютной позиции руки в простран- стве, вычисленной с помощью IMU-сенсоров, и устраняют накопленную погрешность.
9. Способ по п.1, отличающийся тем, что на плечевом суставе дополнительно за- крепляют плечевой модуль с IMU-сенсором, который подсоединяют к системной плате с помощью кабеля через разъем совмещенного модуля, либо беспроводным способом.
10. Способ изготовления перчатки виртуальной реальности, использующий датчики, которые располагают на пальцах перчатки, причем датчики подключают к системной плате, отличающийся тем, что в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны; дополнительно IMU-сенсоры устанав- ливают на кисть руки; IMU-сенсоры с помощью кабеля подключают к системной плате; дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате; на системную плату размещают по меньшей мере два световых или инфракрасных светодиода, при этом внешний корпус для модуля управления изготавливают из прозрачного материа- ла, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены све- тодиоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор.
11. Способ по п.10, отличающийся тем, что используют по меньшей мере две видео- камеры, от которых на внешнее устройство управления получают доступ к изображе- нию с камер; на формируемых с камер изображениях находят позицию светодиодов и затем, используя данные о взаимном расположении камер, о линейном расстоянии между светодиодами и о получившемся размере и искажении (повороте/сжатии) изо- бражения светодиодов вычисляют абсолютную позицию светодиодов в пространстве, после чего эти данные используют для корректировки абсолютной позиции руки в про- странстве, вычисленную с помощью IMU-сенсоров, и устраняют накопленную погреш- ность.
PCT/RU2018/000631 2017-10-27 2018-09-28 Способ изготовления перчатки виртуальной реальности (варианты) WO2019083406A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2017137724A RU2670649C9 (ru) 2017-10-27 2017-10-27 Способ изготовления перчатки виртуальной реальности (варианты)
RU2017137724 2017-10-27

Publications (1)

Publication Number Publication Date
WO2019083406A1 true WO2019083406A1 (ru) 2019-05-02

Family

ID=63923364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2018/000631 WO2019083406A1 (ru) 2017-10-27 2018-09-28 Способ изготовления перчатки виртуальной реальности (варианты)

Country Status (2)

Country Link
RU (1) RU2670649C9 (ru)
WO (1) WO2019083406A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113370272A (zh) * 2021-05-27 2021-09-10 西安交通大学 一种多段连续体机器人的位姿监测系统及方法
CN113467599A (zh) * 2020-03-31 2021-10-01 北京海益同展信息科技有限公司 手指与手掌间屈伸自由度解算方法、装置及数据手套

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111722698A (zh) * 2019-03-18 2020-09-29 深圳市掌网科技股份有限公司 一种力反馈虚拟现实手柄

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010085476A1 (en) * 2009-01-20 2010-07-29 Northeastern University Multi-user smartglove for virtual environment-based rehabilitation
US20140098018A1 (en) * 2012-10-04 2014-04-10 Microsoft Corporation Wearable sensor for tracking articulated body-parts
WO2016097841A2 (en) * 2014-12-16 2016-06-23 Quan Xiao Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011114535A1 (de) * 2011-09-29 2013-04-04 Eads Deutschland Gmbh Datenhandschuh mit taktiler Rückinformation und Verfahren
FR3022358A1 (fr) * 2014-06-12 2015-12-18 Terabee Sas Systeme de reperage dynamique et procede de guidage automatique
WO2016040879A1 (en) * 2014-09-12 2016-03-17 The Board Of Trustees Of The Leland Stanford Junior University Physical examination method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010085476A1 (en) * 2009-01-20 2010-07-29 Northeastern University Multi-user smartglove for virtual environment-based rehabilitation
US20140098018A1 (en) * 2012-10-04 2014-04-10 Microsoft Corporation Wearable sensor for tracking articulated body-parts
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
WO2016097841A2 (en) * 2014-12-16 2016-06-23 Quan Xiao Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467599A (zh) * 2020-03-31 2021-10-01 北京海益同展信息科技有限公司 手指与手掌间屈伸自由度解算方法、装置及数据手套
CN113370272A (zh) * 2021-05-27 2021-09-10 西安交通大学 一种多段连续体机器人的位姿监测系统及方法

Also Published As

Publication number Publication date
RU2670649C9 (ru) 2018-12-11
RU2670649C1 (ru) 2018-10-24

Similar Documents

Publication Publication Date Title
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
RU187548U1 (ru) Перчатка виртуальной реальности
RU179301U1 (ru) Перчатка виртуальной реальности
US9958942B2 (en) Data input device
US20100090949A1 (en) Method and Apparatus for Input Device
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
WO2019083406A1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
JP7428436B2 (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
Kao et al. Novel digital glove design for virtual reality applications
RU176318U1 (ru) Перчатка виртуальной реальности
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
RU186397U1 (ru) Перчатка виртуальной реальности
WO2019083405A1 (ru) Перчатка виртуальной реальности
JP6932267B2 (ja) コントローラ装置
RU176660U1 (ru) Перчатка виртуальной реальности
CN115674167A (zh) 结合手臂与腰部控制格斗机器人的可穿戴设备
WO2014171909A1 (ru) Устройство управления при помощи жестов
CN204288119U (zh) 一种应用图形软件技术实现的操控系统
CN117572965A (zh) 一种用于虚拟现实系统的多信息体感交互手套系统
KR20200074636A (ko) 한 쌍으로 동작하는 팔찌형 손동작 모션인식 장치 및 인식방법
KR20160101598A (ko) 수지타법입력장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18871423

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18871423

Country of ref document: EP

Kind code of ref document: A1