PL245298B3

PL245298B3 - Human body mounted controller and method of controlling devices using such a controller

Info

Publication number: PL245298B3
Application number: PL430730A
Authority: PL
Inventors: Krzysztof Wróblewski
Original assignee: Matrix Dynamix Spolka Z Ograniczona Odpowiedzialnoscia
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2024-06-24
Also published as: PL430730A3

Abstract

Kontroler zawierający uchwyt na wykorzystywane w nim urządzenie komputerowe wyposażone co najmniej w akcelerometr, żyroskop elektroniczny, kamerę, panel dotykowy oraz nadajnik i odbiornik radiowy. Kontroler ma uprząż do montowania na obwodzie ręki połączoną w swojej części odpowiadającej powierzchni dłoniowej ręki z uchwytem na urządzenie komputerowe mającym odkrytą część odpowiadającą przynajmniej części panelu dotykowego urządzenia komputerowego, od strony odpowiadającej powierzchni dłoniowej ręki w obszarze palców. Uprząż ma w swojej części odpowiadającej powierzchni dłoniowej ręki zamontowany moduł żyroskopowy (19) zawierający co najmniej jeden żyroskop mechaniczny napędzany silnikiem elektrycznym. Sposób według zgłoszenia charakteryzuje się tym, że w pierwszym etapie uprząż kontrolera mocuje się na ręce, a urządzenie komputerowe wyposażone co najmniej w następujące czujniki: akcelerometr, żyroskop elektroniczny, kamerę, panel dotykowy, a także nadajnik radiowy, montuje się w uchwycie kontrolera panelem dotykowym zwróconym w kierunku palców i łączy się go radiowo z odbiornikiem radiowym sterowanego urządzenia, po czym w drugim etapie porusza się kontrolerem oraz dotyka się palcami panel dotykowy, a z wykorzystaniem czujników urządzenia komputerowego ustala się zmianę położenia kontrolera w przestrzeni względem punktu początkowego oraz bezprzewodowo przesyła się informację o zmianie położenia kontrolera oraz dotknięciach panelu dotykowego urządzenia komputerowego do odbiornika sterowanego urządzenia i na podstawie tej informacji steruje się tym urządzeniem, ponadto w etapie drugim wprowadza się w ruch obrotowy wirnik co najmniej jednego żyroskopu mechanicznego.A controller containing a holder for a computer device used therein, equipped with at least an accelerometer, an electronic gyroscope, a camera, a touch panel and a radio transmitter and receiver. The controller has a circumferential hand harness connected at a portion corresponding to the palmar surface of the hand to a computer device holder having an exposed portion corresponding to at least a portion of the touch panel of the computing device on a side corresponding to the palmar surface of the hand at the finger region. The harness has a gyroscopic module (19) installed in its part corresponding to the palm of the hand, containing at least one mechanical gyroscope driven by an electric motor. The method according to the application is characterized in that, in the first stage, the controller harness is attached to the hand, and the computer device equipped with at least the following sensors: accelerometer, electronic gyroscope, camera, touch panel, and radio transmitter is mounted in the controller's handle with the touch panel. facing the fingers and is connected by radio to the radio receiver of the controlled device, then in the second stage the controller is moved and the touch panel is touched with the fingers, and using the sensors of the computer device, the change in the controller's position in space relative to the starting point is determined and the information is wirelessly transmitted about the change in the position of the controller and touches of the touch panel of the computer device to the receiver of the controlled device and on the basis of this information the device is controlled; moreover, in the second stage, the rotor of at least one mechanical gyroscope is set into rotation.

Description

Opis wynalazkuDescription of the invention

Przedmiotem wynalazku jest kontroler mocowany na ręce mający zastosowanie do sterowania urządzeniami wyposażonymi w odbiornik radiowy, zwłaszcza w systemach rzeczywistości wirtualnej, mieszanej lub rozszerzonej, a także dronami i robotami.The subject of the invention is a hand-mounted controller used to control devices equipped with a radio receiver, especially in virtual, mixed or augmented reality systems, as well as drones and robots.

Z amerykańskiego opisu patentowego US 8267786 B2 znany jest kontroler gier, składający się z dwóch jednostek sterujących. Jednostki wyposażone są w żyroskop elektroniczny oraz akcelerometr i generują trzy grupy danych operacyjnych. Kontroler wyposażony jest w fizyczne klawisze oraz joystick. Jednostki kontrolera połączone są ze sobą kablem i łączą się z komputerem bezprzewodowo.A game controller consisting of two control units is known from the American patent description US 8267786 B2. The units are equipped with an electronic gyroscope and an accelerometer and generate three groups of operational data. The controller is equipped with physical keys and a joystick. The controller units are connected to each other by a cable and connect to the computer wirelessly.

Z amerykańskiego opisu patentowego US 9041622 B2 znany jest sposób sterowania wirtualnymi obiektami z wykorzystaniem kontrolera, w którym dane wejściowe zbierane są z kontrolera. Dane wejściowe obejmujące żądanie wykonania określonych czynności przez obiekt wirtualny są wdrażane w rozszerzonej rzeczywistości w zależności od perspektywy użytkownika, podobnie jak akcje wykonywane przez sterowany obiekt wyświetlane są z uwzględnieniem perspektywy użytkownika. Wirtualny obiekt kontrolowany za pomocą fizycznego kontrolera może być identyfikowany na podstawie danych wejściowych zbieranych z naturalnego interfejsu użytkownika. Kontroler wyposażony jest w mechanizm siłowego sprzężenia zwrotnego.A method of controlling virtual objects using a controller is known from the American patent description US 9041622 B2, in which input data is collected from the controller. Input data including a request to perform specific actions by a virtual object is implemented in augmented reality depending on the user's perspective, just as actions performed by the controlled object are displayed taking into account the user's perspective. A virtual object controlled by a physical controller can be identified based on input collected from the natural user interface. The controller is equipped with a force feedback mechanism.

Z amerykańskiego opisu wynalazku US 20130342572 A1 znany jest system sterowania wyświetlanych treści w środowiskach wirtualnych. Użytkownik może wchodzić w integracje z wyświetlanymi treściami za pomocą predefiniowanych gestów. System zawiera urządzenie wyświetlające, takie jak przykładowo gogle wirtualnej rzeczywistości, oraz połączony z nim operacyjnie komputer.From the American description of the invention US 20130342572 A1, a system for controlling displayed content in virtual environments is known. The user can integrate with the displayed content using predefined gestures. The system includes a display device, such as a virtual reality headset, and a computer operatively connected thereto.

Z amerykańskiego opisu patentowego US 7683883 B2 znane jest urządzenie sterujące do używania w systemach komputerowych do określania położenia na wyświetlaczu za pomocą współrzędnych promieniowych, współrzędnych cylindrycznych lub współrzędnych sferycznych. Urządzenie zawiera ergonomiczną obudowę umożliwiająca jego trzymanie w ręce, przyciski oraz akcelerometr. Urządzenie pozwala na interakcje ze środowiskiem 3D wyświetlanym na ekranie komputera.US Patent No. 7,683,883 B2 discloses a control device for use in computer systems to determine a position on a display using radial coordinates, cylindrical coordinates or spherical coordinates. The device includes an ergonomic housing that allows you to hold it in your hand, buttons and an accelerometer. The device allows you to interact with the 3D environment displayed on the computer screen.

Z amerykańskiego opisu wynalazku US 20110221672 A1 znany jest mocowany do ręki kontroler dedykowany do zastosowania z okularami rzeczywistości rozszerzonej. Kontroler zawiera element sterujący, który po wzbudzeniu palcem ręki użytkownika generuje polecenie sterujące.The American description of the invention US 20110221672 A1 describes a hand-held controller dedicated to use with augmented reality glasses. The controller contains a control element that, when activated by the user's finger, generates a control command.

Ze stanu techniki znane są żyroskopy CMG - z angielskiego Control Moment Gyros - stosowane w satelitach dla zapewnienia punktu odniesienia i przeciwwagi przy manewrowaniu we wszystkich kierunkach. Takie żyroskopy mają wirniki o stosunkowo wysokiej wadze. Znane jest również wykorzystanie podobnych żyroskopów w urządzeniach przeznaczonych do ćwiczeń takich jak przykładowo znane z amerykańskiego opisu patentowego US 10252151 B2, które zawiera jeden żyroskop CMG, czujnik ruchu do wykrywania ruchu urządzenia, co najmniej jeden silnik elektryczny do napędzania wirnika żyroskopu, a także co najmniej jeden silnik elektryczny do zapewnienia obrotu przegubu żyroskopu.CMG gyroscopes - Control Moment Gyros - are known from the state of the art and are used in satellites to provide a reference point and counterweight when maneuvering in all directions. Such gyroscopes have relatively high weight rotors. It is also known to use similar gyroscopes in devices intended for exercise, such as those known from US patent US 10252151 B2, which include one CMG gyroscope, a motion sensor for detecting the movement of the device, at least one electric motor for driving the gyroscope rotor, and at least one electric motor to provide rotation of the gyroscope joint.

Ponadto z międzynarodowego opisu zgłoszeniowego WO 2016195503 znany jest ręczny kontroler przeznaczony do interakcji z fizycznymi ruchomymi obiektami oraz graficznymi interfejsami użytkownika, wyposażony w moduł żyroskopowy zawierające co najmniej jeden żyroskop mechaniczny, którego wirnik jest podłączony do silnika elektrycznego. Rozwiązanie to umożliwia symulowanie ruchu w zależności od aktywności wykonywanych przez obiekty przedstawione graficznie na ekranie, co daje użytkownikowi trójwymiarowe fizyczne sprzężenie zwrotne będące rezultatem aktywności obiektów przedstawionych graficznie na ekranie komputera lub sterowanych obiektów zewnętrznych. Korzystanie z urządzenia wymaga używania dwóch kończyn górnych. Ponadto ze względu na jego gabaryty dłuższe korzystanie z urządzenia może być utrudnione.Moreover, from the international application WO 2016195503 there is known a hand-held controller intended for interaction with physical moving objects and graphical user interfaces, equipped with a gyroscopic module containing at least one mechanical gyroscope, the rotor of which is connected to an electric motor. This solution allows you to simulate movement depending on the activities performed by objects graphically presented on the screen, which gives the user three-dimensional physical feedback resulting from the activity of objects graphically presented on the computer screen or controlled external objects. Using the device requires the use of two upper limbs. Moreover, due to its size, prolonged use of the device may be difficult.

Z amerykańskiego zgłoszenia wynalazku US 20140008496 A1 znany jest sposób i system zdalnego sterowania dronem. Polecenia i akcje są wykonywane z wykorzystaniem ręcznego urządzenia zawierającego czujnik ruchu z żyroskopem elektronicznym oraz akcelerometrem do sterowania pochyleniem i odchyleniem oraz skokiem w układzie współrzędnych. Na ekranie urządzenia wyświetlany jest obraz z kamery drona.A method and system for remotely controlling a drone is known from the American invention application US 20140008496 A1. Commands and actions are performed using a hand-held device containing a motion sensor with an electronic gyroscope and an accelerometer to control pitch, yaw, and jump in the coordinate system. The image from the drone's camera is displayed on the device's screen.

Z polskiego opisu patentowego PL 223180 B1 znany jest przenośny system do sterownia urządzeniami mobilnymi, składający się z modułu audio-wideo oraz modułu sterowania służącego do sterowania ruchem urządzenia. Odbiornik audio-wideo montowany jest na nadgarstku lub przedramieniu operatora, zaś moduł sterowania jest trzymany w dłoni i zabezpieczony jest przed upuszczeniem, za pomocą opaski zakładanej na nadgarstek.A portable system for controlling mobile devices is known from the Polish patent description PL 223180 B1, consisting of an audio-video module and a control module used to control the movement of the device. The audio-video receiver is mounted on the operator's wrist or forearm, and the control module is held in the hand and is protected against dropping by means of a wristband.

Z polskiego opisu patentowego PL 239579 B1 znany jest kontroler do mocowania na ciele człowieka zawierający uchwyt na wykorzystywane w nim urządzenie komputerowe wyposażone co najmniej w akcelerometr, żyroskop elektroniczny, kamerę, panel dotykowy oraz nadajnik i odbiornik radiowy. Kontroler ma uprząż do montowania na obwodzie ręki, przy czym ta uprząż jest połączona w swojej części odpowiadającej powierzchni dłoniowej ręki z uchwytem na urządzenie komputerowe, zaś ten uchwyt ma odkrytą część odpowiadającą przynajmniej części panelu dotykowego urządzenia komputerowego, a odkryta część jest od strony odpowiadającej powierzchni dłoniowej ręki w obszarze palców. Rozwiązanie to pozwala, na przekazywanie dodatkowych informacji użytkownikowi za pomocą silniczków wibracyjnych zamontowanego w nim urządzenia komputerowego.From the Polish patent description PL 239579 B1, a controller for mounting on the human body is known, containing a holder for the computer device used in it, equipped with at least an accelerometer, an electronic gyroscope, a camera, a touch panel and a radio transmitter and receiver. The controller has a harness for mounting around the circumference of the hand, the harness being connected at its portion corresponding to the palm surface of the hand to a holder for the computing device, and the holder having an exposed portion corresponding to at least a portion of the touch panel of the computing device, and the exposed portion being on the side corresponding to the surface palm of the hand in the finger area. This solution allows additional information to be transmitted to the user using the vibration motors of the computer device installed in it.

Celem wynalazku jest poprawa precyzji sterowania, a także zwiększenie biologicznego sprzężenia zwrotnego w kontrolerze znanym z opisu patentowego PL 239579 B1, a także jego lepsze dostosowanie do potrzeb osób z dysfunkcjami kończyn górnych.The aim of the invention is to improve the precision of control and to increase the biological feedback in the controller known from patent description PL 239579 B1, as well as its better adaptation to the needs of people with upper limb dysfunctions.

Kontroler do mocowania na ręce zawierający uchwyt na wykorzystywane w nim urządzenie komputerowe wyposażone co najmniej w akcelerometr, żyroskop elektroniczny, kamerę, panel dotykowy oraz nadajnik i odbiornik radiowy, a także mający uprząż do montowania na obwodzie ręki w obszarze obejmującym co najmniej śródręcze, przy czym ta uprząż jest połączona w swojej części odpowiadającej powierzchni dłoniowej ręki z uchwytem na urządzenie komputerowe, zaś ten uchwyt ma odkrytą część odpowiadającą przynajmniej części panelu dotykowego urządzenia komputerowego, a odkryta część jest od strony odpowiadającej powierzchni dłoniowej ręki w obszarze palców, według patentu nr Pat. 239579, według wynalazku charakteryzuje się tym, że jego uprząż ma w swojej części odpowiadającej powierzchni dłoniowej ręki zamontowany moduł żyroskopowy zawierający co najmniej jeden żyroskop mechaniczny napędzany silnikiem elektrycznym.A wrist-mounted controller including a holder for a computer device used therein having at least an accelerometer, an electronic gyroscope, a camera, a touch panel, and a radio transmitter and receiver, and having a harness for mounting around the circumference of the hand in an area including at least the metacarpal, wherein said harness is connected at its portion corresponding to the palmar surface of the hand to a holder for the computer device, and said holder has an exposed portion corresponding to at least a portion of the touch panel of the computer device, and the exposed portion is on the side corresponding to the palmar surface of the hand in the finger area, according to Patent No. 239579, according to the invention, is characterized by the fact that its harness has a gyroscopic module installed in its part corresponding to the palm of the hand, containing at least one mechanical gyroscope driven by an electric motor.

Korzystnie połącznie uchwytu kontrolera z uprzężą jest za pośrednictwem ramienia, którego jeden koniec połączony jest z uprzężą w miejscu odpowiadającym powierzchni dłoniowej ręki, a drugi koniec jest połączony z uchwytem, przy czym połączenie ramienia z uprzężą oraz z uchwytem są przegubowe, a moduł żyroskopowy jest zamontowany pomiędzy uprzężą a ramieniem.Preferably, the controller handle is connected to the harness via an arm, one end of which is connected to the harness in a place corresponding to the palm of the hand, and the other end is connected to the handle, while the connection of the arm to the harness and the handle are articulated, and the gyroscopic module is mounted between the harness and the shoulder.

Dalsze korzyści uzyskiwane są, jeśli moduł żyroskopowy kontrolera zawiera cztery żyroskopy mechaniczne.Further benefits are obtained if the controller's gyro module contains four mechanical gyroscopes.

Kolejne korzyści uzyskiwane są, jeśli każdy z żyroskopów mechanicznych modułu żyroskopowego kontrolera ma wirnik podłączony do oddzielnego silnika elektrycznego.Further advantages are achieved if each of the mechanical gyroscopes in the controller's gyro module has a rotor connected to a separate electric motor.

Dalsze korzyści uzyskuje się, jeśli każdy z żyroskopów mechanicznych kontrolera ma wirnik ułoży skowany w zawieszeniu zawierającym drugi przegub o co najmniej jednej osi obrotu.Further advantages are obtained if each of the controller's mechanical gyroscopes has a rotor mounted on a suspension that includes a second joint with at least one axis of rotation.

Następne korzyści uzyskuje się, jeśli moduł żyroskopowy kontrolera jest sterowany z urządzenia komputerowego zamontowanego w uchwycie tego kontrolera.Further benefits are obtained if the controller's gyro module is controlled from a computing device mounted in the controller's holder.

Sposób sterowania urządzeniami wyposażonymi w odbiornik radiowy za pomocą kontrolera określonego w zastrz. 1, w pierwszym etapie uprząż kontrolera mocuje się na ręce, a urządzenie komputerowe wyposażone co najmniej w następujące czujniki: akcelerometr, żyroskop elektroniczny, kamerę, panel dotykowy, a także nadajnik radiowy, montuje się w uchwycie kontrolera panelem dotykowym zwróconym w kierunku palców i łączy się go radiowo z odbiornikiem radiowym sterowanego urządzenia, po czym w drugim etapie porusza się kontrolerem oraz dotyka się palcami panel dotykowy, a z wykorzystaniem czujników urządzenia komputerowego ustala się zmianę położenia kontrolera w przestrzeni względem punktu początkowego oraz bezprzewodowo przesyła się informację o zmianie położenia kontrolera oraz dotknięciach panelu dotykowego urządzenia komputerowego do odbiornika sterowanego urządzenia i na podstawie tej informacji steruje się tym urządzeniem, według patentu nr Pat. 239579, według wynalazku charakteryzuje się tym, że w etapie drugim wprowadza się w ruch obrotowy wirnik co najmniej jednego żyroskopu mechanicznego.Method of controlling devices equipped with a radio receiver using the controller defined in claim 1, in the first stage, the controller harness is attached to the hand, and a computer device equipped with at least the following sensors: accelerometer, electronic gyroscope, camera, touch panel, as well as a radio transmitter, is mounted in the controller handle with the touch panel facing the fingers and connected it is radio-controlled with the radio receiver of the controlled device, and then, in the second stage, the controller is moved and the touch panel is touched with the fingers, and using the sensors of the computer device, the change in the controller's position in space relative to the starting point is determined and information about the change in the controller's position and touches is wirelessly transmitted touch panel of a computer device to the receiver of the controlled device and on the basis of this information the device is controlled, according to patent no. Pat. 239579, according to the invention, is characterized in that in the second stage the rotor of at least one mechanical gyroscope is set into rotation.

Korzystnie w pierwszym etapie w uchwycie montuje się smartfon.Preferably, in the first stage, a smartphone is mounted in the holder.

Dalsze korzyści uzyskiwane są, jeśli po radiowym połączeniu smartfona z odbiornikiem radiowym sterowanego urządzenia na wyświetlaczu zamontowanego w uchwycie smartfona wyświetla się przyciski, a przez dotknięcie tych przycisków uruchamia się przypisaną do nich funkcję.Further benefits are achieved if, after wirelessly connecting the smartphone to the radio receiver of the controlled device, buttons are displayed on the display mounted in the smartphone holder and the function assigned to them is activated by touching these buttons.

Kolejne korzyści uzyskiwane są, jeżeli steruje się urządzeniem systemu rzeczywistości wirtualnej, mieszanej lub rozszerzonej.Further benefits are obtained when controlling a virtual, mixed or augmented reality system device.

Dalsze korzyści uzyskuje się, jeśli po zamontowaniu urządzenia komputerowego w uchwycie łączy się je radiowo ze smart fonem zamocowanym w goglach wirtualnej rzeczywistości, po czym w drugim etapie porusza się ręką, na której zamocowany jest kontroler oraz dotyka się palcami jego panelu dotykowego, a z wykorzystaniem jego czujników, ustala się punkt w przestrzeni, w którym znajduje się kontroler oraz bezprzewodowo przesyła się informację o zmianie położenia kontrolera oraz dotknięciach panelu dotykowego do odbiornika smartfona zamontowanego w goglach wirtualnej rzeczywistości i na podstawie tej informacji steruje się obiektem wirtualnym.Further benefits are obtained if, after mounting the computer device in the holder, it is radio-connected to a smartphone mounted in the virtual reality goggles, and then, in the second stage, you move the hand on which the controller is mounted and touch its touch panel with your fingers, and using it sensors, a point in space is determined where the controller is located and information about the change in the controller's position and touches on the touch panel is wirelessly sent to the smartphone receiver installed in the virtual reality goggles, and based on this information the virtual object is controlled.

Następne korzyści uzyskiwane są, jeżeli po radiowym połączeniu urządzenia komputerowego zamontowanego w uchwycie na wyświetlaczu smartfona zamontowanego w goglach wirtualnej rzeczywistości wyświetla się pomniejszony obraz przycisków oraz punkty odpowiadające miejscom, w których użytkownik dotyka panel dotykowy urządzenia komputerowego zamontowanego w uchwycie kontrolera.Further benefits are obtained if, after radio connection of the computer device mounted in the holder, the display of the smartphone mounted in the virtual reality goggles displays a reduced image of the buttons and points corresponding to the places where the user touches the touch panel of the computer device mounted in the controller holder.

Kolejne korzyści uzyskiwane są, jeżeli w drugim etapie na podstawie informacji o zmianie położenia kontrolera oraz dotknięciach panelu dotykowego urządzenia komputerowego steruje się sterowanym urządzeniem, zmieniając jego pozycję w przestrzeni.Further benefits are obtained if, in the second stage, the controlled device is controlled based on information about the change in the controller's position and touches on the touch panel of the computer device, changing its position in space.

Dalsze korzyści uzyskiwane są, jeżeli steruje się dronem albo ramieniem robota.Further benefits are obtained when controlling a drone or a robotic arm.

Zastosowane w kontrolerze według wynalazku żyroskopy mechaniczne, pozwalają na jego stabilizację podczas sterowania, a także na uzyskanie fizycznego biologicznego sprzężenia zwrotnego. Wirujące wirniki żyroskopów mechanicznych powodują powstanie siły odśrodkowej uzależnionej od nadanej im prędkości obrotowej sterowanej z wykorzystanego w kontrolerze urządzenia komputerowego. Za pomocą urządzenia komputerowego możemy zmieniać wartość powstałej siły odśrodkowej, której wektor ma zwrot przeciwstawny do wykonywanego przez użytkownika ruchu ręką z zamontowanym kontrolerem, co pozwala na uzyskanie fizycznego biologicznego sprzężenia zwrotnego.The mechanical gyroscopes used in the controller according to the invention allow its stabilization during control, as well as obtaining physical biological feedback. The rotating rotors of mechanical gyroscopes create a centrifugal force depending on the rotational speed assigned to them, controlled by the computer device used in the controller. Using a computer device, we can change the value of the resulting centrifugal force, the vector of which has a direction opposite to the movement of the user's hand with the controller installed, which allows for obtaining physical biological feedback.

Sprzężenie zwrotne pozwoli na bardziej precyzyjne i bezpieczne sterowanie dronami, umożliwiając nie tylko stabilniejszą kontrolę, ale również uzyskanie dodatkowej dokładniejszej informacji o prędkości poruszania się sterowanego obiektu oraz wykonywanych manewrach. Ponadto fizyczne biologiczne sprzężenie zwrotne umożliwi uzyskanie przez użytkownika dodatkowych bodźców, które pozytywnie wpłyną na jego doświadczenia podczas wykorzystania kontrolera w grach i aplikacjach w wirtualnej rzeczywistości. Umożliwi to także symulowanie ciężaru, oporu oraz prędkości obiektów w rzeczywistości wirtualnej. Rozwiązanie pozwala również, po opracowaniu dedykowanych zestawów ćwiczeń, na szerokie zastosowanie w rehabilitacji. Dotyczy to między innymi pacjentów z dysfunkcjami kończyn górnych, a także z porażeniem jednostronnym bocznym. Dzięki kontrolowanej sile odśrodkowej powstałej z układu wirujących wirników żyroskopów mechanicznych pacjent uzyska możliwość wykonywania dodatkowych ćwiczeń, które bez tego układu nie byłyby możliwe. Dodatkowo dzięki bodźcom informującym pacjenta o prawidłowości wykonywanych ćwiczeń poprawiona jest efektywność terapii.Feedback will allow for more precise and safe control of drones, enabling not only more stable control, but also obtaining additional, more accurate information about the speed of movement of the controlled object and the maneuvers performed. In addition, physical biofeedback will enable the user to receive additional stimuli that will positively affect their experience when using the controller in games and applications in virtual reality. This will also make it possible to simulate the weight, resistance and speed of objects in virtual reality. The solution also allows, after developing dedicated sets of exercises, to be widely used in rehabilitation. This applies, among others, to patients with upper limb dysfunctions and unilateral lateral paralysis. Thanks to the controlled centrifugal force created by the system of rotating rotors of mechanical gyroscopes, the patient will be able to perform additional exercises that would not be possible without this system. Additionally, thanks to stimuli informing the patient about the correctness of the exercises performed, the effectiveness of the therapy is improved.

Kontroler mocowany do ciała człowieka według wynalazku w przykładzie wykonania przedstawiono na rysunku, na którym kolejno fig. 1 przedstawia kontroler w rzucie perspektywicznym, fig. 2 - ten sam kontroler w widoku z boku, fig. 3 - ten sam kontroler w widoku z dołu z wyrwaniem w wariancie wykonania z jednym żyroskopem mechanicznym, fig. 4 - kontroler w widoku z dołu z wyrwaniem w wariancie wykonania z czterema żyroskopami mechanicznymi, fig. 5 - kontroler w widoku z boku z wyrwaniem, fig. 6 - kontroler w widoku z góry, fig. 7 - kontroler w widoku z góry zamocowany na ręce, fig. 8 - przyciski wyświetlane na wyświetlaczu smartfona zamontowanego w kontrolerze, fig. 9 - podgląd przycisków wyświetlany stereoskopowo na wyświetlaczu smartfona zamontowanego w goglach wirtualnej rzeczywistości, fig. 10 - podgląd przycisków z fig. 9 pokazany w powiększeniu.The controller attached to the human body according to the invention in an embodiment is shown in the drawing, in which Fig. 1 shows the controller in a perspective view, Fig. 2 - the same controller in a side view, Fig. 3 - the same controller in a bottom view with breakout in the version with one mechanical gyroscope, Fig. 4 - controller in a bottom view with a breakout in the version with four mechanical gyroscopes, Fig. 5 - controller in a side view with a breakout, Fig. 6 - controller in a top view, Fig. 7 - top view of the controller mounted on the hand, Fig. 8 - buttons displayed on the display of the smartphone mounted in the controller, Fig. 9 - preview of the buttons displayed stereoscopically on the display of the smartphone mounted in the virtual reality goggles, Fig. 10 - preview of the buttons from Fig. 9 is shown enlarged.

W pierwszym przykładzie wykonania kontroler mocowany na ciele człowieka wykorzystujący urządzenie komputerowe ma uprząż 1 do montowania na ręce, przy czym ta uprząż 1 jest połączona z uchwytem 2 na urządzenie komputerowe, w swojej części odpowiadającej powierzchni dłoniowej ręki. Wykorzystanym w kontrolerze urządzeniem komputerowym jest zamontowany w jego uchwycie 2 smartfon 3. Połączenie uchwytu 2 z uprzężą 1 jest za pośrednictwem ramienia 4. Pierwszy koniec ramienia 4 jest połączony z uprzężą 1, a drugi jest połączony z uchwytem 2. Połączenia ramienia 4 z uprzężą 1 oraz z uchwytem 2 są połączeniami przegubowymi o dwóch osiach obrotu. Ramię 4 w swojej środkowej części ma pierwszy przegub 5 walcowy. Uprząż 1 kontrolera ma w swojej części odpowiadającej powierzchni dłoniowej ręki dystansową podkładkę 6, która od wewnątrz zawiera poduszkę 7 ze sprężystej pianki poliuretanowej, a od strony zewnętrznej ma sztywną podstawę 8 z tworzywa sztucznego. Połączenie ramienia 4 z uprzężą 1 jest na sztywnej podstawie 8 podkładki 6 dystansowej. W swojej centralnej części poduszka 7 ma wybranie 9. Poduszka 7 jest połączona rozłącznie za pomocą rzepów 14 z podstawką 8’ osadzoną obrotowo mimośrodowo na sztywnej podstawie 8. Takie osadzenie poduszki 7 zapewnia lepszą możliwość dopasowania uprzęży 1 do różnych kształtów dłoni oraz znacznie zwiększa ergonomię kontrolera. Uchwyt 2 ma zacisk 10 sprężynowy do zaciskania na smartfonie 3. Uprząż 1 zawiera dwa pasy 11 i 12 montażowe, do zapinania na obwodzie ręki, z których pierwszy pas 11 jest zapinany w okolicy jej śródręcza pomiędzy kciukiem a pozostałymi palcami za pomocą klamry 13 zatrzaskowej, zaś drugi pas 12 jest do mocowania na obwodzie ręki w pobliżu nadgarstka, za pomocą rzepu 14. Uprząż 1 ma na pierwszym pasie 11 w części odpowiadającej grzbietowi dłoni usztywnienie 15, które od strony przeznaczonej do skierowania ku grzbietowi dłoni wyłożone jest sprężystą pianką. Usztywnienie 15 pełni rolę suwaka do regulacji obwodu pierwszego pasa 11 blokowanego w klamrze 13 zatrzaskowej. Pasy 11 i 12 montażowe są ze sobą połączone łącznikiem 16. Zastosowanie usztywnienia 15 w połączniu z dystansową podkładką 6 pozwala na stabilne ułożenie kontrolera na ręce, zapobiegając jego przesuwaniu, przy wykonywaniu energicznych ruchów, a także zwiększa komfort przy długotrwałym użytkowaniu. Połączenia przegubowe pomiędzy końcami ramienia 4 oraz uprzężą 1 i uchwytem 2 pozwalają na ułożenie smartfona 3 w pozycji pozwalającej na wygodne sterownie z wykorzystaniem czterech lub pięciu palców w zależności od jego ustawienia względem ręki. Na pierwszym przegubie 5 oraz połączeniach przegubowych ramienia 4 zamontowane są śruby 17 dociskowe pozwalające na blokowanie ramienia 4 oraz uchwytu 2 w stałej pozycji, co zapobiega przesuwaniu się smartfona 3 zamontowanego w uchwycie 2 względem ręki w trakcie użytkowania. Uprząż 1 ma pasek zabezpieczający 18, pomiędzy pierwszym pasem 11 a drugim pasem 12, który łączy ze sobą te pasy 11 i 12 od strony dystansowej podkładki 6, dodatkowo stabilizując mocowanie uprzęży 1 na ręce. Dystansowa podkładka 6 zawiera we wnętrzu swojej podstawy 8 moduł żyroskopowy 19, w którym zamontowany jest jeden żyroskop mechaniczny 20, zawierający wirnik 21 ułożyskowany w nieruchomym zawieszeniu 22. Wirnik 21 jest napędzany silnikiem elektrycznym 23. Prędkość obrotowa wirnika 21 jest sterowana ze smartfona 3 zamontowanego w uchwycie 2 kontrolera.In a first embodiment, a body-mounted controller using a computing device has a hand-mounted harness 1, which harness 1 is connected to a computer device holder 2 at its portion corresponding to the palmar surface of the hand. The computer device used in the controller is a smartphone 3 mounted in its holder 2. The holder 2 is connected to the harness 1 via the arm 4. The first end of the arm 4 is connected to the harness 1 and the second end is connected to the holder 2. Connections of the arm 4 to the harness 1 and with handle 2 are articulated connections with two axes of rotation. The arm 4 has a first 5-cylinder joint in its central part. The controller harness 1 has, in its part corresponding to the palm surface of the hand, a spacer pad 6, which on the inside contains a cushion 7 made of elastic polyurethane foam, and on the outside it has a rigid base 8 made of plastic. The connection of the arm 4 with the harness 1 is on a rigid base 8 of the spacer 6. In its central part, the cushion 7 has a recess 9. The cushion 7 is detachably connected using Velcro 14 to the base 8', mounted eccentrically on a rotating base 8. Such mounting of the cushion 7 provides a better ability to adjust the harness 1 to various hand shapes and significantly increases the ergonomics of the controller. . The holder 2 has a spring clamp 10 for clamping on the smartphone 3. The harness 1 includes two mounting straps 11 and 12 for fastening around the circumference of the hand, the first strap 11 of which is fastened in the area of the metacarpal between the thumb and the remaining fingers using a snap buckle 13, and the second strap 12 is for fastening around the circumference of the hand near the wrist, using Velcro 14. The harness 1 has a stiffening 15 on the first strap 11 in the part corresponding to the back of the hand, which is lined with elastic foam on the side facing the back of the hand. The stiffener 15 acts as a slider to adjust the circumference of the first belt 11 locked in the snap buckle 13. The mounting straps 11 and 12 are connected with each other by a connector 16. The use of stiffener 15 in combination with the spacer pad 6 allows for a stable positioning of the controller on the hand, preventing it from moving when performing vigorous movements, and also increases comfort during long-term use. Articulating connections between the ends of the arm 4 and the harness 1 and the handle 2 allow the smartphone 3 to be placed in a position that allows for comfortable control using four or five fingers, depending on its position in relation to the hand. Pressure screws 17 are mounted on the first joint 5 and the articulation connections of the arm 4, allowing the arm 4 and the handle 2 to be locked in a fixed position, which prevents the smartphone 3 mounted in the handle 2 from moving relative to the hand during use. The harness 1 has a securing strap 18, between the first strap 11 and the second strap 12, which connects these straps 11 and 12 together on the side of the spacer pad 6, further stabilizing the attachment of the harness 1 to the hand. The spacer pad 6 contains, inside its base 8, a gyroscopic module 19 in which one mechanical gyroscope 20 is mounted, containing a rotor 21 mounted in a fixed suspension 22. The rotor 21 is driven by an electric motor 23. The rotational speed of the rotor 21 is controlled from a smartphone 3 mounted in controller holder 2.

W drugim przykładzie wykonania w module żyroskopowym 19 zamontowane są cztery żyroskopy mechaniczne 20, z których każdy ma wirnik 21 ułożyskowany w zawieszeniu 22 zawierającym drugi przegub 24 o regulowanym elektromechanicznie kącie nachylenia w dwóch osiach. Wirnik 21 każdego z żyroskopów jest podłączony do oddzielnego silnika elektrycznego 23. W pozostałym zakresie wykonanie jest jak w przykładzie pierwszym.In the second embodiment, the gyroscopic module 19 is equipped with four mechanical gyroscopes 20, each of which has a rotor 21 mounted in a suspension 22 containing a second joint 24 with an electromechanically adjusted inclination angle in two axes. The rotor 21 of each gyroscope is connected to a separate electric motor 23. The rest of the design is as in the first example.

Sposób sterowania obiektami w pierwszym przykładzie realizacji jest prowadzony z wykorzystaniem kontrolera opisanego w drugim przykładzie wykonania, a sterowany jest obiekt w wirtualnej rzeczywistości. W pierwszym etapie uprząż 1 kontrolera mocuje się na ręce, a smartfon 3 montuje się w uchwycie 2, tak by jego ekran dotykowy zwrócony był w kierunku palców. Wykorzystany został smartfon 3 wyposażony w następujące czujniki: kamerę, żyroskop elektroniczny, akcelerometr, magnetometr, pojemnościowy ekran dotykowy, a także odbiornik i nadajnik radiowy. Następnie smartfon 3 łączy się radiowo z drugim smartfonem zamocowanym w goglach wirtualnej rzeczywistości. Na wyświetlaczu smartfona 3 zamontowanego w uchwycie 2 wyświetla się kształty pełniące rolę przycisków 25 kontrolera. Na smartfonie zamontowanym w goglach wirtualnej rzeczywistości wyświetla się podgląd przycisków 25 wyświetlanych na smartfonie 3 zamontowanym w uchwycie 2 kontrolera. Podgląd przycisków 25 jest pomniejszony i pokazuje również punkty 26, w których dotykany jest ekran smartfona 3 zamontowanego w uchwycie 2 kontrolera, dzięki czemu użytkownik widzi położenie swoich palców i nie ma problemu z odnalezieniem przycisków 25 na smartfonie 3 kontrolera. Następnie w drugim etapie, porusza się ręką oraz całą kończyną górną z zamocowanym kontrolerem oraz dotyka się palcami ekranu dotykowego w obszarze wyświetlanych na nim przycisków 25, a także wykonuje się predefiniowane gesty. Następnie bezprzewodowo przesyła się informację o położeniu kontrolera w przestrzeni oraz dotknięciach panelu dotykowego i wykonanych gestach, do smartfona zamocowanego w goglach wirtualnej rzeczywistości. Na podstawie przesłanej informacji steruje się obiektami w wirtualnej rzeczywistości na przykład porusza się postacią w grze. W przypadku napotkania przez obiekt wirtualnych przeszkód uruchamia się silnik wibracyjny. Dodatkowo w drugim etapie wykonuje się gesty powyżej ekranu dotykowego smartfona 3 i jego przedniej kamery. Gesty te są rejestrowane i rozpoznawane za pomocą przedniej kamery smartfona 3 kontrolera, a informacje o wykonanych gestach są przesyłane do smartfona zamontowanego w goglach wirtualnej rzeczywistości. Ponadto w drugim etapie wprowadza się w ruch obrotowy wirniki 21 żyroskopów mechanicznych 20 i w ten sposób stabilizuje się położenie kontrolera. Za pomocą sterowanych elektromechanicznie drugich przegubów 24 zawieszeń 22 żyroskopów mechanicznych 20, reguluje się kąt nachylenia wirników 21. Wprowadzone w ruch obrotowy wirniki 21 pozwalają ponadto na uzyskanie fizycznego biologicznego sprzężenia zwrotnego dającego informację użytkownikowi o prędkości poruszania się sterowanego obiektu, czy też napotkanie wirtualnej przeszkody, co pozwala na symulację ciężaru, oporu oraz prędkość obiektów w rzeczywistości wirtualnej. Prędkością obrotową wirników 21 oraz ich nachyleniem steruje się ze smartfona 3 zamontowanego w uchwycie 2 kontrolera. Sposób realizowany jest przy wykorzystaniu dedykowanych aplikacji zainstalowanych na smartfonie 3 zamocowanym w uchwycie 2 kontrolera oraz w goglach wirtualnej rzeczywistości.The method of controlling objects in the first embodiment is carried out using the controller described in the second embodiment, and the object is controlled in virtual reality. In the first stage, the controller harness 1 is attached to the hand, and the smartphone 3 is mounted in the holder 2 so that its touch screen faces the fingers. A smartphone 3 was used, equipped with the following sensors: camera, electronic gyroscope, accelerometer, magnetometer, capacitive touch screen, as well as a radio receiver and transmitter. Smartphone 3 then connects via radio to a second smartphone mounted in the virtual reality goggles. The display of the smartphone 3 mounted in the holder 2 displays shapes that act as buttons 25 of the controller. The smartphone mounted in the virtual reality headset displays a preview of the buttons 25 displayed on the smartphone 3 mounted in the controller holder 2. The preview of the buttons 25 is reduced and also shows the points 26 where the screen of the smartphone 3 mounted in the controller holder 2 is touched, so that the user can see the position of his fingers and has no problem finding the buttons 25 on the smartphone 3 of the controller. Then, in the second stage, the hand and the entire upper limb with the controller attached are moved and the fingers are touched to the touch screen in the area of the buttons 25 displayed on it, and predefined gestures are performed. Then, information about the controller's position in space, as well as touches on the touch panel and gestures made, is wirelessly sent to the smartphone mounted in the virtual reality goggles. Based on the information sent, objects in virtual reality are controlled, for example, a character moves in a game. When the object encounters virtual obstacles, the vibration motor is activated. Additionally, in the second stage, gestures are performed above the touch screen of the smartphone 3 and its front camera. These gestures are recorded and recognized using the front camera of the smartphone 3 of the controller, and information about the performed gestures is sent to the smartphone mounted in the virtual reality goggles. Moreover, in the second stage, the rotors 21 of the mechanical gyroscopes 20 are put into rotation and thus the position of the controller is stabilized. By means of electromechanically controlled second joints 24 suspensions 22 of mechanical gyroscopes 20, the angle of inclination of the rotors 21 is adjusted. The rotors 21 put into rotation also allow obtaining physical biological feedback that provides the user with information about the speed of movement of the controlled object or the encounter of a virtual obstacle, which allows you to simulate the weight, resistance and speed of objects in virtual reality. The rotational speed of the rotors 21 and their inclination are controlled from the smartphone 3 mounted in the controller holder 2. The method is implemented using dedicated applications installed on the smartphone 3 mounted in the controller holder 2 and in virtual reality goggles.

W drugim przykładzie realizacji sposobu według wynalazku sterowany jest dron. Wykorzystany został kontroler według drugiego przykładu wykonania. W pierwszym etapie uprząż 1 kontrolera mocuje się na ręce, a w jego uchwycie 2 montuje się smartfon 3 jak w pierwszym przykładzie realizacji sposobu, a za pomocą sieci radiowej łączy się go z dronem oraz wyświetla się przyciski 25. Następnie w drugim etapie wykonuje się ruchy ręką z zamontowanym kontrolerem i z wykorzystaniem czujników smartfona 3 ustala się punkt w przestrzeni, w którym znajduje się kontroler. Jednocześnie dotyka się palcami wyświetlacz dotykowy smartfona 3 i wykonuje predefiniowane gesty lub wciskając wyświetlane na wyświetlaczu przyciski 25 wyświetlane, które przypisane są do określonych funkcji drona. Informację o położeniu kontrolera w przestrzeni oraz wciśniętych na wyświetlaczu dotykowym przyciskach 25 lub wykonanych gestach przesyła się radiowo do drona. Dron porusza się w sposób odpowiadający ruchom wykonanym przez rękę użytkownika z zamocowanym kontrolerem. Podczas drugiego etapu wprowadza się w ruch obrotowy wirniki 21 żyroskopów mechanicznych 20 modułu żyroskopowego 19 kontrolera. Dzięki temu możliwe jest uzyskanie stabilizacji położenia kontrolera, a także uzyskanie przez użytkownika dodatkowej szybkiej informacji o prędkości poruszania sterowanego drona, a co za tym idzie wcześniejszą reakcję i zmianę prędkości, czy też toru ruchu. Sposób realizowany jest przy wykorzystaniu dedykowanych aplikacji zainstalowanych na smartfonie 3 zamocowanym w uchwycie 2 kontrolera.In the second embodiment of the method according to the invention, a drone is controlled. A controller according to the second embodiment was used. In the first stage, the controller harness 1 is attached to the hand, and the smartphone 3 is mounted in its handle 2 as in the first example of the method, and it is connected to the drone via a radio network and the buttons 25 are displayed. Then, in the second stage, hand movements are performed. with the controller installed and using the smartphone's sensors 3, a point in space is determined where the controller is located. At the same time, you touch the touch screen of the smartphone 3 with your fingers and perform predefined gestures or press the buttons 25 displayed on the display, which are assigned to specific functions of the drone. Information about the controller's position in space and the buttons pressed on the touch display 25 or the gestures performed is transmitted wirelessly to the drone. The drone moves in a way that corresponds to the movements made by the user's hand with the controller attached. During the second stage, the rotors 21 of the mechanical gyroscopes 20 of the gyroscopic module 19 of the controller are set into rotation. Thanks to this, it is possible to stabilize the controller's position and provide the user with additional quick information about the speed of movement of the controlled drone, and thus earlier reaction and change of speed or movement path. The method is implemented using dedicated applications installed on the smartphone 3 mounted in the controller holder 2.

Claims

1. A wrist-mounted controller including a holder for a computer device used therein, equipped with at least an accelerometer, an electronic gyroscope, a camera, a touch panel, and a radio transmitter and receiver, and having a harness for mounting around the circumference of the hand in an area including at least the metacarpus, wherein this harness is connected in its part corresponding to the palm surface of the hand with a holder for the computer device, and this holder has an exposed part corresponding to at least a part of the touch panel of the computer device, and the exposed part is on the side corresponding to the palm surface of the hand in the area of \u200b\u200bthe fingers, according to patent no. Pat. 239579, characterized in that its harness (1) has a gyroscopic module (19) mounted in its part corresponding to the palm surface of the hand, containing at least one mechanical gyroscope (20) driven by an electric motor (23).

2. Controller according to claim 1, characterized in that the handle (2) is connected to the harness (1) via an arm (4), one end of which is connected to the harness (1) in the place corresponding to the palm surface of the hand, and the other end is connected to the handle (2), the connection of the arm (4) to the harness (1) and to the handle (2) being articulated, and the gyro module (19) is mounted between the harness (1) and the arm (4).

3. Controller according to claim 1 or 2, characterized in that its gyroscopic module (19) contains four mechanical gyroscopes (20).

4. Controller according to claim 1 or 2 or 3, characterized in that each of the mechanical gyroscopes (20) of its gyro module (19) has a rotor (21) connected to a separate electric motor (23).

5. The controller according to claim 1. 4, characterized in that each of the mechanical gyroscopes (20) has a rotor mounted in a suspension (22) containing a second joint (24) with at least one axis of rotation.

6. Controller according to one of the claims. 1 to 4, characterized in that the gyro module (19) is controlled from a computer device mounted in the controller holder (2).

7. Method of controlling devices equipped with a radio receiver using the controller specified in claim. 1, in the first stage, the controller harness is attached to the hand, and a computer device equipped with at least the following sensors: accelerometer, electronic gyroscope, camera, touch panel, as well as a radio transmitter, is mounted in the controller handle with the touch panel facing the fingers and connected it is radio-controlled with the radio receiver of the controlled device, and then, in the second stage, the controller is moved and the touch panel is touched with the fingers, and using the sensors of the computer device, the change in the controller's position in space relative to the starting point is determined and information about the change in the controller's position and touches is wirelessly transmitted touch panel of the computer device to the receiver of the controlled device and, based on this information, this device is controlled, according to patent No. 239579, characterized in that in the second stage the rotor (21) of at least one mechanical gyroscope (20) is set into rotation.

8. The method according to claim 7, characterized in that in the first stage a smartphone (3) is mounted in the holder (2).

9. The method according to claim 1. 8, characterized in that after radio connection of the smartphone (3) with the radio receiver of the controlled device, buttons (25) are displayed on the display mounted in the holder (2) of the smartphone (3), and by touching these buttons (25) the assigned functions.

10. The method of claim 1. 7 or 8 or 9, characterized in that the device of a virtual, mixed or augmented reality system is controlled.

11. The method according to claim 10, characterized in that after mounting the computer device in the holder (2), it is radio-connected to the smartphone mounted in the virtual reality goggles, and then, in the second stage, the hand on which the controller is mounted is moved and its touch panel is touched with the fingers, and using its sensors, the point in space where the controller is located is determined and information about the change in the controller's position and touches on the touch panel is wirelessly transmitted to the smartphone receiver installed in the virtual reality goggles, and based on this information, the virtual object is controlled.

12. The method according to claims; 11, characterized in that after radio connection of the computer device mounted in the holder (2), the display of the smartphone installed in the virtual reality goggles displays a reduced image of the buttons (25) and points (26) corresponding to the places where the user touches the touch panel of the computer device mounted in the controller holder (2).

13. The method of claim 13. 7 or 8 or 9, characterized in that in the second stage, based on information about the change in the position of the controller and touches on the touch panel of the computer device, the controlled device is controlled, changing its position in space.

14. The method of claim 1. 13, characterized in that the drone is controlled.

15. The method of claim 1. 7 or 8 or 9, characterized in that a robot arm is controlled.