WO2019068883A1 - Verfahren zur kalibrierung eines datenhandschuhs - Google Patents
Verfahren zur kalibrierung eines datenhandschuhs Download PDFInfo
- Publication number
- WO2019068883A1 WO2019068883A1 PCT/EP2018/077165 EP2018077165W WO2019068883A1 WO 2019068883 A1 WO2019068883 A1 WO 2019068883A1 EP 2018077165 W EP2018077165 W EP 2018077165W WO 2019068883 A1 WO2019068883 A1 WO 2019068883A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- hand movement
- user
- data
- data glove
- reference hand
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Definitions
- the invention relates to a method for operating a data glove.
- Data gloves are well known in the art and are used to generate human hand movements to generate an input command, for example, in teleoperation of robots or in a virtual reality application.
- Data gloves generate a variety of sensor data. However, it is often difficult to generate high-precision commands through a data glove.
- the object of the invention is to provide a method for operating a data glove, which has an increased accuracy.
- predetermining of a reference hand movement to be carried out by a user takes place. This can for example be done on a display, such as the display of a computer or smartphone.
- the sensor data of the data glove is detected. This can be done, for example, using a camera, for example a webcam of the computer used. Subsequently, the data glove is calibrated based on the detected reference hand movement.
- the described preprocessing of the sensor data of the data glove as part of the calibration then allows more accurate input commands to be generated. It is preferred that the reference hand movement be detected by markers mounted on the glove.
- the reference hand movement it is checked whether there are sufficient sensor data for a calibration. If this is not the case, the user is asked to perform this reference movement again. Alternatively or additionally, it may be requested to perform another reference hand movement.
- the method according to the invention preferably further comprises the following further steps: An input hand movement of the user on the basis of which an input command is generated is detected. The input hand movement thus no longer serves to calibrate the data glove, but to actually generate the input command.
- the generation of an input command is based on the detected input hand movement of the user using a self-learning algorithm, in particular a neural network.
- the neural network or the self-learning algorithm can be used here to enable a highly accurate optical detection of the reference hand movement and in particular the movement of the individual fingers. This captured data can thus be processed by the neural network. For example, if the motion of a single finger is optically detected and, further, the associated sensor also provides sensor values indicative of movement, the optically detected input hand movement may be used to calibrate the sensor using the self-learning algorithm.
- the figure shows a calibration process using a neural network.
- sensor data for automatic learning is recorded as part of the calibration process.
- the user is asked to perform a reference hand movement.
- Several reference hand movements can also be performed.
- the sensor data of the data glove is detected by the user when performing the reference hand movement.
- the data glove is calibrated based on the detected reference hand movement.
- markers can be attached to the glove so that a distinction is made between the individual fingers and the environment by means of a camera. These markers may be formed as dots or lines or incorporated into the structure of the glove.
- the method according to the invention automatically recognizes whether sufficient data are available for a highly accurate calibration. If not, the user is prompted to make further reference movements so that more data is generated. Here it is possible to give the user an assistance, for example by an animation is displayed, which reproduces the desired movement. This may be the same movement or a different reference hand movement depending on where data is still needed for the calibration.
- the data is processed using a self-learning algorithm, in particular a neural network.
- a neural network creates new connections similar to the human brain and removes unneeded connections. These artificial neurons allow the recorded sensor data to be processed more complexly. Also they can be split automatically and thus enable a highly accurate recognition of the positions of the individual phalanges to the data glove.
- this captured data can be stored in a database and used in later applications. Thus, it is possible to use data from previous learning cycles to achieve efficient, fast and highly accurate calibration.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Betreiben eines Datenhandschuhs mit den folgenden Verfahrensschritten : - Vorgeben einer durch einen Nutzer durchzuführenden Referenzhandbewegung - Erfassen der Sensordaten des Datenhandschuhs bei der Durchführung der Referenzhandbewegung durch den Nutzer - Kalibrieren des Datenhandschuhs durch den Nutzer - Kalibrieren des Datenhandschuhs anhand der erfassten Referenzhandbewegung.
Description
Verfahren zur Kalibrierung eines Datenhandschuhs
Die Erfindung betrifft ein Verfahren zum Betreiben eines Datenhandschuhs. Datenhandschuhe sind aus dem Stand der Technik bekannt und werden dazu verwendet, Bewegungen der menschlichen Hand zur Erzeugung eines Eingabebefehls, beispielsweise bei der Teleoperation von Robotern oder in einer Virtual-Reality Anwendung zu erzeugen.
Datenhandschuhe erzeugen eine Vielzahl von Sensordaten. Jedoch ist es häufig schwierig, hochgenaue Befehle durch einen Datenhandschuh zu erzeugen.
Aufgabe der Erfindung ist es, ein Verfahren zum Betreiben eines Datenhandschuhs bereitzustellen, das eine erhöhte Genauigkeit aufweist.
Die Lösung der Aufgabe erfolgt durch die Merkmale des Anspruchs 1.
Im Rahmen des erfindungsgemäßen Verfahrens erfolgt ein Vorgeben einer durch einen Nutzer durchzuführenden Referenzhandbewegung. Dies kann beispielsweise auf einem Display, beispielsweise dem Display eines Computers oder Smartphones, erfolgen . Bei der Durchführung der Referenzhandbewegung durch den Nutzer werden die Sensordaten des Datenhandschuhs erfasst. Dies kann beispielsweise unter Verwendung einer Kamera, beispielsweise einer Webcam des verwendeten Rechners, erfolgen. Anschließend wird der Datenhandschuh anhand der erfassten Referenzhandbewegung kalibriert.
Durch die beschriebene Vorverarbeitung der Sensordaten des Datenhandschuhs im Rahmen der Kalibrierung können anschließend genauere Eingabebefehle erzeugt werden.
Es ist bevorzugt, dass die Referenzhandbewegung anhand von Markern erfasst wird, die auf dem Handschuh angebracht sind.
Weiterhin ist es bevorzugt, dass nach Durchführen der Referenzhandbewegung überprüft wird, ob genügend Sensordaten für ein Kalibrieren vorhanden sind. Sofern dies nicht der Fall ist, wird der Nutzer aufgefordert, erneut diese Referenzhandbewegung durchzuführen. Alternativ oder zusätzlich kann er zum Durchführen einer anderen Referenzhandbewegung aufgefordert werden.
Das erfindungsgemäße Verfahren umfasst ferner bevorzugt die folgenden weiteren Schritte: Es wird eine Eingabehandbewegung des Nutzers erfasst, auf Basis derer ein Eingabebefehl erzeugt wird. Die Eingabehandbewegung dient somit nicht mehr der Kalibrierung des Datenhandschuhs, sondern der tatsächlichen Erzeugung des Eingabebefehls.
Es ist bevorzugt, dass das Erzeugen eines Eingabebefehls auf Basis der erfassten Eingabehandbewegung des Nutzers unter Verwendung eines selbstlernenden Algorithmus, insbesondere eines neuronalen Netzes erfolgt. Das neuronale Netz bzw. der selbstlernende Algorithmus kann hierbei dazu verwendet werden, eine hochgenaue optische Erfassung der Referenzhandbewegung und insbesondere der Bewegung der einzelnen Finger zu ermöglichen. Diese erfassten Daten können somit durch das neuronale Netzwerk verarbeitet werden. Wird beispielsweise die Bewegung eines einzelnen Fingers optisch erkannt und würde ferner der zugehörige Sensor ebenfalls Sensorwerte liefern, die auf eine Bewegung hindeuten, so kann die optisch erfasste Eingabehandbewegung zur Kalibrierung des Sensors unter Verwendung des selbstlernenden Algorithmus verwendet werden.
Im Folgenden wird eine bevorzugte Ausführungsform der Erfindung anhand einer Figur erläutert.
Die Figur zeigt einen Kalibriervorgang anhand eines neuronalen Netzes. Zunächst werden im Rahmen des Kalibriervorgangs Sensordaten zum automatischen Erlernen aufgenommen. Hierzu wird der Nutzer zum Durchführen einer Referenzhandbewegung aufgefordert. Es können auch mehrere Referenzhandbewegungen durchgeführt werden . Die Sensordaten des Datenhandschuhs werden bei der Durchführung der Referenzhandbewegung durch den Nutzer erfasst. Anschließend wird der Datenhandschuh anhand der erfassten Referenzhandbewegung kalibriert.
Für das Aufnehmen der Sensordaten können auf dem Handschuh beispielsweise farbige Marker angebracht werden, sodass durch eine Kamera eine Unterscheidung der einzelnen Finger zur Umgebung ermöglicht wird. Diese Marker können als Punkte oder Linien ausgebildet sein oder in die Struktur des Handschuhs eingearbeitet sein .
Das erfindungsgemäße Verfahren erkennt automatisch, ob ausreichend Daten für eine hochgenaue Kalibrierung vorhanden sind. Falls nicht, wird der Nutzer aufgefordert weitere Referenzbewegungen durchzuführen, sodass weitere Daten erzeugt werden. Hierbei ist es möglich dem Nutzer eine Hilfestellung zu geben, beispielsweise indem eine Animation dargestellt wird, die die gewünschte Bewegung wiedergibt. Hierbei kann es sich um die selbe Bewegung handeln, oder auch um eine andere Referenzhandbewegung in Abhängigkeit davon an welcher Stelle noch Daten für die Kalibrierung notwendig sind.
Nach erfolgreicher Kalibrierung werden die Daten mit Hilfe eines selbstlernenden Algorithmus, insbesondere eines neuronalen Netzwerks verarbeitet. Ein neuronales Netz erzeugt ähnlich zum menschlichen Gehirn neue Verbindungen und löscht nicht mehr benötigte Verbindungen. Durch diese künstlichen Neuronen können die aufgenommenen Sensordaten komplexer verarbeitet werden. Auch können sie automatisch aufgeteilt werden und ermöglichen somit
eine hochgenaue Erkennung der Positionen der einzelnen Fingerglieder zum Datenhandschuh.
Auch können diese aufgenommenen Daten in einer Datenbank gespeichert werden und in späteren Anwendungen verwendet werden. Somit ist es möglich Daten aus vorherigen Lerndurchgängen zu verwenden, um eine effiziente, schnelle und hochgenaue Kalibration zu erreichen.
Claims
1. Verfahren zum Betreiben eines Datenhandschuhs mit den folgenden Verfahrensschritten :
- Vorgeben einer durch einen Nutzer durchzuführenden Referenzhandbewegung
- Erfassen der Sensordaten des Datenhandschuhs bei der Durchführung der Referenzhandbewegung durch den Nutzer
- Kalibrieren des Datenhandschuhs durch den Nutzer
- Kalibrieren des Datenhandschuhs anhand der erfassten Referenzhandbewegung.
2. Verfahren zum Betreiben eines Datenhandschuhs nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzhandbewegung anhand von Markern erfasst wird, die auf dem Datenhandschuh angebracht sind.
3. Verfahren zum Betreiben eines Datenhandschuhs nach Anspruch 1 oder 2, gekennzeichnet durch die zusätzlichen Schritte :
- Überprüfen, ob nach Durchführung einer Referenzhandbewegung genug Sensordaten für ein Kalibrieren vorhanden sind
- Auffordern des Nutzers zum erneuten Durchführen der selben Referenzhandbewegung und/oder zum Durchführen einer anderen Referenzhandbewegung, sofern nicht ausreichend Daten zum Kalibrieren vorhanden sind.
4. Verfahren zum Betreiben eines Datenhandschuhs nach Anspruch 1 bis 3, gekennzeichnet durch die folgenden zusätzlichen Schritte:
- Erfassen einer Eingabe-Handbewegung des Nutzers
- Erzeugen eines Eingabebefehls auf Basis der erfassten Eingabehandbewegung des Nutzers
5. Verfahren zum Betreiben eines Datenhandschuhs nach Anspruch 4, dadurch gekennzeichnet, dass das Erzeugen eines Eingabebefehls auf Basis der erfassten Eingabehandbewegung des Nutzers unter Verwendung eines selbstlernenden Algorithmus, insbesondere eines neuronalen Netzes, erfolgt.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017217741.1A DE102017217741A1 (de) | 2017-10-05 | 2017-10-05 | Verfahren zur Kalibrierung eines Datenhandschuhs |
| DE102017217741.1 | 2017-10-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019068883A1 true WO2019068883A1 (de) | 2019-04-11 |
Family
ID=63832401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2018/077165 WO2019068883A1 (de) | 2017-10-05 | 2018-10-05 | Verfahren zur kalibrierung eines datenhandschuhs |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102017217741A1 (de) |
| WO (1) | WO2019068883A1 (de) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11371903B2 (en) | 2020-06-10 | 2022-06-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Pressure detection and management methods for determining a resultant force and apparatus incorporating the same |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014101735A1 (de) * | 2013-06-13 | 2014-12-18 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Verfahren und vorrichtung zum steuern einer robotervorrichtung über am körper tragbare sensoren |
-
2017
- 2017-10-05 DE DE102017217741.1A patent/DE102017217741A1/de active Pending
-
2018
- 2018-10-05 WO PCT/EP2018/077165 patent/WO2019068883A1/de active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014101735A1 (de) * | 2013-06-13 | 2014-12-18 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Verfahren und vorrichtung zum steuern einer robotervorrichtung über am körper tragbare sensoren |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11371903B2 (en) | 2020-06-10 | 2022-06-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Pressure detection and management methods for determining a resultant force and apparatus incorporating the same |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102017217741A1 (de) | 2019-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102019109624B4 (de) | Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung | |
| DE102015011830C5 (de) | Robotersystem zum Einstellen eines Bewegungsüberwachungsbereichs eines Roboters | |
| DE102019002928B4 (de) | Simulationsvorrichtung für Roboter | |
| EP3098034B1 (de) | Auswahl eines gerätes oder eines objektes mit hilfe einer kamera | |
| EP3725472A1 (de) | Verfahren zum ermitteln einer trajektorie eines roboters | |
| DE102015122998B3 (de) | Roboter und Verfahren zum Betreiben eines Roboters | |
| EP4013574A1 (de) | Automatisierungssystem und verfahren zur handhabung von produkten | |
| WO2019068883A1 (de) | Verfahren zur kalibrierung eines datenhandschuhs | |
| DE102015009892A1 (de) | Verfahren und System zum Steuern eines Roboters | |
| EP3374135A1 (de) | Verfahren zum vereinfachten ändern von applikationsprogrammen zur steuerung einer industrieanlage | |
| DE102017118983A1 (de) | Roboter und Verfahren zur Steuerung eines Roboters | |
| EP3990231B1 (de) | System zum vornehmen einer eingabe an einem robotermanipulator | |
| DE102014019187A1 (de) | Verfahren und Vorrichtung zum Steuern einer Antriebsanordnung zum Bewegen eines, insbesondere robotergeführten, Werkzeugs | |
| DE102017010678B4 (de) | Verfahren und System zum Vorgeben eines Beaufschlagungsmuster-Befehls-Lexikons zur Eingabe wenigstens eines Roboterbefehls | |
| DE102018216561A1 (de) | Verfahren, Vorrichtung und Computerprogramm zum Ermitteln einer Strategie eines Agenten | |
| DE102017216093A1 (de) | Verfahren zur Parametrierung eines robotischen Manipulators | |
| EP3410260B1 (de) | Verfahren zur haptischen prüfung eines objektes | |
| DE102012208252A1 (de) | Verfahren und Vorrichtung zur hochgenauen Positionierung eines durch einen Roboter geführten Werkzeugs | |
| DE102016205849A1 (de) | Virtual Reality-System und Verfahren zum Betreiben eines solchen | |
| DE102016012351A1 (de) | Verfahren zum Erfassen eines Arbeitsdatensatzes und Datenerfassungsvorrichtung | |
| DE102004001167B4 (de) | Verfahren zum Manipulieren eines virtuellen Fahrzeuginsassendummies für Crashversuche | |
| DE102017100101B4 (de) | Haptische Vorrichtung und Verfahren zur Regelung eines Aktors einer haptischen Vorrichtung | |
| DE102015210333A1 (de) | Verfahren und Vorrichtung zur Beschreibung eines Bewegungsablaufes eines Arbeiters | |
| WO2023110993A1 (de) | Erstellen einer arbeitsanleitung | |
| Kremer | SewGuide: Intelligente Echtzeit-Unterstützung des Anlernprozesses bei industriellen Nähmaschinen/SewGuide: Intelligent Real-Time Support of the Learning Process for Industrial Sewing Machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18785310 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18785310 Country of ref document: EP Kind code of ref document: A1 |