WO2018104046A1 - Verfahren zum transformieren einer zeichnung zwischen zwei zeichenflächen - Google Patents

Verfahren zum transformieren einer zeichnung zwischen zwei zeichenflächen Download PDF

Info

Publication number
WO2018104046A1
WO2018104046A1 PCT/EP2017/079919 EP2017079919W WO2018104046A1 WO 2018104046 A1 WO2018104046 A1 WO 2018104046A1 EP 2017079919 W EP2017079919 W EP 2017079919W WO 2018104046 A1 WO2018104046 A1 WO 2018104046A1
Authority
WO
WIPO (PCT)
Prior art keywords
positions
character
marker
transforming
character positions
Prior art date
Application number
PCT/EP2017/079919
Other languages
English (en)
French (fr)
Inventor
Wolfgang Niem
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2018104046A1 publication Critical patent/WO2018104046A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the approach is based on a device or a method according to the preamble of the independent claims. Subject of the present approach is also a computer program.
  • the method advantageously allows an exact transformation of the drawing made on a drawing surface to another drawing surface.
  • a method for transforming a drawing between two artboards comprises at least the following steps:
  • these first markers may include first marker points drawn by a user for defining a first marker
  • the first transformation rule Determining a first transformation rule for transforming the first drawing surface into a reference coordinate system using the first marker positions, in which case the first transformation rule can be determined, for example, using an affine mapping;
  • the first character points may be a first drawing made by the user within the at least three first marker positions, to be provided to another user;
  • the second transformation rule Determining a second transformation rule for transforming the second drawing surface into the reference coordinate system using the second marker positions, in which case the second transformation rule can be determined, for example, using an affine mapping
  • Drawing area using the second transformation rule to provide transformed first character positions may be used to display the first drawing for the further user.
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.
  • the approach presented here advantageously enables a user-friendly, portable whiteboard system that allows users to work with conventional pens and flipcharts or pens and blocks.
  • the users can each use, for example, AR glasses with a camera and / or a projector.
  • the camera and / or the projector can also be arranged as separate units outside the AR glasses.
  • a device which is designed to control and / or carry out the method can be arranged, for example, in the AR goggles.
  • the reference coordinate system with at least the first reference character positions can be provided here in a cloud or for the cloud.
  • the method may include a step of receiving at least one second character signal, the second character positions of second character points on the second or another second character
  • the method may further include a step of transforming the second character positions into the reference coordinate system using the second
  • transformation instructions to provide second reference character positions may ultimately include a step of transforming the second reference character positions into the first one
  • the method may include a step of combining in which the first reference character positions and the second reference character positions are combined into a Combine image.
  • the first reference character positions and the second reference character positions may be superimposed, for example, to the combining image.
  • the combination picture can also be displayed to other users, for example.
  • the method may include a step of reading in at least one updated first marker signal representing at least three updated first marker positions from the first markers on the first drawing area mapped on an updated first camera image. It is also advantageous if the method includes a step of determining an updated first
  • Transformation rule for transforming the first drawing surface into the reference coordinate system, eg. Via an affine map, using the updated first marker positions.
  • the method may include a step of capturing the first camera image using a camera of the first AR glasses. At least that's how it can be the first camera image is captured by the first AR glasses worn by the user, for example.
  • the method may include a step of projecting in which
  • Character positions are projected into the second drawing area using another projector of a second AR glasses.
  • the first user can advantageously be shown the first transformed character points at the first transformed character positions by the further projector on the second drawing surface.
  • the approach presented here also provides a device which is designed to implement the steps of a variant of a method presented here
  • the device may comprise at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the sensor Actuator and / or at least one
  • the arithmetic unit may be, for example, a signal processor, a microcontroller or the like, wherein the memory unit is a flash memory, an EPROM or a
  • the communication interface can be designed to read or output data wirelessly and / or by line, wherein a communication interface that can read or output line-bound data, for example, electrically or optically read this data from a corresponding data transmission line or output to a corresponding data transmission line.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Also of advantage is a computer program product or computer program with program code which is stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical disk
  • Memory may be stored and for carrying out, implementing and / or controlling the steps of the method according to one of the above
  • FIG. 2 is a flow chart of a method for transforming a drawing between two artboards according to an embodiment.
  • FIG. 1 shows a conceptual representation of transformed drawings on two drawing surfaces 100, 105 according to an exemplary embodiment.
  • a user 110 wears according to this embodiment, a first AR glasses
  • Embodiment by the user 100 four first marker 125 has been drawn at four first marker positions. Further, user 100 has first character points 130 at first character positions on the first one
  • Drawing area 100 has been drawn.
  • the first AR eyeglasses 115 has a camera which is designed to read in at least the four first marker positions of the first markers 125 on a first camera image.
  • a first transformation rule 135 for transforming the first drawing area 100 into a
  • Reference coordinate system 140 has been determined.
  • the first character positions 130 also received in the or another camera image are in the
  • Reference coordinate system 140 has been transformed to first
  • Reference character positions 145 are provided in the reference coordinate system 140 in a cloud 150 according to this embodiment.
  • Another user 155 carries a second according to this embodiment
  • AR glasses 160 and has drawn with a second pen 165 on the second drawing surface 105.
  • On the second drawing surface 105 are according to this
  • Embodiment has been drawn by the second user 155 four second marker 170 at four second marker positions. Furthermore, second character points 175 at second character positions have been drawn on the second drawing surface 105 by the second user 155.
  • the second AR glasses 160 according to this exemplary embodiment have a further camera which is designed to read in at least the four second marker positions of the second markers 170 on a second camera image.
  • a second Transformation rule 180 has been determined for transforming the second drawing area 105 into the reference coordinate system 140.
  • Use of the second transformation rule 135 are the second also received in the second or a further second camera image
  • Character positions 175 have been transformed into the reference coordinate system 140 to provide second reference character positions 185.
  • the second reference character positions 185 are also provided in the reference coordinate system 140 in the cloud 150 according to this embodiment.
  • the first reference character positions 145 have been transformed into the second canvas 105 using the second transformation rule 180 to provide transformed first character positions 190.
  • the second AR glasses 160 have another projector that projects the transformed first character positions 190 into the second drawing area 105.
  • the second reference character positions 185 have been transformed into the first canvas 105 using the first transformation rule 135 to provide transformed second character positions 195.
  • the first AR glasses 115 have a projector that projects the transformed second character positions 195 into the first artboard 100.
  • the arithmetic units are connected via a common server, here the cloud 150, which has a communication with the lowest possible latency, according to this exemplary embodiment with a latency of less than 200ms.
  • the two communication parties in this case the user 110 and the further user 155, each draw at least three markers on the desired drawing surface 100, 105, advantageously four markers 125, 170 corresponding to each embodiment first
  • Embodiment in each case an AR glasses 115, 160 with cameras at a transmitter and a receiver.
  • the AR glasses 115, 160 are respectively connected to the simple computer unit, here the smartphones 196, 197, according to alternative embodiments with personal computers and / or tablets.
  • the respective smartphones 196, 197 advantageously communicate with one another via a cloud 150 or a cloud service.
  • a robust and simple calibration allows to work on arbitrary surfaces, here the first drawing surface 100 and the second drawing surface 105, and with normal pins 120, 165.
  • the areas can also be different - according to an alternative embodiment, a flipchart can be used on one side and on the other side a normal drawing block. A common picture arises in each case by a
  • the method 200 comprises at least one step 205 of reading at least a first marker signal, a step 210 of determining a first transformation rule 135, a step 215 of receiving at least a first character signal, a step 220 of transforming the first character positions, a step 225 of reading at least a second marker signal, a step 230 of determining a second one
  • Transformation rule 180 and a step 235 of transforming the first reference character positions are described.
  • step 205 of reading in at least one first marker signal at least one first marker signal is read in, which is at least three first marker signals
  • the camera image is detected and, mathematically, the marker positions are determined from the camera image in order to generate the first marker signals therefrom.
  • step 215 of receiving at least a first character signal at least a first character signal is received, the first character positions of first character points on the first or another first character
  • Camera image A represented mapped first art space.
  • step 220 of transforming the first character positions the first character positions are transformed into the reference coordinate system using the first transformation rule 135 to be first
  • step 225 of reading in at least one second marker signal at least one second marker signal is read in, which is at least three second marker signals Represents marker positions of second markers on a second drawing area imaged on a second camera image B;
  • step 230 of determining a second transformation rule 180 a second transformation rule 180 for transforming the second drawing surface into the reference coordinate system using the second marker positions is determined.
  • step 235 of transforming the first reference character positions the first reference character positions are transformed into the second canvas using the second transformation rule 180 to provide transformed first character positions.
  • the method 200 further includes a step 240 of acquiring the first camera image A, a step 245 of projecting, a step 250 of receiving at least a second character signal, a step 255 of transforming the second character positions, a step 260 of FIG
  • Transforming the second reference character positions a step 265 of combining, a step 270 of storing, a step 275 of detecting the second camera image B, and a step 280 of further projecting.
  • step 240 of acquiring the first camera image A the first
  • step 245 of the projecting transformed first character points are projected at the transformed first character positions into the second articular surface using another projector of second AR glasses.
  • step 250 of receiving at least one second character signal at least one second character signal is received which represents second character positions of second character points on the second art surface imaged on the second or a further second camera image B.
  • step 255 of transforming the second character positions the second character positions in the reference coordinate system are used; the second transformation rule 180 transformed to second
  • step 260 of transforming the second reference character positions the second reference character positions are transformed into the first canvas using the first transformation rule 135 to provide transformed second character positions.
  • step 265 of combining the first reference character positions and the second reference character positions are combined into a combined image C.
  • the first reference character positions and the second reference character positions become
  • step 270 of storing the combining picture C is stored.
  • the combination image C is additionally or alternatively printed and / or documented in step 270 of the storage.
  • step 275 of capturing the second camera image B the second camera image B is captured using another camera of a second AR eyewear.
  • step 280 of further projecting transformed second ones become
  • the method 200 further comprises at least one step of reading in at least one updated first marker signal, a step of determining an updated first transformation rule, a step of reading in at least one updated second marker signal, and a step of determining an updated second transformation rule.
  • the step of reading in at least one updated first marker signal at least one updated first marker signal is read in which represents at least three updated first marker positions from the first markers on the first drawing surface imaged on an updated first camera image.
  • an updated first transformation rule for transforming the first drawing area into the reference coordinate system is determined using the updated first marker positions.
  • At least one updated second marker signal is read in which comprises at least three updated second marker positions from the second markers on the second mapped on an updated second camera image
  • an updated second transformation rule is determined for transforming the second canvas into the reference coordinate system using the updated second marker positions.
  • the markers are detected in the respective camera images A, B and their marker positions are determined in the image.
  • the position AI may be assigned to the marker shown in the camera image A at the top left, the position Bl to the marker at the bottom left and the position Cl to the marker at the bottom right.
  • the position AI may be assigned to the marker shown in the camera image A at the top left, the position Bl to the marker at the bottom left and the position Cl to the marker at the bottom right.
  • the position A2 in the camera image B The marker B2 is shown at the top left of the marker, and the position C2 is assigned to the marker at the bottom right.
  • steps 210, 230 from these positions z. B. via an affine mapping the respective transformation rule 135, 180 in the
  • the first transformation rule 135 is:
  • the second transformation rule 180 is:
  • Steps 220, 255 each content of the camera images A, B in the
  • step 265 an output for a documentation and / or the combined image C, which can also be referred to as an overall image, is transmitted to a projector device.
  • steps 235, 260 the image data from the cameras in
  • Reference coordinate system then processed so that they can be projected with the other projector of the second AR glasses in the field of view of the other user of the second AR glasses - and vice versa.
  • Imaging characteristics of the projector and fixed cameras have each been previously calibrated by steps 285, 290 of calibration, according to this embodiment by belt decalibrations in the production of first AR glasses and the second AR glasses. This was done according to this
  • Embodiment projected in each case a pattern in the AR glasses, which was made to cover with another pattern on a surface, which was observed simultaneously with the respective cameras. Then the parameters have been determined with algorithms.
  • the parameters have been determined with algorithms.
  • Embodiment according to an embodiment both the first feature and the second feature and according to another embodiment, either only the first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen (100, 105). Zuerst wird zumindest ein erstes Markersignal eingelesen, das zumindest drei erste Markerpositionen von ersten Markern (125) auf einer auf einem ersten Kamerabild abgebildeten ersten Zeichenfläche (100) repräsentiert. Dann wird eine erste Transformationsvorschrift (135) zum Transformieren der ersten Zeichenfläche (100) in ein Referenzkoordinatensystem (140) unter Verwendung der ersten Markerpositionen bestimmt. Zumindest ein erstes Zeichensignal wird empfangen, das erste Zeichenpositionen von ersten Zeichenpunkten (130) auf der auf dem ersten oder einem weiteren ersten Kamerabild abgebildeten ersten Zeichenfläche (100) repräsentiert. Die ersten Zeichenpositionen werden in das Referenzkoordinatensystem (140) unter Verwendung der ersten Transformationsvorschrift (135) transformiert, um erste Referenzzeichenpositionen (145) bereitzustellen. Zumindest ein zweites Markersignal wird eingelesen, das zumindest drei zweite Markerpositionen von zweiten Markern (170) auf einer auf einem zweiten Kamerabild abgebildeten zweiten Zeichenfläche (105) repräsentiert. Eine zweite Transformationsvorschrift (180) zum Transformieren der zweiten Zeichenfläche (105) in das Referenzkoordinatensystem (140) unter Verwendung der zweiten Markerpositionen wird bestimmt. Die ersten Referenzzeichenpositionen (145) werden in die zweite Zeichenfläche (105) unter Verwendung der zweiten Transformationsvorschrift (180) transformiert, um transformierte erste Zeichenpositionen (190) bereitzustellen.

Description

Beschreibung Titel
Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen Stand der Technik
Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
Sogenannte Shared Whiteboards sind heute Teil vieler Web-Applikationen, die typischerweise erfordern, dass man mit einem Diskussionspartner über jeweils eine„geteilte" Display-Oberfläche am Arbeitsplatzrechner/Laptop/Notebook kommuniziert. Inhalte werden dabei per Maus oder Stift auf eine definierte gemeinsame Zeichnungsfläche gezeichnet. Es gibt weiterhin Augmented-Reality- Brillen, kurz: AR-Brillen, die eine„See-Through-Augmentierung", also eine Überlagerung von Grafikelementen in die Sicht des Benutzers erlauben.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen
Anspruch angegebenen Vorrichtung möglich.
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass ein hier vorgestelltes Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen Benutzern beim Teilen von Zeichnungen eine natürliche
Bewegungsfreiheit ermöglicht. So können die Benutzer insbesondere in kreativen Phasen praktischerweise mit einem beliebigen echten Stift und einem beliebigen Untergrund, beispielsweise einem Flipchart oder Block, arbeiten. Das Verfahren ermöglicht hierbei vorteilhafterweise ein exaktes Transformieren der auf einer Zeichenfläche getätigten Zeichnung auf eine weitere Zeichenfläche.
Es wird ein Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen vorgestellt. Das Verfahren umfasst zumindest die folgenden Schritte:
Einlesen zumindest eines ersten Markersignals, das zumindest drei erste Markerpositionen von ersten Markern auf einer auf einem ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert, diese ersten Marker können von einem Benutzer gezeichnete erste Markierpunkte zum Definieren eines
Zeichenbereichs auf der ersten Zeichenfläche sein;
Bestimmen einer ersten Transformationsvorschrift zum Transformieren der ersten Zeichenfläche in ein Referenzkoordinatensystem unter Verwendung der ersten Markerpositionen, hierbei kann die erste Transformationsvorschrift beispielsweise unter Verwendung einer affinen Abbildung bestimmt werden;
Empfangen zumindest eines ersten Zeichensignals, das erste Zeichenpositionen von ersten Zeichenpunkten auf der auf dem ersten oder einem weiteren ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert, bei den ersten Zeichenpunkten kann es sich um eine durch den Benutzer getätigte erste Zeichnung innerhalb der zumindest drei ersten Markerpositionen handeln, die für einen weiteren Benutzer bereitgestellt werden soll;
Transformieren der ersten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendung der ersten Transformationsvorschrift, um erste
Referenzzeichenpositionen bereitzustellen, diese ersten
Referenzzeichenpositionen können im Folgenden für eine transformierte
Darstellung der ersten Zeichnung für den weiteren Benutzer dienen; Einlesen zumindest eines zweiten Markersignals, das zumindest drei zweite Markerpositionen von zweiten Markern auf einer auf einem zweiten Kamerabild abgebildeten zweiten Zeichenfläche repräsentiert, diese zweiten Marker können von dem weiteren Benutzer gezeichnete zweite Markierpunkte zum Definieren des zweiten Zeichenbereichs auf der zweiten Zeichenfläche sein;
Bestimmen einer zweiten Transformationsvorschrift zum Transformieren der zweiten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der zweiten Markerpositionen, hierbei kann die zweite Transformationsvorschrift beispielsweise unter Verwendung einer affinen Abbildung bestimmt werden; und
Transformieren der ersten Referenzzeichenpositionen in die zweite
Zeichenfläche unter Verwendung der zweiten Transformationsvorschrift, um transformierte erste Zeichenpositionen bereitzustellen, diese transformierten ersten Zeichenpositionen können zur Anzeige der ersten Zeichnung für den weiteren Benutzer dienen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz ermöglicht vorteilhafterweise ein nutzerfreundliches, transportables Whiteboard-System, das es Benutzern erlaubt, mit herkömmlichen Stiften und Flipcharts bzw. Stiften und Blöcken zu arbeiten. Zur Durchführung des Verfahrens können die Benutzer beispielsweise jeweils eine AR-Brille mit einer Kamera und/oder einem Projektor nutzen. Alternativ oder zusätzlich können die Kamera und/oder der Projektor auch als eigenständige Einheiten außerhalb der AR-Brille angeordnet sein. Eine Vorrichtung, die ausgebildet ist, um das Verfahren anzusteuern und/oder durchzuführen kann beispielsweise in der AR- Brille angeordnet sein. Das Referenzkoordinatensystem mit zumindest den ersten Referenzzeichenpositionen kann hierbei in einer Cloud oder für die Cloud bereitgestellt werden.
Um umgekehrt auch dem Benutzer eine Anzeige einer auf der zweiten
Zeichenfläche durch den weiteren Benutzer getätigten zweiten Zeichnung zu ermöglichen, kann das Verfahren einen Schritt des Empfangens zumindest eines zweiten Zeichensignals umfassen, das zweite Zeichenpositionen von zweiten Zeichenpunkten auf der auf dem zweiten oder einem weiteren zweiten
Kamerabild abgebildeten zweiten Zeichenfläche repräsentiert. Das Verfahren kann zudem einen Schritt des Transformierens der zweiten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendung der zweiten
Transformationsvorschrift umfassen, um zweite Referenzzeichenpositionen bereitzustellen. Weiterhin kann das Verfahren letztendlich auch einen Schritt des Transformierens der zweiten Referenzzeichenpositionen in die erste
Zeichenfläche unter Verwendung der ersten Transformationsvorschrift umfassen, um transformierte zweite Zeichenpositionen bereitzustellen.
Zum Drucken, Speichern und/oder zum Dokumentieren der
Referenzzeichenpositionen in einem Bild kann das Verfahren einen Schritt des Kombinierens aufweisen, in dem die ersten Referenzzeichenpositionen und die zweiten Referenzzeichenpositionen zu einem Kombinierbild kombiniert werden. Im Schritt des Kombinierens können die ersten Referenzzeichenpositionen und die zweiten Referenzzeichenpositionen beispielsweise zu dem Kombinierbild überlagert werden. Das Kombinierbild kann beispielsweise auch weiteren Benutzern angezeigt werden.
Um auch nach Bewegungen der Benutzer und damit verbundenen
Blickwinkeländerungen der Benutzer, stets aktuelle Transformationsschriften bereitzustellen, kann das Verfahren gemäß einer vorteilhaften Ausführungsform einen Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals aufweisen, das zumindest drei aktualisierte erste Markerpositionen von den ersten Markern auf der auf einem aktualisierten ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert. Von Vorteil ist es auch weiterhin, wenn das Verfahren einen Schritt des Bestimmens einer aktualisierten ersten
Transformationsvorschrift zum Transformieren der ersten Zeichenfläche in das Referenzkoordinatensystem, z. B. über eine affine Abbildung, unter Verwendung der aktualisierten ersten Markerpositionen umfasst.
Das Verfahren kann einen Schritt des Erfassens des ersten Kamerabilds unter Verwendung einer Kamera der ersten AR-Brille umfassen. So kann zumindest das erste Kamerabild durch die beispielsweise von dem Benutzer getragene erste AR-Brille erfasst werden.
Das Verfahren kann einen Schritt des Projizierens umfassen, in dem
transformierte erste Zeichenpunkte an den transformierten ersten
Zeichenpositionen in die zweite Zeichenfläche unter Verwendung eines weiteren Projektors einer zweiten AR-Brille projiziert werden. So können dem weiteren Benutzer die ersten transformierten Zeichenpunkte an den ersten transformierten Zeichenpositionen vorteilhafterweise durch den weiteren Projektor auf der zweiten Zeichenfläche angezeigt werden.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in
entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine
Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine
magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann. Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen
Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend
beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt: Fig. 1 eine Konzeptdarstellung transformierter Zeichnungen auf zwei
Zeichenflächen gemäß einem Ausführungsbeispiel; und
Fig. 2 ein Ablaufdiagramm eines Verfahrens zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen gemäß einem Ausführungsbeispiel.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 1 zeigt eine Konzeptdarstellung transformierter Zeichnungen auf zwei Zeichenflächen 100, 105 gemäß einem Ausführungsbeispiel. Ein Benutzer 110 trägt gemäß diesem Ausführungsbeispiel eine erste AR-Brille
115 und hat mit einem ersten Stift 120 auf die erste Zeichenfläche 100 gezeichnet. Auf der ersten Zeichenfläche 100 sind gemäß diesem
Ausführungsbeispiel durch den Benutzer 100 vier erste Marker 125 an vier ersten Markerpositionen gezeichnet worden. Weiterhin sind durch den Benutzer 100 erste Zeichenpunkte 130 an ersten Zeichenpositionen auf die erste
Zeichenfläche 100 gezeichnet worden. Die erste AR-Brille 115 weist gemäß diesem Ausführungsbeispiel eine Kamera auf, die dazu ausgebildet ist, um zumindest die vier ersten Markerpositionen der ersten Marker 125 auf einem ersten Kamerabild einzulesen. Unter Verwendung der ersten Markerpositionen ist gemäß diesem Ausführungsbeispiel eine erste Transformationsvorschrift 135 zum Transformieren der ersten Zeichenfläche 100 in ein
Referenzkoordinatensystem 140 bestimmt worden. Unter Verwendung der ersten Transformationsvorschrift 135 sind die ebenfalls in dem oder einem weiteren Kamerabild empfangenen ersten Zeichenpositionen 130 in das
Referenzkoordinatensystem 140 transformiert worden, um erste
Referenzzeichenpositionen 145 bereitzustellen. Die ersten
Referenzzeichenpositionen 145 sind gemäß diesem Ausführungsbeispiel in dem Referenzkoordinatensystem 140 in einer Cloud 150 bereitgestellt. Ein weiterer Benutzer 155 trägt gemäß diesem Ausführungsbeispiel eine zweite
AR-Brille 160 und hat mit einem zweiten Stift 165 auf die zweite Zeichenfläche 105 gezeichnet. Auf der zweiten Zeichenfläche 105 sind gemäß diesem
Ausführungsbeispiel durch den zweiten Benutzer 155 vier zweite Marker 170 an vier zweiten Markerpositionen gezeichnet worden. Weiterhin sind durch den zweiten Benutzer 155 zweite Zeichenpunkte 175 an zweiten Zeichenpositionen auf die zweite Zeichenfläche 105 gezeichnet worden. Die zweite AR-Brille 160 weist gemäß diesem Ausführungsbeispiel eine weitere Kamera auf, die dazu ausgebildet ist, um zumindest die vier zweiten Markerpositionen der zweiten Marker 170 auf einem zweiten Kamerabild einzulesen. Unter Verwendung der zweiten Markerpositionen ist gemäß diesem Ausführungsbeispiel eine zweite Transformationsvorschrift 180 zum Transformieren der zweiten Zeichenfläche 105 in das Referenzkoordinatensystem 140 bestimmt worden. Unter
Verwendung der zweiten Transformationsvorschrift 135 sind die ebenfalls in dem zweiten oder einem weiteren zweiten Kamerabild empfangenen zweiten
Zeichenpositionen 175 in das Referenzkoordinatensystem 140 transformiert worden, um zweite Referenzzeichenpositionen 185 bereitzustellen. Die zweiten Referenzzeichenpositionen 185 sind gemäß diesem Ausführungsbeispiel ebenfalls in dem Referenzkoordinatensystem 140 in der Cloud 150 bereitgestellt.
Die ersten Referenzzeichenpositionen 145 sind in die zweite Zeichenfläche 105 unter Verwendung der zweiten Transformationsvorschrift 180 transformiert worden, um transformierte erste Zeichenpositionen 190 bereitzustellen. Gemäß diesem Ausführungsbeispiel weist die zweite AR-Brille 160 einen weiteren Projektor auf, der die transformierten ersten Zeichenpositionen 190 in die zweite Zeichenfläche 105 projiziert.
Die zweiten Referenzzeichenpositionen 185 sind in die erste Zeichenfläche 105 unter Verwendung der ersten Transformationsvorschrift 135 transformiert worden, um transformierte zweite Zeichenpositionen 195 bereitzustellen. Gemäß diesem Ausführungsbeispiel weist die erste AR-Brille 115 einen Projektor auf, der die transformierten zweiten Zeichenpositionen 195 in die erste Zeichenfläche 100 projiziert.
Im Folgenden werden anhand von Figur 1 bereits beschriebene Details des Ansatzes noch einmal genauer ausgeführt:
Der hier beschriebene Ansatz kann als ein nutzerfreundliches Shared
Whiteboard-System basierend auf Augmented Reality-Brillen mit einer robusten Referenzierung bezeichnet werden. Genutzt wird gemäß diesem
Ausführungsbeispiel auf jeder Kommunikationsseite jeweils eine AR-Brille 115, 160 mit jeweils einer nach vorne ausgerichteten Kamera, die jeweils z. B. per Bluetooth oder WLan mit einer Recheneinheit, hier jeweils einem Smartphone 196 197, verbunden sind. Die Recheneinheiten sind über einen gemeinsamen Server, hier die Cloud 150, verbunden, der eine Kommunikation mit möglichst geringer Latenz, gemäß diesem Ausführungsbeispiel mit einer Latenz von weniger als 200ms, ermöglicht. Vor einem Beginn einer Sitzung zeichnen die beiden Kommunikationsparteien, hier der Benutzer 110 und der weitere Benutzer 155, auf der gewünschten Zeichnungsfläche 100, 105 jeweils mindestens drei Marker, vorteilhafterweise wie gemäß diesem Ausführungsbeispiel jeweils vier Marker 125, 170, die einen jeweiligen Zeichnungsbereich auf der ersten
Zeichenfläche 100 und der zweiten Zeichenfläche 105 kennzeichnen.
Wie bereits beschreiben, verwendet der Ansatz gemäß diesem
Ausführungsbeispiel jeweils eine AR-Brille 115, 160 mit Kameras bei einem Sender und einem Empfänger. Die AR-Brillen 115, 160 sind jeweils mit der einfachen Rechnereinheit, hier den Smartphones 196, 197, gemäß alternativen Ausführungsbeispielen mit PCs und/oder Tablets, verbunden. Die jeweiligen Smartphones 196, 197 kommunizieren gemäß diesem Ausführungsbeispiel vorteilhafterweise über eine Cloud 150 bzw. einen Cloud-Service, miteinander.
Eine robuste wie simple Kalibrierung erlaubt es dabei, auf beliebigen Flächen, hier der ersten Zeichenfläche 100 und der zweiten Zeichenfläche 105, und mit ganz normalen Stiften 120, 165 zu arbeiten. Die Flächen können dabei auch unterschiedlich sein - gemäß einem alternativen Ausführungsbeispiel kann auch ein Flipchart auf der einen Seite verwendet werden und auf der anderen Seite ein normaler Zeichenblock. Ein gemeinsames Bild ersteht jeweils durch eine
Überlagerung der eigenen Zeichnung mit einer übertragenen und per AR-Brille 115, 160 überlagerten Zeichnung des„Remote"- Kollegen. Anders als bei bekannten geteilten Display-Oberflächen erlaubt der hier beschriebene Ansatz eine große Bewegungsfreiheit für Benutzer 110, 155, die vorteilhafterweise in kreativen Phasen arbeitenden Menschen ein Arbeiten mit echten Stiften 120, 165 und Flipcharts ermöglicht. Die AR-Brillen 115, 160 zur Umsetzung des Ansatzes sind einfach transportabel und günstiger, als bekannte aufwendige Projektionstafeln mit einer Shared-White-Board Funktion.
Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 200 handeln, das von einer Vorrichtung ausführbar ist. Das Verfahren 200 umfasst zumindest einen Schritt 205 des Einlesens zumindest eines ersten Markersignals, einen Schritt 210 des Bestimmens einer ersten Transformationsvorschrift 135, einen Schritt 215 des Empfangens zumindest eines ersten Zeichensignals, einen Schritt 220 des Transformierens der ersten Zeichenpositionen, einen Schritt 225 des Einlesens zumindest eines zweiten Markersignals, einen Schritt 230 des Bestimmens einer zweiten
Transformationsvorschrift 180 und einen Schritt 235 des Transformierens der ersten Referenzzeichenpositionen.
Im Schritt 205 des Einlesens zumindest eines ersten Markersignals wird zumindest ein erstes Markersignal eingelesen, das zumindest drei erste
Markerpositionen von ersten Markern auf einer auf einem ersten Kamerabild A abgebildeten ersten Zeichenfläche repräsentiert. Hierzu wird das Kamerabild erfasst und rechnerisch werden die Markerpositionen aus dem Kamerabild bestimmt, um hieraus die ersten Markersignale zu erzeugen.
Im Schritt 210 des Bestimmens einer ersten Transformationsvorschrift 135 wird eine erste Transformationsvorschrift 135 zum Transformieren der ersten
Zeichenfläche in ein Referenzkoordinatensystem unter Verwendung der ersten
Markerpositionen bestimmt.
Im Schritt 215 des Empfangens zumindest eines ersten Zeichensignals wird zumindest ein erstes Zeichensignal empfangen, das erste Zeichenpositionen von ersten Zeichenpunkten auf der auf dem ersten oder einem weiteren ersten
Kamerabild A abgebildeten ersten Zeichenfläche repräsentiert.
Im Schritt 220 des Transformierens der ersten Zeichenpositionen werden die ersten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendung der ersten Transformationsvorschrift 135 transformiert, um erste
Referenzzeichenpositionen bereitzustellen.
Im Schritt 225 des Einlesens zumindest eines zweiten Markersignals wird zumindest ein zweites Markersignal eingelesen, das zumindest drei zweite Markerpositionen von zweiten Markern auf einer auf einem zweiten Kamerabild B abgebildeten zweiten Zeichenfläche repräsentiert;
Im Schritt 230 des Bestimmens einer zweiten Transformationsvorschrift 180 wird eine zweite Transformationsvorschrift 180 zum Transformieren der zweiten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der zweiten Markerpositionen bestimmt.
Im Schritt 235 des Transformierens der ersten Referenzzeichenpositionen werden die ersten Referenzzeichenpositionen in die zweite Zeichenfläche unter Verwendung der zweiten Transformationsvorschrift 180 transformiert, um transformierte erste Zeichenpositionen bereitzustellen.
Optional weist das Verfahren 200 weiterhin einen Schritt 240 des Erfassens des ersten Kamerabilds A, einen Schritt 245 des Projizierens, einen Schritt 250 des Empfangens zumindest eines zweiten Zeichensignals, einen Schritt 255 des Transformierens der zweiten Zeichenpositionen, einen Schritt 260 des
Transformierens der zweiten Referenzzeichenpositionen, einen Schritt 265 des Kombinierens, einen Schritt 270 des Speicherns, einen Schritt 275 des Erfassens des zweiten Kamerabilds B und einen Schritt 280 des weiteren Projizierens auf.
Im Schritt 240 des Erfassens des ersten Kamerabilds A wird das erste
Kamerabild A unter Verwendung einer Kamera, insbesondere einer Kamera der ersten AR-Brille, erfasst.
Im Schritt 245 des Projizierens werden transformierte erste Zeichenpunkte an den transformierten ersten Zeichenpositionen in die zweite Zeichenfläche unter Verwendung eines weiteren Projektors einer zweiten AR-Brille projiziert.
Im Schritt 250 des Empfangens zumindest eines zweiten Zeichensignals wird zumindest ein zweites Zeichensignal empfangen, das zweite Zeichenpositionen von zweiten Zeichenpunkten auf der auf dem zweiten oder einem weiteren zweiten Kamerabild B abgebildeten zweiten Zeichenfläche repräsentiert. Im Schritt 255 des Transformierens der zweiten Zeichenpositionen werden die zweiten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendun; der zweiten Transformationsvorschrift 180 transformiert, um zweite
Referenzzeichenpositionen bereitzustellen.
Im Schritt 260 des Transformierens der zweiten Referenzzeichenpositionen werden die zweiten Referenzzeichenpositionen in die erste Zeichenfläche unter Verwendung der ersten Transformationsvorschrift 135 transformiert, um transformierte zweite Zeichenpositionen bereitzustellen.
Im Schritt 265 des Kombinierens werden die ersten Referenzzeichenpositionen und die zweiten Referenzzeichenpositionen zu einem Kombinierbild C kombiniert. Gemäß diesem Ausführungsbeispiel werden im Schritt 265 des Kombinierens die ersten Referenzzeichenpositionen und die zweiten
Referenzzeichenpositionen zu dem Kombinierbild C überlagert.
Im Schritt 270 des Speicherns wird das Kombinierbild C gespeichert. Gemäß einem alternativen Ausführungsbeispiel wird das Kombinierbild C im Schritt 270 des Speicherns zusätzlich oder alternativ gedruckt und/oder dokumentiert.
Im Schritt 275 des Erfassens des zweiten Kamerabilds B wird das zweite Kamerabild B unter Verwendung einer weiteren Kamera einer zweiten AR-Brille erfasst. Im Schritt 280 des weiteren Projizierens werden transformierte zweite
Zeichenpunkte an den transformierten zweiten Zeichenpositionen in die erste Zeichenfläche unter Verwendung eines Projektors der ersten AR-Brille projiziert.
Gemäß einem alternativen Ausführungsbeispiel weist das Verfahren 200 weiterhin zumindest einen Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals, einen Schritt des Bestimmens einer aktualisierten ersten Transformationsvorschrift, einen Schritt des Einlesens zumindest eines aktualisierten zweiten Markersignals und einen Schritt des Bestimmens einer aktualisierten zweiten Transformationsvorschrift auf. Im Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals wird zumindest ein aktualisiertes erstes Markersignal eingelesen, das zumindest drei aktualisierte erste Markerpositionen von den ersten Markern auf der auf einem aktualisierten ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert.
Im Schritt des Bestimmens einer aktualisierten ersten Transformationsvorschrift wird eine aktualisierte erste Transformationsvorschrift zum Transformieren der ersten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der aktualisierten ersten Markerpositionen bestimmt.
Im Schritt des Einlesens zumindest eines aktualisierten zweiten Markersignals wird zumindest ein aktualisiertes zweites Markersignal eingelesen, das zumindest drei aktualisierte zweite Markerpositionen von den zweiten Markern auf der auf einem aktualisierten zweiten Kamerabild abgebildeten zweiten
Zeichenfläche repräsentiert.
Im Schritt des Bestimmens einer aktualisierten zweiten Transformationsvorschrift wird eine aktualisierte zweite Transformationsvorschrift zum Transformieren der zweiten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der aktualisierten zweiten Markerpositionen bestimmt.
Im Folgenden werden bereits beschriebene Details des Verfahrens 200 noch einmal genauer ausgeführt:
In den Schritten 205, 225 werden in den jeweiligen Kamerabildern A, B die Marker detektiert und deren Markerpositionen im Bild bestimmt. Die drei ersten Markerpositionen der drei ersten Marker im ersten Kamerabild A sind gemäß diesem Ausführungsbeispiel an den Positionen Al=(xll,yll); Bl=(xl2,yl2); Cl=(xl3,yl3) angeordnet. Dabei kann die Position AI dem in dem Kamerabild A links oben gezeigten Marker, die Position Bl dem Marker links unten und die Position Cl dem Marker rechts unten zugeordnet sein. Die drei zweiten
Markerpositionen der drei zweiten Marker im zweiten Kamerabild B sind gemäß diesem Ausführungsbeispiel an den Positionen A2=(x21,y21); B2=(x22,y22); C2=(x23,y23) angeordnet. Dabei kann die Position A2 dem in dem Kamerabild B links oben gezeigten Marker, die Position B2 dem Marker links unten und die Position C2 dem Marker rechts unten zugeordnet sein.
In den Schritten 210, 230 wird aus diesen Positionen z. B. über eine affine Abbildung die jeweilige Transformationsvorschrift 135, 180 in das
Referenzkoordinatensystem berechnet, bei der die Marker aus den Bildern zusammenfallen, also eine Orientierung und Größen vereinheitlicht werden. Die erste Transformationsvorschrift 135 ist gemäß diesem Ausführungsbeispiel:
"öl 1 1 «1 12~
aff =
ff a\2\ «122
Die zweite Transformationsvorschrift 180 ist gemäß diesem Ausführungsbeispiel:
Figure imgf000016_0001
Mit diesen Transformationsvorschriften A, B, die sich typischerweise durch Bewegungen der Benutzer von Bild zu Bild immer verändern, wird in den
Schritten 220, 255 jeweils ein Inhalt der Kamerabilder A, B in das
Referenzkoordinatensystem transformiert.
Die beiden Kamerabilder A, B werden dann im Schritt 265 in ein gemeinsames Bild, das Kombinierbild C, überlagert. Im Schritt 270 erfolgt gemäß dem alternativen Ausführungsbeispiel weiterhin eine Ausgabe für eine Dokumentation und/oder das Kombinierbild C, das auch als Gesamtbild bezeichnet werden kann, wird auf eine Projektoreinrichtung übertragen.
In den Schritten 235, 260 werden die Bilddaten aus den Kameras im
Referenzkoordinatensystem dann so aufbereitet, dass sie mit dem weiteren Projektor der zweiten AR-Brille in das Sichtfeld des weiteren Benutzers der zweiten AR-Brille projiziert werden können- und umgekehrt. Damit das gelingt, sind eine relative Position und Orientierung sowie optische
Abbildungseigenschaften des Projektors und der festmonierten Kameras jeweils vorab einmal durch Schritte 285, 290 des Kalibrierens kalibriert worden, gemäß diesem Ausführungsbeispiel durch Bandendekalibrierungen in der Produktion der ersten AR-Brille und der zweiten AR-Brille. Dazu wurde gemäß diesem
Ausführungsbeispiel jeweils ein Muster in die AR-Brillen projiziert, welches mit einem weiteren Muster auf einer Fläche zur Deckung gebracht wurde, was gleichzeitig mit den jeweiligen Kameras beobachtet wurde. Dann sind mit Algorithmen die Parameter bestimmt worden. Vorteilhafterweise ist die
Ausführung der Bildverarbeitung möglichst dicht an der jeweiligen Kamera erfolgt. Für einen Austausch über die Cloud müssen dann nur sehr schmalbandig die Daten zu den jeweiligen Transformationen ausgetauscht werden. Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das
Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Verfahren (200) zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen (100, 105), wobei das Verfahren (200) zumindest die folgenden Schritte umfasst:
Einlesen (205) zumindest eines ersten Markersignals, das zumindest drei erste Markerpositionen von ersten Markern (125) auf einer auf einem ersten Kamerabild (A) abgebildeten ersten Zeichenfläche (100) repräsentiert;
Bestimmen (210) einer ersten Transformationsvorschrift (135) zum Transformieren der ersten Zeichenfläche (100) in ein
Referenzkoordinatensystem (140) unter Verwendung der ersten
Markerpositionen;
Empfangen (215) zumindest eines ersten Zeichensignals, das erste Zeichenpositionen von ersten Zeichenpunkten (130) auf der auf dem ersten oder einem weiteren ersten Kamerabild (A) abgebildeten ersten Zeichenfläche (100) repräsentiert;
Transformieren (220) der ersten Zeichenpositionen in das
Referenzkoordinatensystem (140) unter Verwendung der ersten
Transformationsvorschrift (135), um erste Referenzzeichenpositionen (145) bereitzustellen;
Einlesen (225) zumindest eines zweiten Markersignals, das zumindest drei zweite Markerpositionen von zweiten Markern (170) auf einer auf einem zweiten Kamerabild (B) abgebildeten zweiten Zeichenfläche (105) repräsentiert; Bestimmen (230) einer zweiten Transformationsvorschrift (180) zum Transformieren der zweiten Zeichenfläche (105) in das
Referenzkoordinatensystem (140) unter Verwendung der zweiten Markerpositionen; und
Transformieren (235) der ersten Referenzzeichenpositionen (145) in die zweite Zeichenfläche (105) unter Verwendung der zweiten
Transformationsvorschrift (180), um transformierte erste
Zeichenpositionen (190) bereitzustellen.
Verfahren (200) gemäß Anspruch 1, mit einem Schritt des Empfangens (250) zumindest eines zweiten Zeichensignals, das zweite
Zeichenpositionen von zweiten Zeichenpunkten (175) auf der auf dem zweiten oder einem weiteren zweiten Kamerabild (B) abgebildeten zweiten Zeichenfläche (105) repräsentiert und einem Schritt des Transformierens (255) der zweiten Zeichenpositionen in das
Referenzkoordinatensystem (140) unter Verwendung der zweiten Transformationsvorschrift (180), um zweite Referenzzeichenpositionen (185) bereitzustellen und einem Schritt des Transformierens (260) der zweiten Referenzzeichenpositionen (185) in die erste Zeichenfläche (100) unter Verwendung der ersten Transformationsvorschrift (135), um transformierte zweite Zeichenpositionen (195) bereitzustellen.
Verfahren (200) gemäß Anspruch 2, mit einem Schritt des Kombinierens (265) der ersten Referenzzeichenpositionen (145) und der zweiten Referenzzeichenpositionen (185) zu einem Kombinierbild (C).
Verfahren (200) gemäß Anspruch 3, bei dem im Schritt des
Kombinierens (265) die ersten Referenzzeichenpositionen (145) und die zweiten Referenzzeichenpositionen (185) zu dem Kombinierbild (C) überlagert werden.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals, das zumindest drei aktualisierte erste Markerpositionen von den ersten Markern (125) auf der auf einem aktualisierten ersten Kamerabild abgebildeten ersten Zeichenfläche (100) repräsentiert und einem Schritt des Bestimmens einer aktualisierten ersten
Transformationsvorschrift zum Transformieren der ersten Zeichenfläche (100) in das Referenzkoordinatensystem (140) unter Verwendung der aktualisierten ersten Markerpositionen.
6. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Erfassens (240) des ersten Kamerabilds (A) unter Verwendung einer Kamera, insbesondere einer ersten AR-Brille (115).
7. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Projizierens (245) transformierter erster
Zeichenpunkte an den transformierten ersten Zeichenpositionen (190) in die zweite Zeichenfläche (105) unter Verwendung eines weiteren Projektors, insbesondere einer zweiten AR-Brille (160).
8. Vorrichtung, die eingerichtet ist, um Schritte des Verfahrens (200)
gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen und/oder anzusteuern.
9. Computerprogramm, das dazu eingerichtet ist, das Verfahren (200) gemäß einem der vorangegangenen Ansprüche auszuführen.
10. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.
PCT/EP2017/079919 2016-12-06 2017-11-21 Verfahren zum transformieren einer zeichnung zwischen zwei zeichenflächen WO2018104046A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224268.7 2016-12-06
DE102016224268.7A DE102016224268A1 (de) 2016-12-06 2016-12-06 Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen

Publications (1)

Publication Number Publication Date
WO2018104046A1 true WO2018104046A1 (de) 2018-06-14

Family

ID=60484358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/079919 WO2018104046A1 (de) 2016-12-06 2017-11-21 Verfahren zum transformieren einer zeichnung zwischen zwei zeichenflächen

Country Status (2)

Country Link
DE (1) DE102016224268A1 (de)
WO (1) WO2018104046A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202016A (ja) * 2005-01-20 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 会議情報共有支援装置及び方法及びプログラム
EP2493187A1 (de) * 2010-03-31 2012-08-29 NS Solutions Corporation Informationsverarbeitungssystem, konferenzmanagementvorrichtung, informationsverarbeitungsverfahren, verfahren zur steuerung der konferenzmanagementvorrichtung und programm dafür
US20140139426A1 (en) * 2012-11-07 2014-05-22 Panasonic Corporation Of North America SmartLight Interaction System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202016A (ja) * 2005-01-20 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 会議情報共有支援装置及び方法及びプログラム
EP2493187A1 (de) * 2010-03-31 2012-08-29 NS Solutions Corporation Informationsverarbeitungssystem, konferenzmanagementvorrichtung, informationsverarbeitungsverfahren, verfahren zur steuerung der konferenzmanagementvorrichtung und programm dafür
US20140139426A1 (en) * 2012-11-07 2014-05-22 Panasonic Corporation Of North America SmartLight Interaction System

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REKIMOTO J: "Matrix: a realtime object identification and registration method for augmented reality", COMPUTER HUMAN INTERACTION, 1998. PROCEEDINGS. 3RD ASIA PACIFIC SHONAN VILLAGE CENTER, JAPAN 15-17 JULY 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 15 July 1998 (1998-07-15), pages 63 - 68, XP010295091, ISBN: 978-0-8186-8347-3, DOI: 10.1109/APCHI.1998.704151 *

Also Published As

Publication number Publication date
DE102016224268A1 (de) 2018-06-07

Similar Documents

Publication Publication Date Title
DE102008024462B4 (de) Interaktives Bildsystem, interaktive Vorrichtung und Betriebsverfahren derselben
DE102011103423B4 (de) System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen
EP2176833B1 (de) Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt
EP3103059A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
DE112013002200T5 (de) Automatische Anpassung von Bildern
DE102016105496A1 (de) System zur Prüfung von Objekten mittels erweiterter Realität
DE202014010843U1 (de) Ausrichten von bodenbasierten Bildern mit Luftbildern
DE112016006116T5 (de) Roboterlehrvorrichtung und Verfahren zum Erzeugen eines Robotersteuerprogramms
DE102016223179A1 (de) Koordinaten-Abgleichvorrichtung für ein Head-Up-Display
WO2015018566A1 (de) Röntgengerät und verfahren zum steuern eines röntgengeräts
DE102005037841B4 (de) Verfahren und Anordnung zur Bestimmung der relativen Lage eines ersten Objektes bezüglich eines zweiten Objektes, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE102008051850A1 (de) Notebookinformationsprozessor und Berechnungsverfahren für einen projektiven Transformationsparameter
DE112016006213T5 (de) System und Verfahren zum Fusionieren von Ausgängen von Sensoren, die unterschiedliche Auflösungen aufweisen
DE202016008004U1 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
DE102013110208A1 (de) Verfahren zum Erkennen einer Bewegung einer kontaktlosen Benutzerschnittstelle und System davon
DE112014006670T5 (de) Anzeigegerät für ein informationsüberlagertes bild, anzeigeprogramm für ein informationsüberlagertes bild und verfahren für ein informationsüberlagertes bild
DE102006004731B4 (de) Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes
DE102012222185A1 (de) Verfahren, Vorrichtung und computerlesbares Medium zur Bildregistrierung und -Anzeige
DE102020001882A1 (de) Visualisierungsvorrichtung und Programm
DE102014012710A1 (de) Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
EP3867796A1 (de) Verfahren und vorrichtung zur bestimmung einer umgebungskarte
DE112021000762T5 (de) Verfahren, system und vorrichtung zur mobilen ortung
WO2018104046A1 (de) Verfahren zum transformieren einer zeichnung zwischen zwei zeichenflächen
DE102014106718A1 (de) Verfahren und System zur Bestimmung einer gegenständlichen Lage
DE102019201134A1 (de) Einmessung einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17805159

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17805159

Country of ref document: EP

Kind code of ref document: A1