WO2017198331A1 - Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt - Google Patents

Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt Download PDF

Info

Publication number
WO2017198331A1
WO2017198331A1 PCT/EP2017/000589 EP2017000589W WO2017198331A1 WO 2017198331 A1 WO2017198331 A1 WO 2017198331A1 EP 2017000589 W EP2017000589 W EP 2017000589W WO 2017198331 A1 WO2017198331 A1 WO 2017198331A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
marker
real
relative
virtual model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/000589
Other languages
English (en)
French (fr)
Inventor
Yevgen Kogan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Priority to DE212017000139.9U priority Critical patent/DE212017000139U1/de
Publication of WO2017198331A1 publication Critical patent/WO2017198331A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a method and a system for aligning a virtual model on a real object and a computer program or
  • DE 10 2007 059 478 B4 discloses a method for aligning a virtual model, which is a representation of a real object, with this real object. Referring to FIG. 1, a position 5 of a real marker 3, which is arranged on a real object 1, is detected by a camera 5.
  • the real object 1 can be deposited in an augmented reality with the virtual model 2.
  • the position v of the virtual marker is preferred 4 relative to the virtual model 2 is equal to the position v of the real marker 4 relative to the real object 1, as indicated by dashed lines in FIG. 1 for the virtual marker 4.
  • the real marker 3 in such a position relative to the real object 1, which is favorable for aligning the virtual model 2 and virtual marker 4 relative to each other, poorly detectable during operation of the camera 5 and / or only poorly alignable on the real object 1,
  • An object of the present invention is, in particular, to improve the method, system or computer program (product) known from DE 10 2007 059 478 B4. This object is achieved by a method having the features of claim 1, a system having the features of claim 6 and a computer program (product) according to claim 10 and 11, respectively.
  • the subclaims relate to advantageous
  • the method comprises the steps of:
  • the advantages already explained in DE 10 2007 059 478 B4 can be achieved, in particular the alignment of a virtual model on a real object can be improved, in particular simplified and / or accelerated and / or performed more precisely, in particular because the alignment of virtual model and marker relative to each other regularly easier and / or more precise possible than the alignment of the virtual model and (image of) the real object relative to each other.
  • the (first) real marker whose position is detected during operation, and on the basis of which the virtual model is aligned with the real object, can be placed better, especially at positions that are good in operation, in particular by a Detection device of the system are always detectable, and / or at positions where it can not or only with difficulty be aligned exactly to the real object, especially at positions without edges, corners, flat surfaces or the like.
  • the invention can be advantageously used for augmented reality, which is composed of an image of a real environment with the virtual object superimposed on the real image and containing the virtual model, which in one embodiment is a Representation of the real object
  • augmented reality which is composed of an image of a real environment with the virtual object superimposed on the real image and containing the virtual model, which in one embodiment is a Representation of the real object
  • Object is, for example, an undeformed reference or a desired
  • Target configuration kinematic variables, in particular speeds and / or accelerations, and / or coordinate systems of the real object and / or acting on the real object forces or the like include, in particular consist thereof.
  • the present invention is not limited to augmented reality applications, but may be advantageous in particular in web planning or
  • Collision avoidance are used in robots or other applications in which a virtual model is to be aligned with a real object. That's one preferred application in the modeling, simulation, planning, optimization and / or regulation of a robot or an automated production plant.
  • the first real marker is a marker formed separately from the real object and attached thereto or integrated in the object.
  • it can be permanently attached to the object, in particular permanently, ie permanently or temporarily, in particular detachably.
  • the real marker in one embodiment, for example, printed on the real object, sprayed on, glued, screwed, locked, clamped or even be placed only under its own weight.
  • the second real marker is temporarily aligned relative to the object relative to the first real marker so that the position of an imaginary coordinate system defined by the second marker is fixed relative to the real object, in particular to an object-fixed coordinate system is.
  • World coordinate system becomes a frame of reference for the real object
  • a reference system of the scene to be augmented or of a manipulator to be simulated in particular an environment-fixed coordinate system.
  • the virtual marker whose position relative to the
  • virtual model relative to the position of the first real marker relative to the real object has the determined deviation and the extent (indirectly) associated with the first real marker, at least substantially the same appearance, in particular the same contour, texture and / or color as the second real marker.
  • the virtual model in the scene to be augmented, is shifted and / or rotated, for example by means of a mouse or other input device, such that the position of the virtual marker relative to the virtual model equals the position of the second real marker relative to the real one Object is or in contrast has a known (further) deviation.
  • the virtual marker again for example with the help of a mouse or other input device, so shifted and / or rotated that the position of the virtual marker relative to the virtual model, this preferably in a clearly visible reference position is equal to the position of the second real marker relative to the real object or, on the other hand, has a known (further) deviation.
  • the virtual marker with the virtual model attached to it taking into account the determined deviation and possibly the
  • edges of the virtual marker, the virtual model and / or the image of the second real marker and / or the real object semiautomatically or fully automatically extracted and then, user-based or fully automatic one or more of
  • extracted edges are selected.
  • automatic edge extraction on both the virtual model and the virtual marker can extract the bounding edges.
  • the user can then, for example by means of a mouse, select one or more edges and specify that the selected edges of the virtual model and marker match and thus the virtual one
  • the positions of the first and / or second real marker can be in one
  • Embodiment are detected by an optical device, preferably one or more cameras, in particular CCD cameras, and a
  • Image processing device comprises, to one of the or the cameras
  • Image processing device can in particular the position of a real marker, ie its position and / or orientation relative to a world coordinate system.
  • the first and / or second real marker is / are preferably designed so that its position can be well detected by a camera and an image processing device.
  • the real marker for this purpose may have one or more geometric figures, for example points, rectangles or the like, which have a predetermined arrangement relative to one another and thus the position of a
  • the first and / or second real marker preferably have / have strongly contrasting sections, in particular
  • Codings can advantageously also identify the respective real marker. This is particularly advantageous when in a preferred embodiment of
  • present invention is arranged on a plurality of, in particular all real objects of a scene to be augmented depending on a first real marker to align to each of these objects a virtual model.
  • the virtual marker and the virtual model are oriented relative to one another such that the position of the virtual marker relative to the virtual model is equal to or opposite the position of the second real marker relative to the real object has further deviation, for example, by a predetermined angle, about 90 °, is rotated.
  • the virtual marker in such a way that it represents a representation of the second real marker which is suitable for the augmented reality system, i.e. This is similar in particular to its contour, texturing and the like in order to facilitate the assignment of the individual pairs of virtual and second real markers to the user. This also increases the intuitive applicability of the method.
  • the second real or the virtual marker is so on the real object or virtual model so that one edge and one corner of the marker align with an edge and a corner of the object or model.
  • the position of the virtual marker relative to the virtual model is equal to or opposite to the position of the second real marker relative to the real object, which in turn is different from the position of the first real marker relative to the real object. the known further deviation.
  • the orientation of the virtual marker and / or model can be improved, in particular simplified and / or performed rapidly and / or with greater precision.
  • a position is understood to mean, in particular, one, in particular one, two or three dimensional, in particular Cartesian, position and / or orientation, in particular between corresponding coordinate systems, in particular a transformation between corresponding coordinate systems.
  • the symbol "o" designates, in particular without limitation of generality, in general a combination of transformations, for example a multiplication of Denavit-Hartenberg matrices, a multiplication of
  • the virtual model and the virtual marker are arranged on a common virtual plane, in particular laid on, and / or aligned relative to one another on a virtual edge.
  • the second real marker and the real object are arranged on a common real plane, in particular laid on, and / or aligned relative to one another on a real edge, wherein in a development the virtual plane represents a representation of the real plane and / or or the virtual edge one
  • Allow coordinate system in particular, if the second real marker too lies on the common real level and is aligned to the (common) real edge.
  • the virtual model and / or the virtual marker is virtually rotated about the virtual edge until it or it rests on the common virtual plane. Additionally or alternatively, in one embodiment, a virtual contact point of the virtual model and / or the virtual marker is provided with the common virtual plane, which is spaced from the virtual edge.
  • the virtual model corresponding to the real object i. based on the detected position of the first real marker, the position of the virtual marker relative to the virtual model and the determined deviation, and optionally the known further deviation aligned.
  • the position of the virtual marker relative to the virtual model is equal to the position of the second real marker relative to the real object or if it has the known further deviation and that position of the second real marker relative to the real object itself Alignment of second real marker and real object is known relative to each other, from the detected position of the first real marker taking into account the deviation determined, the position of the virtual marker and from this then, possibly taking into account the known further deviation, the position of the virtual Model determined and this are thus aligned with the real object.
  • a system for aligning a virtual model with a real object, in particular hardware and / or software, in particular program technology, for implementing a method described herein and / or has :
  • Alignment means for aligning the virtual model and the virtual marker relative to one another, ie, based on the position of the first real one Marker relative to the real object, the position of the virtual marker relative to the virtual model having a deviation from the position of the first real marker relative to the real object;
  • alignment means comprises:
  • the system has:
  • Means for aligning the virtual model with the real object i. based on the detected position of the first real marker, the position of the virtual marker relative to the virtual model and the determined deviation, and optionally the known further deviation.
  • a realignment of a virtual model on a real object is understood in particular to mean that a position of the virtual model or model-fixed coordinate system, in particular in an augmented scene, with a position of the real object or object-fixed coordinate system,
  • the virtual model is positioned according to a position or movement of the real object (detected by means of the first real marker) or
  • a means in the sense of the present invention may be designed in terms of hardware and / or software, in particular a data or signal-connected, preferably digital, processing, in particular microprocessor unit (CPU) and / or a memory and / or bus system or multiple programs or program modules.
  • the CPU may be configured to implement instructions implemented as a program stored in a memory system.
  • a storage system may comprise one or more, in particular different, storage media, in particular optical, magnetic, solid state and / or other non-volatile media.
  • the program may be such that it is capable of embodying or executing the methods described herein so that the CPU may perform the steps of such methods and, in particular, may align a virtual model with a real object. In one embodiment, one or more, in particular all, steps of
  • FIG. 1 shows a scene to be augmented with a real object and its not yet aligned virtual model
  • FIG. 2 shows a method according to an embodiment of the present invention.
  • Fig. 1 shows a scene to be augmented with a real object 1 and its not yet aligned virtual model 2 and a camera 5 and a
  • Alignment means in the form of a suitably programmed computer 10 for aligning the virtual model 2 on the real object 1 in the augmented scene according to an embodiment of the present invention.
  • a first real marker 3 is arranged on the real object 1 at a position which can be easily detected by the camera 5 during operation.
  • edges 3.1, 3.2 of the first real marker 3 do not have to be aligned with edges 1.1, 1.2 of the real object 1.
  • the real object 1 shown only schematically in FIG. 1 can be arbitrarily shaped at the position of the first real marker 3, for example having free-form surfaces or the like.
  • the real object 1 and a second real marker 3 ' are arranged resting on a common real plane 6 and aligned relative to one another at a real edge 1.3 of the object 1 or 3.3 of the second marker 3', so that the two Edges 1.3, 3.3 are aligned with each other and corners 1 .4 of the object or 3.4 of the second real marker 3 'match.
  • a position r of the first marker 3 and a position r 'of the second marker 3' are determined by the camera 5
  • World coordinate system / detected and determined by the computer 0 a position a of the second marker 3 'relative to the first marker 3.
  • the virtual model 2 and a virtual marker 4 ' are displayed in a display device of the computer 10.
  • the virtual model 2 and the virtual marker 4 ' are aligned relative to one another such that the position b of the virtual marker 4' or its coordinate system V is relative or its model-fixed coordinate system M is equal to the position b of the second real marker 3 'or its coordinate system R' relative to the real object 1 or its object-fixed coordinate system O, in turn, from the position v of the first real Markers 3 and its coordinate system R relative to the real object 1 or its object-fixed coordinate system O different, but due to the alignment of the second real marker 3 'and object 1 is known to each other.
  • the position of the virtual marker 4 '(or its coordinate system V) relative to the virtual model 2 (or its model-fixed coordinate system) compared to the position of the second real marker 3' (or its coordinate system R 1 ) relative to the real object 1 (or the object-fixed coordinate system O) also have a known further deviation, for example, be rotated by 90 °.
  • model 2 is virtually rotated about its edge 2.3 until it is on the common virtual Level 7 is up.
  • model 2 and virtual marker 4 ' can already be arranged lying on the common virtual plane 7 in the orientation shown in FIG. 1 and aligned relative to each other at the edge 2.3 of the virtual model 2 or 4.3 of the virtual marker 4' and for this purpose a virtual one Contact point 2.5 of the virtual model 2 with the common virtual level 7 specified by the user by means of the input device, in particular clicked in the presentation, be.
  • the rotational degree of freedom between model 2 and virtual marker 4 'can be determined precisely and in accordance with the position b of the second real marker 3' relative to the object 1.
  • the virtual marker could also be used in the same way
  • the computer 10 determines in a step S30 a deviation a of the position b of the virtual marker 4 'or its coordinate system V relative to the virtual model 2 or its model-fixed coordinate system M with respect to the position v of the first real marker 3 or its coordinate system R relative to the real object 1 or its object-fixed coordinate system O on the basis of the determined position a of the second real marker 3 'or its coordinate system R' relative to the first real marker 3 or its coordinate system R.
  • b vo a.
  • the virtual model 2 and the virtual marker 4 ' are aligned relative to each other, ie, based on the position v of the first real marker 3 relative to the object 1, with the position b of the virtual marker 4' relative to the model 2 opposite to this Position v has the determined deviation a.
  • the virtual model 2 can now be automatically aligned with the real object 1, so to speak, by placing the virtual marker 4 'with the virtual model 2 attached thereto with the real marker 3 - under

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zur Ausrichtung eines virtuellen Modells (2) an einem realen Objekt (1 ), insbesondere in einer erweiterten Realität („Augmented Reality"), wobei an dem realen Objekt ein erster realer Marker (3) angeordnet ist, umfasst die Schritte: - Erfassen (S20) einer Position (r) des ersten realen Markers; - und - Ausrichten (S20) des virtuellen Modells und eines virtuellen Markers (4') relativ zueinander entsprechend der Position des ersten realen Markers relativ zu dem realen Objekt; wobei die Position (b) des virtuellen Markers relativ zu dem virtuellen Modell gegenüber der Position (v) des ersten realen Markers relativ zu dem realen Objekt eine Abweichung (a) aufweist; sowie die Schritte: - Ermitteln (S20) einer Position (a) eines zweiten realen Markers (3') relativ zu dem ersten realen Marker; und - Ermitteln (S30) der Abweichung auf Basis der ermittelten Position des zweiten realen Markers relativ zu dem ersten realen Marker.

Description

Beschreibung
Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen
Objekt
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Ausrichtung eines virtuellen Modells an einem realen Objekt sowie ein Computerprogramm bzw.
Computerprogrammprodukt zur Durchführung des Verfahrens.
Aus der eigenen DE 10 2007 059 478 B4 ist ein Verfahren zur Ausrichtung eines virtuellen Modells, das eine Repräsentation eines realen Objekts ist, an diesem realen Objekt bekannt. Bezugnehmend auf Fig. 1 wird dabei durch eine Kamera 5 eine Position r eines realen Markers 3, der an einem realen Objekt 1 angeordnet ist, erfasst.
Die DE 10 2007 059 478 B4 schlägt vor, ein virtuelles Modell 2, das eine
Repräsentation des realen Objekts 1 ist, und einen virtuellen Marker 4 relativ zueinander entsprechend der Position des Markers 3 relativ zu dem realen Objekt 1 auszurichten.
Hierdurch wird die Ausrichtung des virtuellen Modells 2 an dem realen Objekt 1 erleichtert, insbesondere die Ermittlung einer Position m eines modellfesten
Koordinatensystems M in einem Weltkoordinatensystem /, in dem eine Position r des realen Markers 3 erfasst wird, derart, dass diese Position m mit der Position eines objektfesten Koordinatensystems O übereinstimmt, insbesondere durch Verknüpfung der Transformationen v o r = m mit der bekannten Transformation v zwischen einem markerfesten Koordinatensystem R und dem objektfesten Koordinatensystem O. Auf diese Weise kann das realen Objekt 1 in einer erweiterten Realität („Augmented Reality") mit dem virtuellen Modell 2 hinterlegt werden. Bevorzugt ist in der DE 10 2007 059 478 B4 die Position v des virtuellen Markers 4 relativ zu dem virtuellen Modell 2 gleich der Position v des realen Markers 4 relativ zu dem realen Objekt 1 , wie in Fig. 1 für den virtuellen Marker 4 gestrichelt angedeutet. Dabei kann es jedoch vorkommen, dass der reale Marker 3 in einer solchen Position relativ zu dem realen Objekt 1 , die zur Ausrichtung des virtuelles Modells 2 und virtuellen Markers 4 relativ zueinander günstig ist, im Betrieb von der Kamera 5 schlecht erfassbar und/oder nur schlecht am realen Objekt 1 ausrichtbar ist,
beispielsweise, wenn dies in einer Abwandlung der Fig. 1 keine einander schneidende Kanten 1 .1 , 1.2 aufweist oder dergleichen.
Eine Aufgabe der vorliegenden Erfindung ist es insbesondere, das aus der DE 10 2007 059 478 B4 bekannte Verfahren, System bzw. Computerprogramm(produkt) zu verbessern. Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , ein System mit den Merkmalen des Anspruchs 6 bzw. ein Computerprogramm(produkt) nach Anspruch 10 bzw. 11 gelöst. Die Unteransprüche betreffen vorteilhafte
Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zur
Ausrichtung eines virtuellen Modells an einem realen Objekt, insbesondere in einer erweiterten Realität bzw. Augmented Reality, wobei an dem realen Objekt ein erster realer Marker angeordnet ist, die Schritte:
- Erfassen einer Position des ersten realen Markers; und
- Ausrichten des virtuellen Modells und eines virtuellen Markers relativ zueinander entsprechend, d.h. auf Basis, der Position des ersten realen Markers relativ zu dem realen Objekt, wobei die Position des virtuellen Markers relativ zu dem virtuellen Modell gegenüber der Position des ersten realen Markers relativ zu dem realen Objekt eine Abweichung aufweist. Insbesondere diesbezüglich wird ergänzend auf die eingangs genannte DE 10 2007 059 478 B4 Bezug genommen, deren Inhalt ausdrücklich vollinhaltlich zum Gegenstand der vorliegenden
Offenbarung gemacht wird.
Nach einer Ausführung der vorliegenden Erfindung umfasst das Verfahren die Schritte:
- Ermitteln einer Position eines zweiten realen Markers relativ zu dem ersten realen Marker; und
- Ermitteln der Abweichung (der Position des virtuellen Markers relativ zu dem
virtuellen Modell gegenüber der Position des ersten realen Markers relativ zu dem realen Objekt) auf Basis dieser ermittelten Position des zweiten realen Markers relativ zu dem ersten realen Marker, insbesondere derart, dass die Abweichung gleich der Position des zweiten relativ zu dem ersten realen Marker ist.
Hierdurch können in einer Ausführung einerseits (weiterhin) die bereits in der DE 10 2007 059 478 B4 erläuterten Vorteile erreicht, insbesondere die Ausrichtung eines virtuellen Modells an einem realen Objekt verbessert, insbesondere vereinfacht und/oder beschleunigt und/oder präziser durchgeführt, werden, insbesondere, da die Ausrichtung von virtuellem Modell und Marker relativ zueinander regelmäßig einfacher und/oder präziser möglich ist als die Ausrichtung von virtuellem Modell und (Bild des) realen Objekts relativ zueinander.
Zusätzlich kann in einer Ausführung anderseits der (erste) reale Marker, dessen Position im Betrieb erfasst wird, und auf dessen Basis das virtuelle Modell an dem realen Objekt ausgerichtet wird, besser platziert werden, insbesondere an Positionen, die im Betrieb gut, insbesondere durch eine Erfassungseinrichtung des Systems stets, erfassbar sind, und/oder an Positionen, an denen es nicht oder nur schwer exakt an dem realen Objekt ausgerichtet werden kann, insbesondere an Positionen ohne Kanten, Ecken, ebene Flächen oder dergleichen.
Die Erfindung kann insbesondere vorteilhaft für eine erweitere Realität („Augmented Reality") verwendet werden, die sich aus einem Bild einer realen Umgebung mit dem realen Objekt und diesem Bild überlagerten virtuellen Informationen zusammensetzt, die das virtuelle Modell enthalten. Dieses ist in einer Ausführung eine Repräsentation des realen Objekts. Hierzu kann es in einer Weiterbildung, wenigstens im
Wesentlichen, die gleiche Außenkontur aufweisen wie das reale Objekt.
Gleichermaßen kann ein virtuelles Modell, das eine Repräsentation des realen
Objekts ist, beispielsweise eine unverformte Referenz- oder eine gewünschte
Sollkonfiguration, kinematische Größen, insbesondere Geschwindigkeiten und/oder Beschleunigungen, und/oder Koordinatensysteme des realen Objekts und/oder auf das reale Objekt wirkende Kräfte oder dergleichen umfassen, insbesondere hieraus bestehen. Die vorliegende Erfindung ist nicht auf Augmented Reality Anwendungen beschränkt, sondern kann vorteilhaft insbesondere bei einer Bahnplanung oder
Kollisionsvermeidung bei Robotern oder anderen Anwendungen eingesetzt werden, in denen ein virtuelles Modell an einem realen Objekt auszurichten ist. So liegt eine bevorzugte Anwendung in der Modellierung, Simulation, Planung, Optimierung und/oder Regelung eines Roboters oder einer automatisierten Produktionsanlage.
Der erste reale Marker ist in einer Ausführung ein von dem realen Objekt separat ausgebildeter und an diesem befestigter oder in das Objekt integrierter Marker. Er kann in einer Weiterbildung insbesondere permanent, also dauerhaft, oder temporär, insbesondere lösbar, an dem Objekt befestigt sein bzw. werden. Hierzu kann der reale Marker in einer Ausführung auf das reale Objekt beispielsweise aufgedruckt, aufgespritzt, angeklebt, angeschraubt, verrastet, geklemmt oder auch nur unter Eigengewicht aufgesetzt sein. Der zweite reale Marker wird in einer Ausführung zum Ermitteln seiner Position relativ zu dem ersten realen Marker temporär relativ zu dem Objekt ausgerichtet, so dass die Position eines gedachten, durch den zweiten Marker definierten Koordinatensystems relativ zu dem realen Objekt, insbesondere zu einem objektfesten Koordinatensystem festgelegt ist. In einer Ausführung werden eine Position des ersten realen, an dem Objekt
angeordneten Markers und/oder des zweiten, temporär relativ zu dem Objekt ausgerichtet Markers in einem Weltkoordinatensystem erfasst. Mit
Weltkoordinatensystem wird dabei ein Bezugssystem für das reale Objekt,
beispielsweise ein Bezugssystem der zu augmentierenden Szene oder eines zu simulierenden Manipulators, insbesondere ein umgebungsfestes Koordinatensystem bezeichnet.
In einer Ausführung weist der virtuelle Marker, dessen Position relativ zu dem
virtuellen Modell gegenüber der Position des ersten realen Markers relativ zu dem realen Objekt die ermittelte Abweichung aufweist und der insofern (indirekt auch) dem ersten realen Marker zugeordnet ist, wenigstens im Wesentlichen dasselbe Aussehen, insbesondere dieselbe Kontur, Textur und/oder Farbe auf wie der zweite reale Marker.
In einer Ausführung wird in der zu augmentierenden Szene das virtuelle Modell, beispielsweise mit Hilfe einer Maus oder einer anderen Eingabevorrichtung, so verschoben und/oder verdreht, dass die Position des virtuellen Markers relativ zu dem virtuellen Modell gleich der Position des zweiten realen Markers relativ zu dem realen Objekt ist oder demgegenüber eine bekannte (weitere) Abweichung aufweist.
Zusätzlich oder alternativ wird in einer Ausführung der virtuelle Marker, wiederum beispielsweise mit Hilfe einer Maus oder einer anderen Eingabevorrichtung, so verschoben und/oder verdreht, dass die Position des virtuellen Markers relativ zu dem virtuellen Modell, das hierzu bevorzugt in einer gut erkennbaren Referenzposition dargestellt wird, gleich der Position des zweiten realen Markers relativ zu dem realen Objekt ist oder demgegenüber eine bekannte (weitere) Abweichung aufweist.
Anschließend kann der virtuelle Marker mit dem daran angehefteten virtuellen Modell unter Berücksichtigung der ermittelten Abweichung und gegebenenfalls der
bekannten weiteren Abweichung automatisch an dem ersten realen Marker
ausgerichtet werden, wodurch das Modell automatisch wie gewünscht zu dem Objekt ausgerichtet wird.
An Stelle der manuellen Positionierung des virtuellen Markers bzw. Modells mittels Maus oder einer anderen Eingabevorrichtung kann auch eine halbautomatische oder automatische Positionierung erfolgen. Hierzu können beispielsweise Kanten des virtuellen Markers, des virtuellen Modells und/oder des Bildes des zweiten realen Markers und/oder des realen Objektes halb- oder vollautomatisch extrahiert und anschließend, benutzergestützt oder vollautomatisch eine oder mehrere der
extrahierten Kanten ausgewählt werden. So kann beispielsweise eine automatische Kantenextraktion sowohl am virtuellen Modell als auch am virtuellen Marker die begrenzenden Kanten extrahieren. Der Benutzer kann dann, beispielsweise mittels Maus, eine oder mehrere Kanten auswählen und vorgeben, dass die ausgewählten Kanten von virtuellem Modell und Marker übereinstimmen und so den virtuellen
Marker relativ zum Modell präzise ausrichten. Die Positionen des ersten und/oder zweiten realen Markers können in einer
Ausführung durch eine optische Einrichtung erfasst werden, die bevorzugt eine oder mehrere Kameras, insbesondere CCD-Kameras, und eine
Bildverarbeitungseinrichtung umfasst, um ein von der bzw. den Kameras
aufgenommenes Bild weiterzuverarbeiten, insbesondere virtuelle Modelle,
Informationen und dergleichen in dem Bild darzustellen. Durch die
Bildverarbeitungseinrichtung kann insbesondere die Position eines realen Markers, i.e. seine Lage und/oder Orientierung relativ zu einem Weltkoordinatensystem erfasst werden.
Um diese Erfassung zu erleichtern und die Erfassungsqualität zu verbessern, sind/ist der erste und/oder zweite reale Marker bevorzugt so ausgebildet, dass seine Position von einer Kamera und einer Bildverarbeitungseinrichtung gut erfasst werden kann. Insbesondere kann der reale Marker hierzu eine oder mehrere geometrische Figuren, beispielsweise Punkte, Rechtecke oder dergleichen aufweisen, die relativ zueinander eine vorgegebene Anordnung aufweisen und so die Position eines
Koordinatensystems des realen Markers festlegen. Bevorzugt weisen/weist der erste und/oder zweite reale Marker stark kontrastierende Abschnitte, insbesondere
Abschnitte in Komplementärfarben, Hell/Dunkel oder in Schwarz/Weiß auf. Solche geometrischen Figuren oder andere durch die Bildverarbeitung erfassbaren
Kodierungen können vorteilhaft auch den jeweiligen realen Marker identifizieren. Dies ist besonders dann vorteilhaft, wenn in einer bevorzugten Ausführung der
vorliegenden Erfindung an mehreren, insbesondere an allen realen Objekten einer zu augmentierenden Szene je ein erster realer Marker angeordnet wird, um an diesen Objekten je ein virtuelles Modell auszurichten.
In einer Ausführung werden bzw. sind der virtuelle Marker und das virtuelle Modell relativ zueinander so ausgerichtet, dass die Position des virtuellen Marker relativ zu dem virtuellen Modell gleich der Position des zweiten realen Markers relativ zu dem realen Objekt ist oder demgegenüber eine bzw. die bekannte weitere Abweichung aufweist, beispielsweise um einen vorbestimmten Winkel, etwa 90°, verdreht ist.
Insbesondere hierzu ist es vorteilhaft, den virtuellen Marker so auszubilden, dass er eine für das Augmented Reality System geeignete Repräsentation des zweiten realen Markers darstellt, i.e. diesem insbesondere in seiner Kontur, Texturierung und dergleichen gleicht, um dem Anwender die Zuordnung der einzelnen Paare virtueller und zweiter realer Marker zu erleichtern. Dies erhöht auch die intuitive Anwendbarkeit des Verfahrens.
Fluchten eine Marker- und eine Objekt- bzw. Modellkante miteinander, verbleibt zwischen Marker und Objekt bzw. Modell noch der Drehfreiheitsgrad um diese Kante und der translatorische Freiheitsgrad entlang dieser Kante. Daher wird in einer Ausführung der zweite reale bzw. der virtuelle Marker so an dem realen Objekt bzw. virtuellen Modell ausgerichtet, dass eine Kante und eine Ecke des Markers mit einer Kante und einer Ecke des Objekts bzw. Modells fluchten bzw. übereinstimmen.
In einer Ausführung ist die Position des virtuellen Markers relativ zu dem virtuellen Modell gleich der Position des zweiten realen Markers relativ zu dem realen Objekt, welche ihrerseits von der Position des ersten realen Markers relativ zu dem realen Objekt verschieden ist, oder weist demgegenüber eine bzw. die bekannte weitere Abweichung auf. Hierdurch kann die Ausrichtung des virtuellen Markers und/oder Modells verbessert, insbesondere vereinfacht und/oder rasche und/oder mit größerer Präzision durchgeführt werden. Unter einer Position wird vorliegend insbesondere eine, insbesondere ein-, zwei- oder dreidimensionale, insbesondere kartesische, Lage und/oder Orientierung verstanden, insbesondere zwischen entsprechenden Koordinatensystemen, insbesondere eine Transformation zwischen entsprechenden Koordinatensystemen. Dementsprechend bezeichnet das Symbol„o" vorliegend ohne Beschränkung der Allgemeinheit insbesondere allgemein eine Verknüpfung von Transformationen, beispielsweise eine Multiplikation von Denavit-Hartenberg-Matrizen, eine Multiplikation von
Rotationsmatrizen und Addition von translatorischen Verschiebungen oder
dergleichen.
In einer Ausführung werden das virtuelle Modell und der virtuelle Marker auf einer gemeinsamen virtuellen Ebene angeordnet, insbesondere aufgelegt, und/oder an einer virtuellen Kante relativ zueinander ausgerichtet. Zusätzlich oder alternativ werden in einer Ausführung der zweite reale Marker und das realen Objekt auf einer gemeinsamen realen Ebene angeordnet, insbesondere aufgelegt, und/oder an einer realen Kante relativ zueinander ausgerichtet, wobei in einer Weiterbildung die virtuelle Ebene eine Repräsentation der realen Ebene und/oder die virtuelle Kante eine
Repräsentation der realen Kante ist.
Dem liegt die Erkenntnis zugrunde, dass auch reale Objekte, die keine ebenen Flächen aufweisen, regelmäßig auf einer realen Ebene aufgelegt werden können und so eine definierte Ausrichtung des zweiten realen Markers bzw. eines durch diesen definierten Koordinatensystems relativ zu dem Objekt bzw. einem objektfesten
Koordinatensystem ermöglichen, insbesondere, wenn der zweite reale Marker auch auf der gemeinsamen realen Ebene liegt und an der (gemeinsamen) realen Kante ausgerichtet wird.
In einer Ausführung werden/wird das virtuelle Modell und/oder der virtuelle Marker virtuell um die virtuelle Kante gedreht, bis es bzw. er auf der gemeinsamen virtuellen Ebene aufliegend angeordnet ist bzw. aufliegt. Zusätzlich oder alternativ wird in einer Ausführung ein virtueller Kontaktpunkt des virtuellen Modells und/oder des virtuellen Markers mit der gemeinsamen virtuellen Ebene vorgegeben, der von der virtuellen Kante beabstandet ist.
Hierdurch kann ein Drehfreiheitsgrad um die Kante aufgelöst werden. In einer Ausführung wird das virtuelle Modell an dem realen Objekt entsprechend, d.h. auf Basis, der erfassten Position des ersten realen Markers, der Position des virtuellen Markers relativ zu dem virtuellen Modell und der ermittelten Abweichung sowie gegebenenfalls der bekannten weiteren Abweichung ausgerichtet.
Insbesondere wenn in einer Ausführung die Position des virtuellen Markers relativ zu dem virtuellen Modell gleich der Position des zweiten realen Markers relativ zu dem realen Objekt ist oder demgegenüber die bekannte weitere Abweichung aufweist und diese Position des zweiten realen Markers relativ zu dem realen Objekt ihrerseits aufgrund der Ausrichtung von zweitem realen Marker und realem Objekt relativ zueinander bekannt ist, kann von der erfassten Position des ersten realen Markers aus unter Berücksichtigung der ermittelten Abweichung die Position des virtuellen Markers und von dieser dann, gegebenenfalls unter Berücksichtigung der bekannten weiteren Abweichung, die Position des virtuellen Modells ermittelt und dieses somit an dem realen Objekt ausgerichtet werden.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere ein Augmented Reality System, zur Ausrichtung eines virtuellen Modells an einem realen Objekt, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
Erfassungsmittel zum Erfassen einer Position des ersten realen Markers; und
Ausrichtemittel zum Ausrichten des virtuellen Modells und des virtuellen Markers relativ zueinander entsprechend, d.h. auf Basis, der Position des ersten realen Markers relativ zu dem realen Objekt, wobei die Position des virtuellen Markers relativ zu dem virtuellen Modell gegenüber der Position des ersten realen Markers relativ zu dem realen Objekt eine Abweichung aufweist;
wobei das Ausrichtemittel aufweist:
Mittel zum Ermitteln der Position des zweiten realen Markers relativ zu dem ersten realen Marker; und
Mittel zum Ermitteln der Abweichung auf Basis der ermittelten Position des zweiten realen Markers relativ zu dem ersten realen Marker, insbesondere derart, dass die Abweichung gleich der Position des zweiten relativ zu dem ersten realen Marker ist. In einer Ausführung weist das System auf:
Mittel zum Anordnen, insbesondere Auflegen, des virtuellen Modells und des virtuellen Markers auf einer gemeinsamen virtuellen Ebene und/oder zum Ausrichten des virtuellen Modells und des virtuellen Markers an einer virtuellen Kante relativ zueinander; und/oder
Mittel zum virtuellen Drehen des virtuellen Modells und/oder des virtuellen Markers um die virtuelle Kante, bis es bzw. er auf der gemeinsamen virtuellen Ebene aufliegt, und/oder zum Vorgeben eines virtuellen Kontaktpunkts des virtuellen Modells und/oder des virtuellen Markers mit der gemeinsamen virtuellen Ebene, der von der virtuellen Kante beabstandet ist; und/oder
Mittel zum Ausrichten des virtuellen Modells an dem realen Objekt entsprechend, d.h. auf Basis, der erfassten Position des ersten realen Markers, der Position des virtuellen Markers relativ zu dem virtuellen Modell und der ermittelten Abweichung sowie gegebenenfalls der bekannten weiteren Abweichung.
Unter einem Ausrichten eines virtuellen Modells an einem realen Objekt wird vorliegend insbesondere verstanden, dass eine Position des virtuellen Modells bzw. modellfesten Koordinatensystems, insbesondere in einer augmentierten Szene, mit einer Position des realen Objekts bzw. objektfesten Koordinatensystems,
insbesondere eines Abbildes des realen Objekts in der augmentierten Szene, übereinstimmt bzw. das virtuelle Modell entsprechend einer (mittels des ersten realen Markers) erfassten Position bzw. Bewegung des realen Objekts positioniert bzw.
(mit)bewegt wird. Dies kann in einer Ausführung durch entsprechende Transformation des virtuellen Modells und/oder Abbildes des realen Objekts in der augmentierten Szene erfolgen. Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind,
abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder
Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann und damit insbesondere ein virtuelles Modell an einem realen Objekt ausrichten kann. In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des
Verfahrens manuell, halbautomatisch oder - vorzugsweise wahlweise - automatisch durchgeführt, insbesondere durch das System bzw. seine Mittel.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert: Fig. 1 : eine zu augmentierende Szene mit einem realen Objekt und dessen noch nicht ausgerichtetem virtuellen Modell; und
Fig. 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt eine zu augmentierende Szene mit einem realen Objekt 1 und dessen noch nicht ausgerichtetem virtuellen Modell 2 sowie eine Kamera 5 und ein
Ausrichtemittel in Form eines entsprechend programmierten Computers 10 zur Ausrichtung des virtuellen Modells 2 an dem realen Objekt 1 in der augmentierten Szene nach einer Ausführung der vorliegenden Erfindung.
In einem Schritt S10 wird an dem realen Objekt 1 an einer von der Kamera 5 im Betrieb gut erfassbaren Position ein erster realer Marker 3 angeordnet. Dabei müssen nicht, wie in Fig. 1 gezeigt, Kanten 3.1 , 3.2 des ersten realen Markers 3 mit Kanten 1.1 , 1.2 des realen Objekts 1 fluchten. Vielmehr kann das in Fig. 1 nur schematisiert dargestellte reale Objekt 1 an der Position des ersten realen Markers 3 beliebig geformt sein, beispielsweise Freiformflächen oder dergleichen aufweisen. Zuvor, anschließend oder parallel werden das realen Objekt 1 und ein zweiter realer Marker 3' auf einer gemeinsamen realen Ebene 6 aufliegend angeordnet und an einer realen Kante 1.3 des Objekts 1 bzw. 3.3 des zweiten Markers 3' relativ zueinander ausgerichtet, so dass die beiden Kanten 1.3, 3.3 miteinander fluchten und Ecken 1 .4 des Objekts bzw. 3.4 des zweiten realen Marker 3' übereinstimmen. In einem Schritt S20 werden durch die Kamera 5 eine Position rdes ersten Markers 3 und eine Position r' des zweiten Markers 3' (relativ zur Kamera bzw. einem
Weltkoordinatensystem /) erfasst und durch den Computer 0 eine Position a des zweiten Markers 3' relativ zu dem ersten Marker 3 ermittelt.
Zuvor, anschließend oder parallel werden in einer Anzeigeeinrichtung des Computers 10 das virtuelle Modell 2 und ein virtueller Marker 4' dargestellt.
Durch einen Anwender werden mittels einer Eingabeeinrichtung des Computers 10, beispielsweise eine Maus, ein Spaceball oder dergleichen, das virtuelle Modell 2 und der virtuelle Marker 4' relativ zueinander derart ausgerichtet, dass die Position b des virtuellen Markers 4' bzw. dessen Koordinatensystem V relativ zu dem virtuellen Modell 2 bzw. dessen modellfestem Koordinatensystem M gleich der Position b des zweiten realen Markers 3' bzw. dessen Koordinatensystem R' relativ zu dem realen Objekt 1 bzw. dessen objektfestem Koordinatensystem O ist, die ihrerseits von der Position v des ersten realen Markers 3 bzw. dessen Koordinatensystem R relativ zu dem realen Objekt 1 bzw. dessen objektfestem Koordinatensystem O verschieden, jedoch aufgrund der Ausrichtung von zweitem realen Markers 3' und Objekt 1 zueinander bekannt ist. In einer nicht dargestellten Abwandlung könnte die Position des virtuellen Markers 4' (bzw. dessen Koordinatensystem V) relativ zu dem virtuellen Modell 2 (bzw. dessen modellfestem Koordinatensystem ) gegenüber der Position des zweiten realen Markers 3' (bzw. dessen Koordinatensystem R1) relativ zu dem realen Objekt 1 (bzw. dessen objektfestem Koordinatensystem O) auch eine bekannte weitere Abweichung aufweisen, beispielsweise um 90° verdreht sein. Zum (virtuellen) Ausrichten werden zunächst eine Kante 2.3 des virtuellen Modells 2 und der virtuelle Marker 4' auf einer gemeinsamen virtuellen Ebene 7 angeordnet und virtuelles Modell 2 und virtueller Marker 4' an der Kante 2.3 des virtuellen Modells 2 bzw. 4.3 des virtuellen Markers 4' relativ zueinander ausgerichtet, so dass die beiden Kanten 2.3, 4.3 miteinander fluchten und eine Ecke 2.4 des Modells und eine Ecke 4.4 des virtuellen Markers 4' übereinstimmen.
Um den verbleibenden Drehfreiheitsgrad zwischen Modell 2 und virtuellem Marker 4' präzise und in Übereinstimmung mit der Position b des zweiten realen Markers 3' relativ zum Objekt 1 festzulegen, wird dann das Modell 2 virtuell um seine Kante 2.3 gedreht, bis es auf der gemeinsamen virtuellen Ebene 7 aufliegt.
Alternativ können Modell 2 und virtueller Marker 4' bereits in der in Fig. 1 gezeigten Orientierung auf der gemeinsamen virtuellen Ebene 7 aufliegend angeordnet und an der Kante 2.3 des virtuellen Modells 2 bzw. 4.3 des virtuellen Markers 4' relativ zueinander ausgerichtet und hierzu ein virtueller Kontaktpunkt 2.5 des virtuellen Modells 2 mit der gemeinsamen virtuellen Ebene 7 durch den Anwender mittels der Eingabeeinrichtung vorgegeben, insbesondere in der Darstellung angeklickt, werden. Auch hierdurch kann der Drehfreiheitsgrad zwischen Modell 2 und virtuellem Marker 4' präzise und in Übereinstimmung mit der Position b des zweiten realen Markers 3' relativ zum Objekt 1 festgelegt werden. Alternativ oder zusätzlich könnte in gleicher Weise auch der virtuelle Marker
4' verdreht werden, bis er in der virtuellen Ebene 7 liegt, oder ein virtueller
Kontaktpunkt des virtuellen Markers 4' mit der virtuellen Ebene 7 vorgegeben, insbesondere angeklickt, werden.
Der Computer 10 ermittelt in einem Schritt S30 eine Abweichung a der Position b des virtuellen Markers 4' bzw. dessen Koordinatensystem V relativ zu dem virtuellen Modell 2 bzw. dessen modellfesten Koordinatensystem M gegenüber der Position v des ersten realen Markers 3 bzw. dessen Koordinatensystem R relativ zu dem realen Objekt 1 bzw. dessen objektfesten Koordinatensystem O auf Basis der ermittelten Position a des zweiten realen Markers 3' bzw. dessen Koordinatensystem R' relativ zu dem ersten realen Marker 3 bzw. dessen Koordinatensystem R. b = v o a. Somit werden das virtuelle Modell 2 und der virtuelle Marker 4' relativ zueinander entsprechend, d.h. auf Basis der Position v des ersten realen Markers 3 relativ zu dem Objekt 1 ausgerichtet, wobei die Position b des virtuellen Markers 4' relativ zu dem Modell 2 gegenüber dieser Position v die ermittelte Abweichung a aufweist. In der augmentierten Szene kann nun das virtuelle Modell 2 automatisch an dem realen Objekt 1 ausgerichtet werden, indem sozusagen der virtuelle Marker 4' mit daran angeheftetem virtuellen Modell 2 mit dem realen Marker 3 - unter
Berücksichtigung obiger Abweichung a - zur Deckung gebracht wird. Hierzu wird die Position m des Modells 2 bzw. dessen modellfesten Koordinatensystems M relativ zum Koordinatensystem /, in dem die Position r des ersten realen Markers 3 mittels der Kamera 5 erfasst wird, in der augmentierten Szene bestimmt: m = b o a o r mit der (kamera)erfassten Position r, der ermittelten Abweichung a zwischen v und b und der aufgrund der Ausrichtung 1 .3 <^ 3.3, 1 .4 <-» 3.4 bekannten Position b des zweiten realen Markers 3' relativ zu dem Objekt 1 . Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen
Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die
Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die
Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten
Merkmalskombinationen ergibt. Bezugszeichenliste
1 reales Objekt
1 .1 - 1.3 Kante
1.4 Ecke
2 virtuelles Modell
2.1 - 2.3 Kante
2.4 Ecke
2.5 Kontaktpunkt
3 erster realer Marker
3' zweiter realer Marker
3.1 - 3.3 Kante
3.4 Ecke
4; 4' virtueller Marker
4.1 - 4.3 Kante
4.4 Ecke
5 Kamera
6 reale Ebene
7 virtuelle Ebene
10 Computer a ermittelte Abweichung = Position zweiter relativ zu erstem realen Marker b Position virtueller/zweiter realer Marker zu Modell/Objekt
/ Weltkoordinatensystem
m Position Modell
M modellfestes Koordinatensystem
O objektfestes Koordinatensystem
r; r' Position erster/zweiter realer Marker
R, R' (Marker)Koordinatensystem
v Position erster realer Marker zu Objekt
V, V (Marker)Koordinatensystem

Claims

Patentansprüche
Verfahren zur Ausrichtung eines virtuellen Modells
(2) an einem realen Objekt (1 ), insbesondere in einer erweiterten Realität („Augmented Reality"), wobei an dem realen Objekt ein erster realer Marker (3) angeordnet ist, mit den Schritten:
Erfassen (S20) einer Position (r) des ersten realen Markers;
und
Ausrichten (S20) des virtuellen Modells und eines virtuellen Markers (4') relativ zueinander entsprechend der Position des ersten realen Markers relativ zu dem realen Objekt;
wobei die Position (b) des virtuellen Markers relativ zu dem virtuellen Modell gegenüber der Position (v) des ersten realen Markers relativ zu dem realen Objekt eine Abweichung (a) aufweist;
gekennzeichnet durch die Schritte:
Ermitteln (S20) einer Position (a) eines zweiten realen Markers (3') relativ zu dem ersten realen Marker; und
Ermitteln (S30) der Abweichung auf Basis der ermittelten Position des zweiten realen Markers relativ zu dem ersten realen Marker.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Position des virtuellen Markers relativ zu dem virtuellen Modell gleich der Position (b) des zweiten realen Markers relativ zu dem realen Objekt, welche von der Position des ersten realen Markers relativ zu dem realen Objekt verschieden ist, ist oder eine bekannte weitere Abweichung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das virtuelle Modell und der virtuelle Marker auf einer gemeinsamen virtuellen Ebene (7) angeordnet und/oder an einer virtuellen Kante (2.
3,
4.3) relativ zueinander ausgerichtet werden und/oder der zweite reale Marker und das reale Objekt auf einer gemeinsamen realen Ebene (6) angeordnet und/oder an einer realen Kante (1 .3, 3.3) relativ zueinander ausgerichtet werden.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das virtuelle Modell und/oder der virtuelle Marker virtuell um die virtuelle Kante gedreht wird, bis es bzw. er auf der gemeinsamen virtuellen Ebene aufliegend angeordnet ist, und/oder ein virtueller Kontaktpunkt (2.5) des virtuellen Modells und/oder des virtuellen Markers mit der gemeinsamen virtuellen Ebene
vorgegeben wird, der von der virtuellen Kante beabstandet ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das virtuelle Modell an dem realen Objekt entsprechend der erfassten
Position des ersten realen Markers, der Position des virtuellen Markers relativ zu dem virtuellen Modell und der Abweichung ausgerichtet wird.
6. System, insbesondere Augmented Reality System, zur Ausrichtung eines
virtuellen Modells (2) an einem realen Objekt (1 ), zur Durchführung eines
Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
Erfassungsmittel (5) zum Erfassen einer Position (r) des ersten realen Markers; und
Ausrichtemittel (10) zum Ausrichten des virtuellen Modells und des virtuellen Markers (4') relativ zueinander entsprechend der Position des ersten realen
Markers (3) relativ zu dem realen Objekt (1 ), wobei die Position (b) des virtuellen Markers relativ zu dem virtuellen Modell gegenüber der Position (v) des ersten realen Markers relativ zu dem realen Objekt eine Abweichung (a) aufweist;
wobei das Ausrichtemittel aufweist:
Mittel zum Ermitteln der Position (a) des zweiten realen Markers relativ zu dem ersten realen Marker; und
Mittel zum Ermitteln der Abweichung auf Basis der ermittelten Position des zweiten realen Markers relativ zu dem ersten realen Marker.
7. System nach dem vorhergehenden Anspruch, gekennzeichnet durch Mittel zum Anordnen des virtuellen Modells und des virtuellen Markers auf einer
gemeinsamen virtuellen Ebene (7) und/oder zum Ausrichten des virtuellen Modells und des virtuellen Markers an einer virtuellen Kante (2.3, 4.3) relativ zueinander.
8. System nach dem vorhergehenden Anspruch, gekennzeichnet durch Mittel zum virtuellen Drehen des virtuellen Modells und/oder des virtuellen Markers um die virtuelle Kante, bis es bzw. er auf der gemeinsamen virtuellen Ebene aufliegend angeordnet ist, und/oder zum Vorgeben eines virtuellen Kontaktpunkts (2.5) des virtuellen Modells und/oder des virtuellen Markers mit der gemeinsamen virtuellen Ebene, der von der virtuellen Kante beabstandet ist.
9. System nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Mittel zum Ausrichten des virtuellen Modells an dem realen Objekt entsprechend der erfassten Position des ersten realen Markers, der Position des virtuellen Markers relativ zu dem virtuellen Modell und der Abweichung.
10. Computerprogramm, das Schritte eines Verfahrens nach einem der
vorhergehenden Ansprüche ausführt, wenn es auf einem Computer (10) abläuft.
1 1. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer (10) lesbaren Medium gespeichert ist, zur Durchführung eines
Verfahrens nach einem der vorhergehenden Ansprüche.
PCT/EP2017/000589 2016-05-18 2017-05-15 Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt Ceased WO2017198331A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE212017000139.9U DE212017000139U1 (de) 2016-05-18 2017-05-15 System zur Ausrichtung eines virtuellen Modells an einem realen Objekt

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016006232.0 2016-05-18
DE102016006232.0A DE102016006232A1 (de) 2016-05-18 2016-05-18 Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt

Publications (1)

Publication Number Publication Date
WO2017198331A1 true WO2017198331A1 (de) 2017-11-23

Family

ID=59014550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/000589 Ceased WO2017198331A1 (de) 2016-05-18 2017-05-15 Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt

Country Status (2)

Country Link
DE (2) DE102016006232A1 (de)
WO (1) WO2017198331A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310865A (zh) * 2020-09-25 2022-04-12 西克股份公司 为机器区域配置可视化设备
US20240112423A1 (en) * 2022-10-04 2024-04-04 Atos France Real-time gateway between a virtual environment and a real environment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6895128B2 (ja) * 2018-11-09 2021-06-30 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005005242A1 (de) * 2005-02-01 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
DE102007059478B4 (de) 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
DE102014106718A1 (de) * 2014-05-13 2015-11-19 Immersight Gmbh Verfahren und System zur Bestimmung einer gegenständlichen Lage
DE102014213113A1 (de) * 2014-07-07 2016-01-07 Volkswagen Aktiengesellschaft Dreidimensionales Augmented-Reality-Verfahren, insbesondere im Automobilbereich

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005005242A1 (de) * 2005-02-01 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
DE102007059478B4 (de) 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
DE102014106718A1 (de) * 2014-05-13 2015-11-19 Immersight Gmbh Verfahren und System zur Bestimmung einer gegenständlichen Lage
DE102014213113A1 (de) * 2014-07-07 2016-01-07 Volkswagen Aktiengesellschaft Dreidimensionales Augmented-Reality-Verfahren, insbesondere im Automobilbereich

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310865A (zh) * 2020-09-25 2022-04-12 西克股份公司 为机器区域配置可视化设备
CN114310865B (zh) * 2020-09-25 2024-03-12 西克股份公司 为机器区域配置可视化设备
US20240112423A1 (en) * 2022-10-04 2024-04-04 Atos France Real-time gateway between a virtual environment and a real environment
US12518493B2 (en) * 2022-10-04 2026-01-06 Atos France Real-time gateway between a virtual environment and a real environment

Also Published As

Publication number Publication date
DE212017000139U1 (de) 2019-01-08
DE102016006232A1 (de) 2017-11-23

Similar Documents

Publication Publication Date Title
DE102007059478B4 (de) Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
EP3966731B1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE102022130652A1 (de) Anlernen eines roboters durch vorführen mit visualservoing
DE102019116834B4 (de) Augmentierte Fotoaufnahme
DE102018105955B4 (de) Vorrichtung zur Berechnung des Bereichs außerhalb eines Untersuchungsziels und Verfahren zur Berechnung des Bereichs außerhalb eines Untersuchungsziels eines Untersuchungssystems
DE102015115394A1 (de) Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
WO2017198331A1 (de) Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt
DE102018215316A1 (de) Kalibrierungssystem und Kalibrierungsverfahren für eine Fahrzeug-Erfassungseinrichtung
DE102017216093B4 (de) Verfahren zur Parametrierung eines robotischen Manipulators
WO2007065750A1 (de) Trackingsystem und verfahren zur posenbestimmung
EP4121897B1 (de) Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
EP4536447A1 (de) Erhöhung der greifrate
DE102009058349A1 (de) Verfahren und Programm zum Extrahieren eines Silhouettenbildes und Verfahren und Programm zum Erstellen eines dreidimensionalen Modells
DE102019218381A1 (de) Unterstützung von Arbeiten an Schalungen und Gerüsten
WO2023280566A1 (de) Verfahren und system zum durchführen einer industrie-, insbesondere roboterapplikation
DE102018128184A1 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Erzeugung eines gelabelten Bildes
DE102012211734A1 (de) Verfahren und Vorrichtung zum Erfassen der Lage eines Objekts in einer Werkzeugmaschine
EP4485348B1 (de) Computer-implementiertes verfahren und werkzeug zur optischen qualitätskontrolle von zwischen- oder endprodukten von produktionsanlagen sowie produktionsanlagensteuerung
EP3809094A1 (de) Verfahren und anordnung zum visualisieren von sensorsignalen eines optischen sensors eines koordinatenmessgeräts oder mikroskops sowie verfahren und anordnung zum visualisieren eines sensors eines koordinatenmessgeräts oder mikroskops
DE102017011897B4 (de) Detektion von Objekten mithilfe robotergeführter Sensoren
DE102022213555A1 (de) Objektlagedetektion mit automatisierter Merkmalsextraktion und/oder Merkmalszuordnung
EP4567652A1 (de) Verfahren und vorrichtung zum generieren eines 3d-computermodells eines objekts aus 3d-scan daten
WO2024125918A1 (de) Objektlagedetektion mit automatisierter merkmalsextraktion und/oder merkmalszuordnung
WO2024160456A1 (de) Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus
DE102022213562A1 (de) Greifen mit Verpackungsmaterial

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17728053

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17728053

Country of ref document: EP

Kind code of ref document: A1