WO2018036741A1 - Trackingloses projektionsbasiertes "augmented reality [ar]"-verfahren und -system zur montageunterstützung von produktionsgütern, insbesondere zum lokalisieren von nutensteinen für die bauteilmontage im waggonbau - Google Patents

Trackingloses projektionsbasiertes "augmented reality [ar]"-verfahren und -system zur montageunterstützung von produktionsgütern, insbesondere zum lokalisieren von nutensteinen für die bauteilmontage im waggonbau Download PDF

Info

Publication number
WO2018036741A1
WO2018036741A1 PCT/EP2017/068818 EP2017068818W WO2018036741A1 WO 2018036741 A1 WO2018036741 A1 WO 2018036741A1 EP 2017068818 W EP2017068818 W EP 2017068818W WO 2018036741 A1 WO2018036741 A1 WO 2018036741A1
Authority
WO
WIPO (PCT)
Prior art keywords
stored
pje
projection
zwa
data
Prior art date
Application number
PCT/EP2017/068818
Other languages
English (en)
French (fr)
Inventor
Markus Sauer
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2018036741A1 publication Critical patent/WO2018036741A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the invention relates to or relates to a trackinglo ⁇ ses proj tion based "Augmented Reality [AR]” method for mounting support of production goods, in particular for locating sliding blocks for component assembly in wagon construction, according to the preamble of claim 1 and a trackless laser-based "Augmented Reality [AR] "system for mounting support of production goods, in particular for locating sliding blocks for component assembly in wagon construction, according to the preamble of claim 7.
  • Context-independent The information is provided without consideration of the situation and without reference to the spatial environment.
  • Context-dependent (appropriate to the situation): The information is assigned to the currently considered, real object and provided ⁇ accordingly at the right time and at the right place ⁇ .
  • Congruent The information is provided exactly at the position of the corresponding real object and in the correct perspective.
  • “Augmented reality [AR]” systems which virtual plan data of the real world either camera-based (eg on smartphone or tablet), "see-through” based [eg in the form of head mounted displays) or by projection (eg laser projector, video projector, etc.) are very promising here - for assembly support - because they correctly display the information registered in the user's own environment.
  • Such systems could, despite their high Potenziales not prevail, since a robust tracking as a key component of "Augmented Reality [AR]” either very alswen ⁇ dig or not reliable enough.
  • the tracking can be carried out on the augmented reality devices eg visually with and without markers on the camera image or all involved components including the display device are continuously tracked externally with all six degrees of freedom [eg by a system like ARTrack).
  • the creation of the corresponding tracking, reference information and content (AR authoring), the modeling of virtual and real coverings and the uniqueness of landmarks is a problem in particular with uniform structures, such as the aluminum shell of a train wagons.
  • the sliding blocks are used to mount attachments (such as luggage racks).
  • the sliding blocks are in accordance with planning of the attachments in These rails are positioned by measuring tape.
  • the position of the grooves ⁇ stones must be measured again, open the insulation and closed after mounting the attachments again.
  • the problem underlying the invention is to provide a trackingless project-based "Augmented Reality [AR]" method and system for assembly support of production goods, in particular for locating sliding blocks for component assembly in wagon construction, with which the production process of the production goods is optimized in terms of time spent, cost position and error rate.
  • AR Augmented Reality
  • a, preferably mobile, AR proj ection unit for locating mounting positions in relation to the production to be manufactured and on a to be located Mon ⁇ days position of the production to be manufactured with the help of stored on the basis of stored, the AR proj edictionsaku supplied construction -, work plan and 3D model information of the production goods determined and stored position data is positioned and aligned, aligning the AR projection unit based on calibration data generated by calibration,
  • a projection image in shape and form an assembly template is calculated with "Spatial Augmented Reality" -based Me ⁇ methods on the basis of the stored position data, the projection properties of the projection unit of the stored calibration data and the stored 3D model information and
  • the currency without a "tracking" manages rend the operation is exploited that the Vice ⁇ advertising production of production goods, such as the car construction and the product, the train car, are very well known and one additional precision Can realize production aids on the production or the train wagon.
  • the AR system preferably contains the following components:
  • the assembly of the projection unit on the holding ⁇ tion is unique and fix in all six degrees of freedom.
  • a functioning as a computing unit and functioning control device which is designed for example as a laptop, smartphone, tablet or smartwatch.
  • the arithmetic unit provides the visual data for the projection unit.
  • the corresponding Pro ⁇ jedgingstruck is calculated and displayed on the control unit or the arithmetic unit to the projection unit and thus the "Real-Weit" superimposed.
  • a database for configuration data in which the position data, the projection properties of the projection unit, the calibration data are stored as configuration data and made available for use.
  • projection image data belonging to the calculated projection images are stored in the database. 6.
  • An "engineering backend" system in which the construction, work plan and 3D model information for the projection unit for the corresponding production ⁇ step for production or production of the production goods are made available.
  • the projection unit and ultimately the entire AR system are essentially mobile and to
  • Calculation of the projection images can be used by any device that can address a projector, such as, for example, and smartphones.
  • a battery operation is easy to implement.
  • the AR system can be used from standard components for the most part, a cost Realisie ⁇ tion is possible.
  • All projections or projection images in the form and shape of the mounting templates can be calculated offline or in advance.
  • the time for set-up and calibration is set to one work step before the actual production.
  • the calculation can be carried out largely automated. Only the calibration of the projection unit
  • the setup consists only of the mounting on the corresponding holder and the input of an identification of the holder in the control unit or the computing unit.
  • the FIGURE shows a tracking loose proj edictionsbasêts before ⁇ preferably laser or beamer based, "Augmented Reality
  • [AR] system ARS for assembly support for the construction or production of a train wagon ZWA
  • Housing GH is located in the intermediate space between the outer skin of the housing GH, a housing wall GHW, and a housing insulation GHI lying in the interior of the train carriage ZWA
  • a NST NST In a train wagon to be mounted are usually several such nuts in the space formed at different Posi Due to the housing insulation GHI, the exact location where the NST NST is located is obscured and no longer visible, which makes further assembly of the ZWA train wagon more difficult, for which reason the traction-free projection-based, preferably laser, is now used - or beamer based, "Augmented Reality [AR]" system ARS turned ⁇ set to one by the N utenstein NST predetermined mounting position ⁇ MTP to taping the component mounting of the train wagon PTO loka ⁇ .
  • an AR projection unit PJE which is preferably designed to be mobile.
  • sliding blocks are arranged or accommodated in the train wagon ZWA along the entire length of the train waggon, in other words that then, in general several AR-Proj ekomshou are necessary in order predetermined by the sliding blocks mounting positions for the further Glaswaggonmontage to thanksi ⁇ Sieren.
  • These AR projection points can then be served by placing the AR system ARS at the appropriate location.
  • this (the operation of the AR project points) of several AR project units PJE it is also possible to use this (the operation of the AR project points) of several AR project units PJE.
  • the can is in the train car PTO for the AR-Proj edictionsaku PJE and ection any other required AR Project or AR Proj edictionsappel PJE each one holder HLT reversibly attached to the housing wall GHW, eg by welding or screwing.
  • the reversibly mountable mount HLT serves as a receptacle AR proj etechnischsaku PJE, whereby it is positioned for positioning with respect to the mounting position MTP stationary in all six degrees of freedom. With this, the location coordinates of the bracket HLT in the train wagon
  • the ZWA can be used for the determination of position data for the localization of the mounting position MTP with the AR proj etechnischsaku PJE, the holder HLT has an identification ID.
  • the control unit STG is a, preferably mobile, control unit STG connected to the AR projection unit PJE.
  • the control unit STG includes a non Peek ⁇ term readable storage SP are stored in the processor readable control program commands an image calculation module BBM, and a processor PZ to which a data interface DS and a control interface STS contained in the control device STG are assigned.
  • the processor PZ and thus the control unit STG are connected to the AR projection unit PJE via the control interface STS.
  • the processor PZ and thus the control unit STG via the data DS interface with a database DB and an "engineering backend" system EBS.
  • the processor determines PZ position data for the AR-Proj etechnischsaku PJE, which are stored via the data interface ⁇ point DS in the database DB, and either immediately or with a delay through the control interface of the ⁇ le STS of AR proj ection unit PJE be supplied. With this position data, the AR projection unit PJE, which is held stationary by the bracket HLT, is positioned.
  • the AR system ARS is basically for the The intended purpose for mounting assistance, as far as the alignment is concerned, ready for use.
  • the processor PZ executes the control commands of the Rickbeticiansmo ⁇ module BBM by accessing the memory SP and accesses the data interface DS and the control interface STS of the control device STG of ⁇ art that on the basis of the stored position data, the projection properties the projection unit PJE, the stored calibration data and the stored 3D Model information, which arrive via the data interface DS in the processor PZ, a projection image in the form and shape of a mounting template using the Jardinbearbei ⁇ tion module BBM applied "Spatial Augmented Reality" - based methods is calculated and to the calculated projection image corresponding image information on the Da ⁇ interface DS are stored in the database DB and transmitted either directly or with a time delay via the control interface STS to the AR proj edictionshim PJE. Due to the image calculation can be in the controller STG also speak of a computing unit.
  • the AR-Proj edictionsillon PJE to receive this image information is now embodied such that the calculated projection image or the mounting template to the Montagepo ⁇ sition MTP of is superimposed to be manufactured train cars TWA by the sent by the control unit STG image information.
  • all projections are in advance (time offset according to the mentioned prior ⁇ standing aspect) calculates and sets off as image files.
  • the control unit or the arithmetic unit and the AR projection unit then only have to display the corresponding image (after the time-delayed calculation) and no longer perform any calculations. This is possible since all projection points and projection steps are known and thus an automatic precalculation can take place.
  • the AR system ARS is used in consideration of the above explanations as follows. First AR Proj their projec ⁇ onseigenschaften will respect e Erasmussritt PJE. Calibrated and stored calibration data in the database DB. Based on work planning, design data and 3D model information as well as the potash During the construction of the production goods or the train wagon ZWA, the position of the support HLT of the AR projection unit PJE is determined so that the AR projection unit is available for the corresponding work steps.
  • the technician mounts the projection AR-tion unit PJE to the holder HLT.
  • the identification code ID of the holder HLT in the control unit STG or in the arithmetic unit via the I / O input device IOE (eg barcode, RFID or keyboard input) and the process step in the control unit STG or in the Re ⁇ chentician, the corresponding projection image is calculated and correctly superimposed with the AR projection unit PJE at the mounting position MTP in the production item or the train wagon ZWA.
  • IOE eg barcode, RFID or keyboard input
  • the elements to be projected are mapped to the projection interfaces by 3D rendering.
  • 3D rendering 3D rendering.

Abstract

Um ein trackingloses proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren und -System zur Montageunterstützung von Pro- duktionsgütern anzugeben, mit dem der Fertigungsprozess der Produktionsgüter in Bezug auf Zeitaufwand, Kostenposition und Fehleranfälligkeit optimiert wird, werden eine, vorzugsweis mobile, AR-Proj ektionseinheit (PJE) zum Lokalisieren von Montagepositionen (MTP) in Bezug zu dem zu fertigenden Produktionsgut (ZWA) und auf eine zu lokalisierende Montageposition (MTP) des zu fertigenden Produktionsgutes (ZWA) mit Hilfe von auf der Basis von gespeicherten, der AR-Proj ektionseinheit (PJE) zugeführten Konstruktions-, Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) ermittelten und gespeicherten Positionsdaten positioniert und ausgerichtet, die AR-Proj ektionseinheit (PJE) aufgrund von durch Kalibrierung generierten, gespeicherten Kalibrierungsdaten eingerichtet, ein Projektionsbild in Form und Gestalt einer Montageschablone mit "Spatial Augmented Reality"-basierten Methoden auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit (PJE), der gespeicherten Kalibrierungsdaten und der ge- speicherten 3D-Modellinformationen berechnet und das berechnete Projektionsbild auf die Montageposition (MTP) des zu fertigenden Produktionsgutes (ZWA) durch entsprechende Ansteuerung der AR-Projektionseinheit (PJE) überlagert.

Description

Beschreibung
Trackingloses proj ektionsbasiertes "Augmented Reality [AR] "- Verfahren und -System zur Montageunterstützung von Produkti- onsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau
Die Erfindung betrifft oder bezieht sich auf ein trackinglo¬ ses proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, gemäß dem Oberbegriff des Patentanspruches 1 und ein Trackingloses laserbasiertes "Augmented Reality [AR] "- System zur Montageunterstützung von Produktionsgütern, insbe- sondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, gemäß dem Oberbegriff des Patentanspruches 7.
Gemäß dem Schlussbericht zu dem IGF-Vorhaben "Einsatz der Augmented-Reality-Technologie zur Unterstützung des Fahrers von Flurförderzeugen"; Berichtszeitraum 2012-2014; Seiten 1 bis 177, insbesondere Seiten 25 und 26 wird mit dem Begriff "Augmented Reality [AR]" (dt: "Erweiterte Realität") in sei¬ ner allgemeinsten Definition die computergestützte Erweite- rung der Realitätswahrnehmung bezeichnet. Dabei wird einer
Person bei der Wahrnehmung seiner Umgebung oder einer Situation mit den zur Verfügung stehenden Sinnen, in der sich die Person befindet, computergenerierte, virtuelle Informationen übermittelt, die Bezug zu der Umgebung oder der Situation nehmen und somit im Kontext dazu stehen. Wegen der überwie¬ genden Informationsaufnahme des Menschen über das Auge, etwa 70 bis 80% der insgesamt aufgenommenen Information wird hierüber aufgenommen, wird mit "Augmented Reality [AR] " überwie¬ gend die visuelle Wahrnehmung in Verbindung gebracht. Für an- dere Definitionen in der Fachliteratur ist die visuelle Informationserzeugung und -wiedergäbe sogar Voraussetzung. Eine andere Definition, bei der ein AR-System unabhängig von den technischen Eigenschaften definiert wird, definiert ein solches System wie folgt: "Ein AR-System ist ein System, welches virtuelle und reale Objekte kombiniert und in eine drei- dimensionale Beziehung stellt sowie die Interaktion in Echt¬ zeit erlaubt. "
"Augmented Reality [AR] "-Anwendungen sind vielfältig und ver¬ schieden. Dabei lässt sich exakte Überlagerung virtueller Ob- jekte auf reale Objekte je nach Anforderung kaum bis gar nicht zu realisieren. So gibt es abgestufte Anwendungen, bei denen keine visuell-realistische Darstellung, aber eine in¬ formative Darstellung erreicht wird. Grundsätzlich lässt sich bei "Augmented Reality [AR] " zwischen folgenden Arten der In- formationsbereitstellung unterscheiden:
Kontextunabhängig : Die Informationen werden ohne Berücksichtigung der Situation sowie ohne Bezug zur räumlichen Umgebung bereitgestellt .
Kontextabhängig (situationsgerecht) : Die Informationen werden dem aktuell betrachteten, realen Objekt zugeordnet und dem¬ entsprechend zur richtigen Zeit und am richtigen Ort bereit¬ gestellt.
Kongruent : Die Informationen werden exakt an der Position des entsprechenden realen Objektes und in der richtigen Perspektive bereitgestellt.
Im Zuge der vorliegenden Anmeldung wird es nachfolgend insbe¬ sondere um die kongruente Informationsdarstellung gehen.
Im Produktionsumfeld von Produktionsgütern, wie z.B. den Waggonbau von Bahnfahrzeugen oder den Kabinenbau von Flugzeugen, sind beim Aufbau, bei der Montage oder Fertigung dieser Güter sehr oft Positionierungsaufgaben und Messaufgaben durchzufüh- ren. Hierzu ist es erforderlich, die Plandaten aus dem Engineering auf das reale Produktionsgut zu übertragen bzw. diese Daten mit dem realen Produktionsgut abzugleichen. Hierzu ist es erforderlich, die Positionierung von Komponenten und Teil- komponenten zu einem Referenzpunkt zu kennen und zu verste¬ hen .
"Augmented Reality [AR] "-Systeme, welche virtuelle Plandaten der Realwelt entweder kamerabasiert (z.B. auf Smartphone oder Tablet) , "see-through"-basiert [z.B. in Form von Head Mounted Displays) oder durch Projektion (z.B. Laserprojektor, Beamer, etc.) überlagern, sind hier - zur Montageunterstützung - sehr viel versprechend, da sie dem Nutzer die Informationen in seinem natürlichen Umfeld korrekt registriert anzeigen. Derartige Systeme konnten sich trotz ihres hohen Potenziales noch nicht durchsetzen, da ein robustes Tracking als zentrale Komponente von "Augmented Reality [AR] " entweder sehr aufwen¬ dig oder nicht zuverlässig genug ist. Das Tracking kann auf dem Augmented Reality Geräte z.B. optisch mit und ohne Marker über das Kamerabild erfolgen oder alle beteiligten Komponenten inklusive dem Anzeigegerät werden extern mit allen sechs Freiheitsgraden kontinuierlich getrackt [z.B. durch ein System wie ARTrack) . Neben der reinen Robustheit der Erfassung sind weitere Herausforderungen: Das Erstellen der entsprechenden Tracking-, Referenzinformation und Inhalte (AR- Authoring) , die Modellierung von virtuellen und realen Verde- ckungen und die Eindeutigkeit von Landmarken. Diese Eindeu¬ tigkeit von Landmarken bei optischen Verfahren ist insbeson- dere bei gleichförmigen Strukturen, wie z.B. dem Aluminium- Rohbau eines Zugwaggons ein Problem.
Ein weiteres Problem im Bereich des Waggonbaus von Bahnfahrzeugen ist das Auffinden von Nutensteinen nach der Montage der Innenraumisolierung in den Zugwaggons:
In den Rohbau eines Zugwaggons werden Schienen für die Nutensteine eingebracht. · Die Nutensteine dienen zur Montage von Anbauteilen (wie z.B. Gepäckablagen).
Die Nutensteine werden gemäß Planung der Anbauteile in diesen Schienen per Maßband positioniert.
Nach der Platzierung der Nutensteine wird die Innenraum- Isolierung aufgebracht, wodurch die Nutensteine optisch verdeckt sind.
Zur Montage der Anbauteile muss die Position der Nuten¬ steine erneut vermessen werden, die Isolierung geöffnet und nach Montage der Anbauteile wieder verschlossen wer- den.
Dieser Prozess ist sehr zeitaufwendig und fehleranfällig. Im Zweifel werden große Teile der Isolierung wieder geöffnet, um den fehlenden Nutenstein zu finden.
Der Einsatz eines heute verfügbaren "Augmented Reality [AR] "- Systems zur Markierung der entsprechenden Nutensteinsteilen wäre in der beengten Umgebung des Wagens und mit den optisch gleichmäßigen Oberflächen kaum möglich.
Die Positionierung erfolgt heute meist noch durch Vermessung mit Zollstock, Maßband, oder digitalen Abstandsmessern (u.a. auch im Nutensteinbeispiel ) . Bei hoch präzisen Anforderungen und der zur Qualitätssicherung kommen dann zusätzlich noch Laservermessungssysteme bzw. Messtaster zum Einsatz.
Als eine Art von "Augmented Reality [AR] "-Systemen kommen zum Teil heute auch schon Laser-Projektionssysteme zum Einsatz.
Diese erfordern aber eine aufwendige Einmessung bei jeder Bewegung des Systems. Diese Systeme sind Infrastruktur gebun¬ den, berücksichtigen in der Regel nicht die drei dimensionale Struktur des Projektionsobjektes und erfordern auch eine se- parate Aufarbeitung der Projektionsinhalte für das System.
Daher werden diese Systeme in der Regel nur für Aufgaben mit höheren Stückzahlen angeschafft. Ein Einsatz in beengtem Raum (z.B. Zug in Lackieranlage, Nutensteinbeispiel) ist nur sei- ten sinnvoll möglich, da die Abdeckung von größeren Objekten sehr viele stationäre Systeme erfordert und damit auch die Kosten überverhältnismäßig steigen. Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein trackingloses proj ektionsbasiertes "Augmented Reality [AR] "- Verfahren und -System zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, anzugeben, mit dem der Fer- tigungsprozess der Produktionsgüter in Bezug auf Zeitaufwand, Kostenposition und Fehleranfälligkeit optimiert wird.
Diese Aufgabe wird ausgehend von dem im Oberbegriff des Pa¬ tentanspruchs 1 definierten AR-Verfahren durch die im Kenn- zeichen des Patentanspruches 1 angegebenen Merkmale gelöst.
Darüber hinaus wird die Aufgabe ausgehend von dem im Oberbe¬ griff des Patentanspruchs 7 definierten AR-System durch die im Kennzeichen des Patentanspruches 7 angegebenen Merkmale gelöst.
Die der Erfindung zugrundeliegende Idee gemäß der in den An¬ sprüchen 1 und 7 jeweils angegebenen technischen Lehre besteht darin, dass bei einem trackinglosen proj ektionsbasier- ten, vorzugsweise laser- oder beamerbasierten, "Augmented
Reality [AR] "-Verfahren und -System zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau,
eine, vorzugsweis mobile, AR-Proj ektionseinheit zum Loka- lisieren von Montagepositionen in Bezug zu dem zu fertigenden Produktionsgut und auf eine zu lokalisierende Mon¬ tageposition des zu fertigenden Produktionsgutes mit Hilfe von auf der Basis von gespeicherten, der AR- Proj ektionseinheit zugeführten Konstruktions- , Arbeits- plan- und 3D-Modellinformationen des Produktionsgutes ermittelten und gespeicherten Positionsdaten positioniert und ausgerichtet wird, die AR-Proj ektionseinheit aufgrund von durch Kalibrierung generierten, gespeicherten Kalibrierungsdaten ausgerichtet wird,
ein Projektionsbild in Form und Gestalt einer Montage- Schablone mit "Spatial Augmented Reality"-basierten Me¬ thoden auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit, der gespeicherten Kalibrierungsdaten und der gespeicherten 3D-Modellinformationen berechnet wird und
- das berechnete Projektionsbild auf die Montageposition des zu fertigenden Produktionsgutes durch entsprechende Ansteuerung der AR-Proj ektionseinheit überlagert wird.
Bei der vorliegenden Erfindung, die ohne ein "Tracking" wäh- rend des Betriebs auskommt, wird ausgenutzt, dass die Umge¬ bung der Produktion des Produktionsgutes, z.B. des Waggonbaus, und das Produkt, der Zugwaggon, sehr genau bekannt sind und man zusätzliche präzise Produktionshilfen an dem Produktionsgut bzw. dem Zugwaggon realisieren kann.
Um ein trackingloses proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren und -System zu realisieren, werden dabei dessen besonderen Eigenschaften, der hohe Bekanntheitsgrad der räumlichen Gegebenheiten im Umfeld des Produktionsgutes bzw. des Zugwaggons sowie die Möglichkeit, präzise Produktions¬ hilfsmittel zu realisieren und diese temporär, präzise mit dem Produktionsgut zu verbinden bzw. in dem Zugwaggon anzubringen, genutzt. In Bezug auf das AR-System bedeuten die Ausführungen zur der Erfindung zugrundeliegenden Idee, dass das AR-System vorzugsweise die folgenden Komponenten enthält:
1. Eine Projektionseinheit für ein trackingloses projekti- onsbasiertes , vorzugsweise laser- oder beamerbasiertes ,
"Augmented Reality [AR]", bei der Projektionseigenschaf¬ ten der Projektionseinheit durch eine vorgelagerte Kali¬ brierung bestimmt und in einer Datenbank für Konfigurati- onsdaten abgelegt werden. Eine Halterung für die Projektionseinheit, die als Pro¬ duktionshilfsmittel mit dem Produktionsgut bzw. dem Zug¬ waggon festverbunden ist (z.B. verschweißt oder verschraubt) und wenn es nicht mehr benötigt - spätestens bei Fertigstellung des Produktionsguts bzw. des Zugwag¬ gons - wieder demontiert wird. Die exakten Positionsdaten der Halterung respektive der Projektionseinheit im Ver¬ hältnis zum Produktionsgut sind Teil eines bestehenden Engineering Models für das Produktionsgut bzw. den Zug¬ waggon. Die Montage der Projektionseinheit auf der Halte¬ rung ist in allen sechs Freiheitsgraden eindeutig und fix . Eine als Recheneinheit fungierendes und funktionierendes Steuergerät, das z.B. als Laptop, Smartphone, Tablet oder Smartwatch ausgebildet ist. Die Recheneinheit stellt die visuellen Daten für die Projektionseinheit zur Verfügung. Ein als Softwarekomponente ausgebildetes Bildberechnungs¬ modul zur Berechnung von Projektionsbildern, vorzugsweise in Form und Gestalt von Montageschablone. Auf Basis der bekannten Positionsdaten der der Halterung respektive der Projektionseinheit, der Kalibrierungsdaten der Projekti¬ onseinheit und den 3D-Modellinformationen des Produkti¬ onsgutes bzw. des Zugwaggons wird das entsprechende Pro¬ jektionsbild berechnet und über das Steuergerät bzw. der Recheneinheit mit der Projektionseinheit visualisiert und somit der "Real-Weit" überlagert. Eine Datenbank für Konfigurationsdaten, in der die Positionsdaten, die Projektionseigenschaften der Projektionseinheit, die Kalibrierungsdaten als Konfigurationsdaten abgelegt und zur Nutzung bereitgestellt werden. Darüber hinaus werden in der Datenbank zu den berechneten Projektionsbildern gehörende Projektionsbilddaten gespeichert. 6. Ein "Engineering Backend"-System, in dem die Konstrukti- ons-, Arbeitsplan- und 3D-Modellinformationen für die Projektionseinheit für den entsprechenden Produktions¬ schritt zur Produktion bzw. Fertigung des Produktionsgu- tes zur Verfügung gestellt werden.
Die wichtigsten Vorteile für ein solches proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren und -System sind: - Es ist kein externes Tracking, aber auch keine Marker
oder nicht-Marker basiertes, optisches Tracking erforderlich bzw. allgemein kein Tracking zur Laufzeit. Trotzdem wird ein proj ektionsbasierten, vorzugsweise laser- oder beamerbasierten, "Augmented Reality [AR] "-Verfahren und- System mit hoher Zuverlässigkeit und Genauigkeit reali¬ siert .
Es kann mit kalibrierten Standard Projektionseinheiten realisiert werden. Das Projektionseinheit und letztlich das gesamte AR-System sind im Wesentlichen mobil und zur
Berechnung der Projektionsbilder können beliebige Geräte, die einen Projektor ansprechen können, genutzt werden, so beispielsweise und u.a. auch Smartphones. Prinzipiell ist auch ein Batteriebetrieb einfach zu realisieren. Da für das AR-System größtenteils aus Standard-Komponenten verwendet werden können, ist eine kostengünstige Realisie¬ rung möglich.
Alle Projektionen bzw. Projektionsbilder in Form und Ge- stalt der Montageschablonen können offline bzw. vorab berechnet werden. Dadurch wird in Bezug auf die Arbeitspla¬ nung die Zeit für Einrichtung und Kalibrierung auf einen Arbeitsschritt vor der eigentlichen Produktion gelegt. Die Berechnung kann weitestgehend automatisiert durchge- führt werden. Nur die Kalibrierung der Projektionseinheit
(mit der z.B. Projektionseigenschaften der Einheit bestimmt werden) erfordert zum Teil manuelle Arbeit von Hand. Dieser Teil der Einrichtung des AR-Systems muss aber für jeden Projektionseinheit auch nur einmal bzw. wenige Male erfolgen. Beim Einsatz des AR-Systems besteht das Setup nur noch aus der Montage an der entsprechenden Halterung und der Eingabe einer Identifikationskennung der Halterung in das Steuergerät bzw. die Recheneinheit.
Insgesamt bedeutet das, dass das AR-System sehr effizient in der Produktion einsetzbar ist.
Weitere Vorteile der Erfindung ergeben sich aus der nachfol- genden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUR.
Die FIGUR zeigt ein trackingloses proj ektionsbasiertes , vor¬ zugsweise laser- oder beamerbasiertes , "Augmented Reality
[AR] "-System ARS zur Montageunterstützung für den Bau bzw. die Herstellung eines Zugwaggons ZWA. Um die Montageunterstützung durch das AR-System ARS darstellen zu können, ist in der FIGUR der Querschnitt durch ein Gehäuse GH des Zugwaggons ZWA gezeigt. In dem Gehäuse GH befindet sich im Zwischenraum zwischen der Außenhaut des Gehäuses GH, einer Gehäusewand GHW, und einer im Innenraum des Zugwaggons ZWA liegenden Gehäuseisolierung GHI ein Nutenstein NST. In einem zu montierenden Zugwaggon sind in der Regel mehrere solcher Nutensteine in dem gebildeten Zwischenraum an unterschiedlichen Posi- tionen angeordnet. Aufgrund der Gehäuseisolierung GHI ist der genaue Ort, an dem sich der Nutenstein NST befindet verdeckt und nicht mehr sichtbar. Dadurch wird die weitere Montage des Zugwaggons ZWA erschwert. Aus diesem Grund wird nun das tra- ckinglose proj ektionsbasierte, vorzugsweise laser- oder beamerbasierte, "Augmented Reality [AR] "-System ARS einge¬ setzt, um eine durch den Nutenstein NST vorgegebene Montage¬ position MTP für die Bauteilmontage des Zugwaggons ZWA loka¬ lisieren zu können. Hierzu ist eine AR-Proj ektionseinheit PJE vorgesehen, die vorzugsweise mobil ausgeführt ist. Wie bereits vorstehend er¬ wähnt, sind in dem Zugwaggon ZWA entlang der kompletten Zugwaggonlänge Nutensteine angeordnet bzw. untergebracht, so dass dann auch im Allgemeinen mehrere AR-Proj ektionspunkte notwendig sind, um die durch die Nutensteine vorgegebenen Montagepositionen für die weitere Zugwaggonmontage zu lokali¬ sieren. Diese AR-Proj ektionspunkte können dann durch das Ver- setzen des AR-Systems ARS an die entsprechende Stelle bedient werden. Es ist aber auch möglich, hierfür (die Bedienung der AR-Proj ektionspunkte) mehrerer AR-Proj ektionseinheiten PJE einzusetzen . Damit die AR-Proj ektionseinheit PJE in Bezug auf die zu loka¬ lisierende Montageposition MTP zielgerichtet eingesetzt wer¬ den kann, ist in dem Zugwaggon ZWA für die AR-Proj ektionseinheit PJE und jede weitere benötigte AR-Proj ektion bzw. AR- Proj ektionseinheit PJE jeweils eine Halterung HLT reversibel an der Gehäusewand GHW befestigt, z.B. durch Verschweißen oder Verschrauben . Die reversibel befestigbare Halterung HLT dient als Aufnahme AR-Proj ektionseinheit PJE, wodurch diese für deren Positionierung in Bezug auf die Montageposition MTP ortsfest in allen sechs Freiheitsgraden positioniert ist. Da- mit die Ortskoordinaten der Halterung HLT in dem Zugwaggon
ZWA für die Ermittlung von Positionsdaten für die Lokalisierung der Montageposition MTP mit der AR-Proj ektionseinheit PJE herangezogen werden können, weist die Halterung HLT eine Identifikationskennung ID auf.
Eine weitere zentrale Komponente des AR-Systems ARS ist ein mit der AR-Proj ektionseinheit PJE verbundenes, vorzugsweise mobiles, Steuergerät STG. Das Steuergerät STG, das vorzugs¬ weise als Notebook, Laptop, Smartphone, Tablet oder einer Smartwatch etc., ausgebildet ist, enthält einen nicht-flüch¬ tigen lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines Bildberechnungsmodul BBM gespeichert sind, und einen Prozessor PZ, dem eine in dem Steuergerät STG enthaltene Datenschnittstelle DS und eine Steuerungsschnitt- stelle STS zugeordnet sind. Über die Steuerungsschnittstelle STS sind der Prozessor PZ und damit das Steuergerät STG mit der AR-Proj ektionseinheit PJE verbunden. Darüber hinaus sind der Prozessor PZ und damit das Steuergerät STG über die Da- tenschnittstelle DS mit einer Datenbank DB und einem "Engineering Backend"-System EBS verbunden. Während in der Datenbank DB Konfigurationsdaten und vorzugsweise Bildinformati¬ onsdaten, die für die AR-Proj ektionseinheit PJE zum Projizie- ren von Projektionsbildern dienen, gespeichert sind, sind in dem "Engineering Backend"-System EBS Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Zugwaggons ZWA abgelegt, aufgrund derer der zu fertigende Zugwaggon ZWA zusammengebaut und montiert wird.
Auf der Basis der in dem "Engineering Backend"-System EBS gespeicherten Konstruktions-, Arbeitsplan- und SD-Modellinformationen des Zugwaggons ZWA, die über die Datenschnittstelle DS in den Prozessor PZ des Steuergerät STG gelangen, und der über eine mit dem Prozessor verbundene I /O-Einrichtung IOE des Steuergerätes STG eingegebenen Identifikationskennung ID der Halterung HLT ermittelt der Prozessor PZ Positionsdaten für die AR-Proj ektionseinheit PJE, die über die Datenschnitt¬ stelle DS in der Datenbank DB gespeichert werden und entweder unmittelbar oder zeitversetzt über die Steuerungsschnittstel¬ le STS der AR-Proj ektionseinheit PJE zugeführt werden. Mit diesen Positionsdaten wird die AR-Proj ektionseinheit PJE, die von der Halterung HLT ortsfest gehalten wird, positioniert. Ist die AR-Proj ektionseinheit PJE zuvor unabhängig von der Positionierung bereits bezüglich ihrer Projektionseigenschaf¬ ten kalibriert worden und sind dabei gewonnene Kalibrierungs¬ daten über den Weg des Steuergerätes STG in der Datenbank DB abgespeichert, so ist das AR-System ARS im Prinzip für den angedachten Zweck zur Montageunterstützung, was die Ausrich- tung anbetrifft, einsatzbereit.
In diesem Zustand führt der Prozessor PZ durch Zugriffe auf den Speicher SP die Steuerungsbefehle des Bildberechnungsmo¬ duls BBM aus und greift dabei auf die Datenschnittstelle DS und die Steuerungsschnittstelle STS des Steuergeräts STG der¬ art zu, dass auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit PJE, der gespeicherten Kalibrierungsdaten und der gespeicherten 3D- Modellinformationen, die über die Datenschnittstelle DS in den Prozessor PZ gelangen, ein Projektionsbild in Form und Gestalt einer Montageschablone mit Hilfe des Bildbearbei¬ tungsmoduls BBM angewandten "Spatial Augmented Reality"- basierten Methoden berechnet wird und zu dem berechneten Projektionsbild korrespondierende Bildinformationen über die Da¬ tenschnittstelle DS in der Datenbank DB gespeichert werden und entweder unmittelbar oder zeitversetzt über die Steuerungsschnittstelle STS an die AR-Proj ektionseinheit PJE über- mittelt werden. Aufgrund der Bildberechnung kann man bei dem Steuergerät STG auch von einer Recheneinheit sprechen.
Die AR-Proj ektionseinheit PJE, die diese Bildinformationen erhält, ist nun derart ausgebildet, dass durch die von dem Steuergerät STG übermittelte Bildinformation das berechnete Projektionsbild bzw. die Montageschablone auf die Montagepo¬ sition MTP des zu fertigenden Zugwaggons ZWA überlagert wird. Damit kann nun der verdeckte Nutenstein NST für die weitere Montage ohne größeren Zusatzaufwand, z.B. was dessen Lokali- sierung betrifft, genutzt werden.
In einer Abwandlung des in der FIGUR dargestellten AR-Systems werden alle Projektionen vorab (zeitversetzt gemäß dem vor¬ stehend erwähnten Aspekt) berechnet und als Bilddateien abge- legt. Das Steuergerät bzw. die Recheneinheit und die AR-Pro- j ektionseinheit müssen dann (nach der zeitversetzten Berechnung) nur noch das entsprechende Bild darstellen und keine Berechnungen mehr ausführen. Dies ist möglich da alle Projektionspunkte und Projektionsschritte bekannt sind und somit eine automatische Vorberechnung erfolgen kann.
Das AR-System ARS wird unter Berücksichtigung vorstehenden Ausführungen wie folgt verwendet. Zunächst wird AR-Proj ektionseinheit PJE bzgl. ihrer Projekti¬ onseigenschaften kalibriert und die Kalibrierungsdaten in der Datenbank DB abgelegt. Auf Basis der Arbeitsplanung, der Konstruktionsdaten und 3D-Modellinformationen sowie der Kali- brierungsdaten der AR-Proj ektionseinheit PJE wird während der Konstruktion des Produktionsgutes bzw. des Zugwaggons ZWA die Position für die Halterung HLT der AR-Proj ektionseinheit PJE bestimmt, so dass für die entsprechenden Arbeitsschritte die AR-Proj ektionseinheit zur Verfügung steht.
Im Rahmen der Fertigung des Produktionsgutes bzw. des Zugwag¬ gons ZWA wird dann die Halterung HLT der AR-Proj ektionseinheit PJE mit an die Gehäusewand GHW angebaut.
Kommt es jetzt zu einem Fall, bei dem die AR-Proj ektions¬ einheit PJE für Positionierungs- und/oder Abgleichsaufgaben eingesetzt werden soll, montiert der Monteur die AR-Projek- tionseinheit PJE auf die Halterung HLT. Durch Eingabe der Identifikationskennung ID der Halterung HLT in das Steuergerät STG bzw. in die Recheneinheit über die I /O-Eingabeein- richtung IOE (z.B. Barcode, RFID oder Tastatureingabe) und des Prozessschrittes in das Steuergerät STG bzw. in die Re¬ cheneinheit, wird das entsprechende Projektionsbild berechnet und mit der AR-Proj ektionseinheit PJE an der Montageposition MTP in dem Produktionsgut bzw. dem Zugwaggon ZWA korrekt überlagert .
Die Berechnung des Bildes geschieht wie folgt:
1. Da die exakte Position in allen sechs Freiheitsgraden
durch die Halterung der AR-Proj ektionseinheit im 3D- Modell bekannt ist und auch die Projektionseigenschaften (insbesondere der Proj ektionsöffnungswinkel ) des Projek- tionssystems bekannt sind, können die Flächen im virtuel¬ len 3D-Modell des Produktes (Projektionsschnittflächen) berechnet werden, auf welche in der "Real-Weit" proji¬ ziert wird.
Die zu projizierenden Elemente werden durch 3D-Rendering auf die Projektionsschnittflächen abgebildet. Hierbei macht man sich die Modellierung der virtuellen Kamera mit den Projektionseigenschaften der AR-Proj ektionseinheit für das virtuelle Rendering zu Nutze.
3. Alle bereits montierten bzw. für diesen Arbeitsschritt irrelevanten Teile des 3D-Modells können für die Projektion ausgeblendet werden, so dass nur die relevante In¬ formation projiziert und somit überlagert wird. Wichtig ist hierbei, dass das Ausblenden hier als Einfärben der Elemente mit der Hintergrundfarbe des Rendering Prozesses realisiert wird, damit auch potentielle Verdeckung kor¬ rekt projiziert werden.
Die entsprechenden Algorithmen zur Berechnung der Projektionen und Kalibrierung des Projektionssystems sowie die Model¬ lierungsansätze sind aus dem Forschungsbereich "Spatial Augmented Reality" hinreichend bekannt.

Claims

Patentansprüche
1. Trackingloses proj ektionsbasiertes "Augmented Reality
[AR] "-Verfahren zur Montageunterstützung von Produktionsgü- tern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, gekennzeichnet durch
- Positionieren und Ausrichten einer AR-Proj ektionseinheit (PJE) zum Lokalisieren von Montagepositionen (MTP) , die vorzugsweise mobil ausführt ist, in Bezug zu dem zu fertigenden Produktionsgut (ZWA) und auf eine zu lokalisierende Montage¬ position (MTP) des zu fertigenden Produktionsgutes (ZWA) mit Hilfe von auf der Basis von gespeicherten, der AR-Projekti- onseinheit (PJE) zugeführten Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) ermittelten und gespeicherten Positionsdaten;
- Einrichten der AR-Proj ektionseinheit (PJE) aufgrund von durch Kalibrierung generierten, gespeicherten Kalibrierungsdaten;
- Berechnen eines Projektionsbildes in Form und Gestalt einer Montageschablone mit "Spatial Augmented Reality"-basierten
Methoden auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit (PJE), der gespeicherten Kalibrierungsdaten und der gespeicherten SD- ModellInformationen ;
- Überlagern des berechneten Projektionsbildes auf die Monta¬ geposition (MTP) des zu fertigenden Produktionsgutes (ZWA) durch entsprechende Ansteuerung der AR-Proj ektionseinheit (PJE) .
2. AR-Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die AR-Proj ektionseinheit (PJE) für die Positionierung durch eine in/an dem Produktionsgut (ZWA) reversibel befestigbare Halterung (HLT) aufgenommen und gehalten wird.
3. AR-Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Ermittlung der Positionsdaten eine Identifikations- kennung (ID) der Halterung (HLT) herangezogen wird.
4. AR-Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
die Berechnung des Projektionsbildes auf einem Steuergerät (STG) , wie z.B. einem Notebook, Laptop, Smartphone, Tablet oder einer Smartwatch etc., durchgeführt wird, das hierzu ein Bildberechnungsmodul benutzt und vorzugsweise in mobiler Aus¬ führung eingesetzt wird.
5. AR-Verfahren nach einem der Ansprüche 1 bis 4, dadurch ge- kennzeichnet, dass
die Positions-, die Kalibrierungs- und/oder Projektionsbild¬ daten in einer Datenbank (DB) für Konfigurationsdaten gespeichert werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass
die Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) in einem "Engineering Backend"- System (EBS) für das zu fertigende Produktionsgut (ZWA) abge- legt werden.
7. Trackingloses proj ektionsbasiertes "Augmented Reality
[AR] "-System (ARS) zur Montageunterstützung von Produktionsgütern (ZWA) , insbesondere zum Lokalisieren von Nutensteinen (NST) für die Bauteilmontage im Waggonbau, gekennzeichnet durch
a) mindestens eine AR-Proj ektionseinheit (PJE) zum Lokali¬ sieren von Montagepositionen (MTP) , die, vorzugsweise mobil ausgeführt, jeweils in Bezug zu dem zu fertigenden Produktionsgut (ZWA) und auf eine zu lokalisierende Mon¬ tageposition (MTP) des zu fertigenden Produktionsgutes (ZWA) mit Hilfe von auf der Basis von gespeicherten, der AR-Proj ektionseinheit (PJE) zugeführten Konstruktions-, Arbeitsplan- und 3D-Modellinformationen des Produktions- gutes (ZWA) ermittelten und gespeicherten Positionsdaten positionier- und ausrichtbar ist und die derart ausgebil¬ det ist, dass diese aufgrund von gespeicherten, durch Ka- librierung generierten Kalibrierungsdaten einrichtbar ist ;
b) ein mit der AR-Proj ektionseinheit (PJE) verbundenes, vor¬ zugsweise mobiles, Steuergerät (STG) mit einem nicht- flüchtigen lesbaren Speicher (SP) , in dem prozessorlesbare Steuerprogrammbefehle eines Bildberechnungsmodul (BBM) gespeichert sind, sowie mit einem Prozessor (PZ) , dem in dem Steuergerät (STG) eine Datenschnittstelle (DS) und eine Steuerungsschnittstelle (STS) , über die das Steuer- gerät (STG) mit der AR-Proj ektionseinheit (PJE) verbunden ist, zugeordnet sind und der die Steuerungsbefehle des Bildberechnungsmoduls (BBM) ausführt und dabei auf die Datenschnittstelle (DS) und die Steuerungsschnittstelle (STS) des Steuergeräts (STG) derart zugreift, dass auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit (PJE), der gespeicherten Kalibrierungsdaten und der gespeicherten SD- Modellinformationen, die über die Datenschnittstelle (DS) in den Prozessor (PZ) gelangen, ein Projektionsbild in Form und Gestalt einer Montageschablone mit Hilfe des
Bildbearbeitungsmoduls (BBM) angewandten "Spatial
Augmented Reality"-basierten Methoden berechnet wird und zu dem berechneten Projektionsbild korrespondierende Bildinformationen über die Steuerungsschnittstelle (STS) an die AR-Proj ektionseinheit (PJE) übermittelt werden; c) die AR-Proj ektionseinheit (PJE), die derart ausgebildet ist, dass durch die von dem Steuergerät (STG) übermittel¬ te Bildinformation das berechnete Projektionsbild auf die Montageposition (MTP) des zu fertigenden Produktionsgutes (ZWA) überlagert wird.
8. AR-System (ARS) nach Anspruch 7, gekennzeichnet durch mindestens eine in/an dem Produktionsgut (ZWA) reversibel befestigbare Halterung (HLT) , die für die Positionierung der AR-Proj ektionseinheit (PJE) als Aufnahme und Halterung dient.
9. AR-System (ARS) nach Anspruch 8, dadurch gekennzeichnet, dass für die Ermittlung der Positionsdaten die Halterung (HLT) eine Identifikationskennung (ID) aufweist.
10. AR-System nach einem der Ansprüche 7 bis 9, dadurch ge- kennzeichnet, dass
das Steuergerät (STG) als Notebook, Laptop, Smartphone, Tablet oder einer Smartwatch etc., ausgebildet ist.
11. AR-System (ARS) nach einem der Ansprüche 7 bis 10, ge- kennzeichnet durch
eine Datenbank (DB) für Konfigurationsdaten, in der die Posi- tions-, die Kalibrierungs- und/oder Projektionsbilddaten gespeichert sind und die über die Datenschnittstelle (DS) mit dem Prozessor (PZ) in dem Steuergerät (STG) verbunden ist.
12. AR-System (ARS) nach einem der Ansprüche 1 bis 5, gekennzeichnet durch
ein "Engineering Backend"-System (EBS) für das zu fertigende Produktionsgut (ZWA) , in dem die Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) abge¬ legt sind und das über die Datenschnittstelle (DS) mit dem Prozessor (PZ) in dem Steuergerät (STG) verbunden ist.
PCT/EP2017/068818 2016-08-24 2017-07-26 Trackingloses projektionsbasiertes "augmented reality [ar]"-verfahren und -system zur montageunterstützung von produktionsgütern, insbesondere zum lokalisieren von nutensteinen für die bauteilmontage im waggonbau WO2018036741A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016215860.0 2016-08-24
DE102016215860.0A DE102016215860A1 (de) 2016-08-24 2016-08-24 Trackingloses projektionsbasiertes "Augmented Reality [AR]"-Verfahren und -System zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau

Publications (1)

Publication Number Publication Date
WO2018036741A1 true WO2018036741A1 (de) 2018-03-01

Family

ID=59626570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/068818 WO2018036741A1 (de) 2016-08-24 2017-07-26 Trackingloses projektionsbasiertes "augmented reality [ar]"-verfahren und -system zur montageunterstützung von produktionsgütern, insbesondere zum lokalisieren von nutensteinen für die bauteilmontage im waggonbau

Country Status (2)

Country Link
DE (1) DE102016215860A1 (de)
WO (1) WO2018036741A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286769A (zh) * 2019-06-28 2019-09-27 泉州信息工程学院 一种基于增强现实的智能仿真制造方法和系统以及设备
US10777012B2 (en) 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992684A (zh) * 2019-04-12 2019-07-09 中民筑友智能装备科技有限公司 预制构件生产线自动投影方法、装置、设备、系统及介质
DE102020212332A1 (de) * 2020-09-30 2022-03-31 Siemens Energy Global GmbH & Co. KG Assistenzsystem und -verfahren zur Herstellung von Transformatorwicklungen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011015987A1 (de) * 2011-04-04 2012-10-04 EXTEND3D GmbH System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10325895A1 (de) 2003-06-06 2005-01-05 Siemens Ag Werkzeug- oder Produktionsmaschine mit Head-up-Display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011015987A1 (de) * 2011-04-04 2012-10-04 EXTEND3D GmbH System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Einsatz der Augmented-Reality-Technologie zur Unterstützung des Fahrers von Flurförderzeugen", BERICHTSZEITRAUM, 2012, pages 1 - 17
LAPLASER: "Laser projection systems for aircraft industry", YOUTUBE, 22 June 2011 (2011-06-22), pages 10 pp., XP054977837, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=xlDGSUTFCAA> [retrieved on 20170101] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10777012B2 (en) 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment
CN110286769A (zh) * 2019-06-28 2019-09-27 泉州信息工程学院 一种基于增强现实的智能仿真制造方法和系统以及设备

Also Published As

Publication number Publication date
DE102016215860A1 (de) 2018-03-01

Similar Documents

Publication Publication Date Title
WO2018036741A1 (de) Trackingloses projektionsbasiertes &#34;augmented reality [ar]&#34;-verfahren und -system zur montageunterstützung von produktionsgütern, insbesondere zum lokalisieren von nutensteinen für die bauteilmontage im waggonbau
EP2524329B1 (de) Anordnung und verfahren zur verifikation eines realen modells unter verwendung eines virtuellen modells sowie verwendung im flugzeugbau
EP3056923A1 (de) Scananordnung und verfahren zum scannen eines objektes
DE102011015987A1 (de) System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten
DE102016105496A1 (de) System zur Prüfung von Objekten mittels erweiterter Realität
DE102006019917B4 (de) Verfahren und Vorrichtung zur Sicherung der Maßhaltigkeit von mehrsegmentigen Konstruktionsstrukturen beim Zusammenbau
EP1701233B1 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
DE102017115715A1 (de) Roboter-Nullpunktkalibrierungsvorrichtung und -verfahren
DE102005061952A1 (de) Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102004007829A1 (de) Verfahren zur Planung einer Inspektionsbahn und zur Bestimmung von zu inspizierenden Bereichen
EP3775764A1 (de) Fahrzeugerfassungssystem
WO2021144157A1 (de) Verfahren zur digitalen dokumentation und simulation von in einer personentransportanlage installierten komponenten
EP3814983A1 (de) Visualisierungseinrichtung und verfahren zum visualisieren des inneren oder äusseren eines fahrzeugs
DE102014013724A1 (de) Verfahren zum Abstecken von Bohrlöchern eines Fahrzeugs
WO2017063887A1 (de) Synchronisierung mehrerer roboter
DE102014104514A1 (de) Verfahren zur Messdatenvisualisierung und Vorrichtung zur Durchführung des Verfahrens
EP3779875A1 (de) Computergestütztes verfahren und einrichtung zum einmessen von bauelementen auf einer baustelle für die errichtung oder den ausbau eines gebäudes
EP2682783A1 (de) Verfahren und Vorrichtung zum Auswerten von Laserscans
DE202018001659U1 (de) Fahrzeugerfassungssystem
WO2006007833A1 (de) Verfahren und anordnung zum programmieren der bahn eines robotergerätes
DE102022104880B4 (de) Verfahren zur Kalibrierung eines portablen Referenzsensorsystems, portables Referenzsensorsystem und Verwendung des portablen Referenzsensorsystems
EP3631351B1 (de) Untersatz zur fahrzeugvermessung mit referenzsystem
DE202020005627U1 (de) Mobiler Roboter
EP3078934A1 (de) Vermessungssystem und vermessungsverfahren
WO2020249328A1 (de) Verfahren zum optimieren eines umfeldmodells

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17752028

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17752028

Country of ref document: EP

Kind code of ref document: A1