WO2023198283A1

WO2023198283A1 - Verfahren und vorrichtung zur photogrammetrischen vermessung

Info

Publication number: WO2023198283A1
Application number: PCT/EP2022/059864
Authority: WO
Inventors: Eric OERTEL; Tim WINTER
Original assignee: Carl Zeiss GOM Metrology GmbH
Priority date: 2022-04-13
Filing date: 2022-04-13
Publication date: 2023-10-19

Abstract

Ein Verfahren zur photogrammetrischen Vermessung von Messmerkmalen (7) mit einer Vorrichtung (1), die eine Multikamera (2) hat, wobei die Multikamera (2)mindestens zwei fest miteinander verbundene Einzelkameras (3) hat, wobei sich der Sichtbereich (4) von mindestens zwei der Einzelkameras (3) zumindest teilweise überschneidet, wird beschrieben. Das Verfahren hat die Schritte: a) Aufnehmen von Bildern der Messmerkmale (7) mit mindestens zwei Einzelkameras (3) der Multikamera (2) in verschiedenen Messpositionen; b) Auswerten der Bildaufnahmen einer Messposition und Bestimmen von 3D-Identifikationsmerkmalen von Messmerkmalen (7) im dreidimensionalen Raum, die sich im Überschneidungsbereich (5) der Einzelkameras (3) befinden, mit Hilfe der mehreren Bildaufnahmen für den Überschneidungsbereich und der jeweiligen Lage der Messmerkmale (7) in diesen Bildaufnahmen; c) Identifizieren der in den aus verschiedenen Messpositionen aufgenommenen Bildaufnahmen mit übereinstimmenden 3D-Identifikationsmerkmalen vorhandenen Messmerkmale (7); d) Berechnen der 3D-Koordinaten der identifizierten Messmerkmale (7) mit Hilfe der mehreren Bildaufnahmen.

Description

Verfahren und Vorrichtung zur photogrammetrischen Vermessung

Die Erfindung betrifft ein Verfahren zur photogrammetrischen Vermessung sowie eine Vorrichtung dazu.

In der industriellen Messtechnik sind optische Verfahren und optische Messsysteme weit verbreitet. Ein Beispiel hierfür sind photogrammetrische Messverfahren.

Klassische Photogrammetrische Verfahren sind ausgebildet, um die dreidimensionalen Koordinaten von Messmerkmalen, zum Beispiel aufgebrachten oder natürlichen Markierungen eines Objektes, aus photographisch aufgenommenen Bildern zu bestimmen.

Üblicherweise werden mit einer Kamera Bilder aus verschiedenen Positionen bzw. Winkeln zum Objekt aufgenommen. In diesen Bildern werden anschließend die Messmerkmale identifiziert, ihre Bildkoordinaten bestimmt und mit Hilfe mathematischer Algorithmen 3D-Koordinaten der Messmerkmale berechnet.

Aufgrund der Identifizierung können die Messmerkmale mit einer eindeutigen ID, beispielsweise einer Nummer, versehen werden.

In industriellen Anwendungen ist eine hohe Präzision gefragt. Deshalb werden bei der industriellen Photogrammetrie als Messmerkmale oft Marker, verwendet, die beispielsweise am Objekt aufgebracht werden. Diese Marker, die oft auch als Marken, Referenzmarken, photogrammetrische Targets oder als optische Zielmarken bezeichnet werden, sind vorteilhafterweise so ausgestaltet, dass sie durch den Einsatz von Methoden der digitalen Bildverarbeitung in den Bildaufnahmen identifiziert werden können und ihre Position hochgenau bestimmt werden kann. Um Marker in den Bildaufnahmen aus unterschiedlichen Ansichten einfach eindeutig zuordnen zu können, werden häufig codierte Marken verwendet, die so ausgestaltet sind, dass sie in den Bildaufnahmen auf Grund ihres Codes durch Bildverarbeitungsalgorithmen eindeutig identifiziert werden können.

Der Einsatz von codierten Marken ist aber nicht immer vorteilhaft.

So sind auf Grund ihres Codes codierte Marken für gewöhnlich größer als uncodierte Marken, wodurch größere Teilbereiche der Objektoberfläche durch die codierten Marken verdeckt werden können.

Kommen Bildverarbeitungsalgorithmen zur Identifizierung der Marker zum Einsatz, so muss stets darauf geachtet werden, dass keine Codes mehrfach vorhanden sind, um eine eindeutige Identifizierung zu ermöglichen.

Aufgabe der Erfindung ist es ein verbessertes Verfahren und eine verbesserte Vorrichtung für eine photogrammetrische Vermessung von Messmerkmalen zu schaffen. Damit sollen insbesondere die dreidimensionalen Koordinaten von sich auf einem Objekt befindlichen Messmerkmalen in Form von uncodierten Markern bestimmt werden können.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , sowie einer Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte Ausführungsformen sind nachfolgend und in den Unteransprüchen beschrieben.

Zur Vermessung der Messmerkmale werden Bilder der Messmerkmale mit einer Vorrichtung aufgenommen, die eine Multikamera hat. Die Multikamera hat mindestens zwei Kameras. Die Konfiguration der Multikamera ist zumindest grob bekannt. Die Konfiguration kann beispielsweise aus bekannten baulichen Gegebenheiten der Multikamera abgeleitet werden. Vorteilhafterweise wird die Konfiguration durch eine Kalibrierung bestimmt. Die Konfiguration kann beispielsweise die Positionen und Orientierungen der Einzelkameras zueinander und deren Abbildungsgleichungen enthalten.

Bei den Kameras handelt es sich beispielsweise um Matrixkameras. Die einzelnen Kameras der Multikamera können bei der Bildaufnahme vorteilhafterweise gleichzeitig ausgelöst werden.

Jede Einzelkamera der Multikamera verfügt über ein eigenes Sichtfeld. Dabei werden die Einzelkameras derart zueinander angeordnet, dass sich die Sichtfelder von mindestens zwei Einzelkameras der Multikamera mindestens teilweise überschneiden und so einen sich überschneidenden Sichtbereich bilden, der auch als Überschneidungsbereich bezeichnet wird.

Es wird vorgeschlagen mehrere Bilder von Messmerkmalen, beispielsweise eines mit Messmerkmalen versehenen Objektes, mit der Multikamera aus verschiedenen Positionen und Winkeln aufzunehmen, um die 3D-Koordinaten der Messmerkmale zu berechnen.

Für Messmerkmale, die sich im Überschneidungsbereich mindestens zweier Einzelkameras befinden, liegen nach einer Bildaufnahme durch die Multikamera in einer Messposition mindestens zwei Bildaufnahmen für diese Messmerkmale vor.

Bei den Messmerkmalen kann es sich beispielsweise um uncodierte Marken handeln, die auf einer Objektoberfläche angebracht sind. Herkömmliche Verfahren setzen hier in der Regel auf den Einsatz von codierten Marken. Das erfindungsgemäße Verfahren hingegen benötigt keine solche Codierung der Marken.

Im Überschneidungsbereich können die Messmerkmale durch Ausnutzung der Konfiguration der Multikamera und der Epipolargeometrie in den Kameras zugeordnet werden. Anschließend können durch Triangulation die 3D-Koordinaten dieser Messmerkmale in einem Sensorkoordinatensystem bestimmt werden.

Diese Messmerkmale weisen im Sensorkoordinatensystem zum Beispiel Identifikationsmerkmale wie Distanzen, Winkel oder einschließende Flächen zueinander auf. Zumindest einige dieser Identifikationsmerkmale sind für ein Messmerkmal oder eine Gruppe von Messmerkmalen einzigartig. Durch Ausnutzung der Konfiguration der Multikamera können auf Basis der Bildaufnahmen der Multikamera aus einer einzelnen Messposition solche Identifikationsmerkmale zwischen Marken im dreidimensionalen Raum (3D-ldentifikationsmerkmale) bestimmt werden.

Die Multikamera kommt aber nicht nur in einer einzigen Messposition zum Einsatz, sondern wird in verschiedenen Messpositionen eingesetzt.

Über die zuvor bestimmten einzigartigen Merkmale können die Messmerkmale in den Bildaufnahmen aus verschiedenen Messpositionen identifiziert werden. Wurde eine Marke eindeutig identifiziert, so kann sie für die Weiterverarbeitung durch Vergabe einer eindeutigen ID, zum Beispiel einer Markennummer, gekennzeichnet werden.

Ist mindestens ein Teil der Marker in mehreren Bildern identifiziert, wird die eigentliche photogrammetrische Berechnung ihrer präzisen 3D-Koordinaten durchgeführt. Dazu können die Unbekannten eines dreidimensionalen Modells, welches als Unbekannte z.B. die Positionen, Orientierungen und die Abbildungsgleichungen der einzelnen Bildpositionen sowie die 3D-Koordinaten der Marker enthält, mit Hilfe einer mathematischen Ausgleichsrechnung so bestimmt werden, dass z.B. die quadratischen Abweichungen zwischen dem mathematischen Modell und den ermittelten Bildkoordinaten minimiert werden. Ein solcher Rechenschritt wird in der Photogrammetrie Bündelblockausgleich genannt.

Insbesondere kann diese Ausgleichsrechnung unter ausschließlicher Verwendung der 2D-Bildkoordinaten der Messmerkmale, ihrer eindeutigen Identifizierung, der Abbildungseigenschaften der Einzelkamera sowie eventueller Fehlermetriken durchgeführt werden.

Die Lösung des Bündelblockausgleichs liefert globale 3D-Koordinaten, allerdings ohne eine eindeutige Skalierung. Das heißt das Gesamtsystem kann ohne Veränderung der Abweichung skaliert werden.

Dieses Skalierungsproblem, kann gelöst werden, indem ein Maßstab in das System eingebracht wird. Hierfür gibt es unterschiedliche Möglichkeiten.

In einer Ausführungsform wird ausgenutzt, dass die Konfiguration der Multikamera ausreichend genau bekannt ist. Beispielsweise kann vor oder nach der Vermessung des Objektes eine Kalibrierung der Messvorrichtung vorgenommen werden, um die Konfiguration zu bestimmen. Dann kann über die mit Hilfe der Konfiguration berechneten 3D-Koordinaten ein Maßstab ins System gebracht werden kann.

In einer vorteilhaften Ausführungsform wird mindestens ein maßstabgebendes Elementes (Maßstab) auf oder neben dem Objekt verwendet, wobei mindestens ein Maß des Maßstabes bekannt ist. Über das bekannte Maß kann die Skalierung des Systems durchgeführt werden. Eine eventuell vorher durchgeführte Skalierung über die Ausnutzung der bekannten Konfiguration der Multikamera kann dadurch in Ihrer Genauigkeit verbessert werden.

In einer vorteilhaften Ausführungsform kann das maßstabgebende Element ein Maßstab mit uncodierten Marken sein. Maßstäbe mit uncodierten Marken können zum Beispiel über ihre bekannten Abstände in der Messung identifiziert werden und anschließend für den Ausgleich verwendet werden. Die uncodierten Marker können beispielsweise baugleich zu den uncodierten Markern sein, die als Messmerkmale auf dem Objekt zum Einsatz kommen. Damit können die uncodierten Marker des Maßstabes nicht ohne weiteres von den anderen Messmerkmalen unterschieden werden. Für die Messmerkmale können Abstände zu anderen Messmerkmalen auf Basis der Konfiguration der Multikamera bestimmt werden. Da die Konfiguration der Multikamera nur hinreichend genau bekannt ist, können hierbei Maßstabsfehler auftreten. In der Menge der Messmerkmale können diejenigen gesucht werden, deren Abstandswert einem bekannten Abstandswert der uncodierten Marker des Maßstabs am besten ähneln. Damit können die uncodierten Marker des Maßstabs identifiziert werden und es kann der vorliegende Abstandswert durch das bekannte Maß ersetzt werden.

In einer weiteren Ausführungsform wird ein maßstabgebendes Element mit codierten Marken verwendet. Dies macht vor allem eine eindeutige Identifizierung der Maßstäbe einfacher. Dies ist insbesondere vorteilhaft, wenn die Konfiguration der Multikamera nur sehr grob bekannt ist.

In einer Erweiterung des Verfahrens werden nicht nur die Bildinformationen von

Markern im sich überschneidenden Sichtbereich mindestens zweier

Bildaufnahmeeinheiten genutzt, sondern es können auch 3D-Positionen für Marker erzeugt werden, die außerhalb dieser Bereiche in Messbildern auftauchen. Diese Marker werden im ersten Schritt nicht eindeutig identifiziert, weil keine 3D-Merkmale über Triangulation für sie berechnet werden können. Sie gehen aber in die abschließende Ausgleichsrechnung als nicht identifizierte Marker ein und stellen so für den Ausgleich zusätzliche Bedingungen dar, die die resultierende Genauigkeit erhöhen können.

In einer anderen Ausführungsform des Verfahrens können zusätzlich zu den für das Verfahren eingesetzten uncodierten Marken auch codierte Marken verwendet werden. Das erfindungsgemäße Verfahren ermöglicht gerade den Verzicht auf codierte Marken. Sollten aber dennoch zusätzlich codierte Marken vorhanden sein, so stören diese das Verfahren nicht. Ein vorhandener Code kann einfach ignoriert werden, so dass diese Marke wie eine uncodierte Marke in den Verfahrensablauf einfließt. Es ist aber auch möglich die aus dem Verfahren gewonnen Informationen mit den Codeinformation zu kombinieren.

Es ist vorteilhaft bei der Bildaufnahme mit der Multikamera eine Beleuchtungsquelle einzusetzen. Die Beleuchtungseinheit ermöglicht die Ausleuchtung der Marker, so dass diese in den Bildaufnahmen beispielsweise auf Grund erhöhten Kontrastes verbessert detektiert werden können.

Die Marker können mit retroreflektierenden Materialien ausgestaltet sein. Diese Materialien reflektieren Licht in genau die Richtung, aus der es gesendet wird. Wird die Beleuchtung unmittelbar an der Optik der Bildaufnahmeeinheit angebracht, ist eine verbesserte Lichtausbeute möglich.

Die Beleuchtung kann mit Licht unterschiedlichen Wellenlängen erfolgen. Die Wellenlänge der Beleuchtung hat dabei auch einen Einfluss auf die Fokuslage der Kamera. So können durch den Einsatz unterschiedlicher Wellenlängen bei gleichbleibender Kamerakonfiguration Messmerkmale in unterschiedlichen Arbeitsabständen zur Kamera scharf aufgenommen werden.

In einer vorteilhaften Ausführungsform wird die Multikamera mit einem 3D-Scanner kombiniert. Dazu wird ein 3D-Scanner fest mit der Multikamera verbunden. Der 3D-Scanner ist eingerichtet dreidimensionale Messdaten eines Objektes zu erfassen. Insbesondere Streifenlichtscanner und Laserlinienscanner sind für diese Kombination gut geeignet. Häufig ist es nicht möglich, alle Flächen eines Objektes mit dem 3D-Scanner aus einer einzigen Aufnahmeperspektive zu erfassen. Zur vollständigen Erfassung wird das zu vermessende Objekt deshalb in der Regel aus mehreren Positionen der Messeinrichtung relativ zum Objekt erfasst. Bekannt sind Methoden bei denen Referenzmarken vor der 3D-Messung auf oder in räumlicher Nähe zum Objekt platziert werden, um beispielsweise die Messdaten einer Einzelmessungen des 3D-Scanners zu einem Gesamtdatensatz zu kombinieren. Vorteilhafterweise werden die für die photogrammetrische Vermessung mit der Multikamera eingesetzten Marker auch für die Vermessung mit dem 3D-Sanner verwendet.

In einer weiteren vorteilhaften Ausführungsform erfolgt nicht nur eine Kombination von Multikamera und 3D-Scanner, sondern sogar eine integrative Ausgestaltung. Hierbei wird ausgenutzt, dass 3D-Scanner oft ebenfalls Kameras verwenden. Somit ist eine gemeinsame Verwendung der Kameras für Multikamera und 3D-Scanner denkbar.

So ist beispielsweise ein Sensor mit zwei Kameras denkbar, bei dem mit den identischen Kameras das erfindungsgemäße Verfahren nach Anspruch 1 durchgeführt wird und anschließend eine flächenhafte 3D-Messung durchgeführt wird, die wiederum die Ergebnisse des erfindungsgemäßen Verfahrens nutzt.

Die Messabläufe von Multikamera und 3D-Scanner können nacheinander oder auch zeitlich vermischt erfolgen. Die Messpositionen die Multikamera und 3D-Scanner in Relation zu den Messobjekten einnehmen können sich unterscheiden. Insbesondere kann sich der Arbeitsabstand für die photogrammetrische Vermessung vom Arbeitsabstand für die Messung mit dem 3D-Scanner unterscheiden. Vorteilhaft ist es, wenn die photogrammetrische Vermessung mit einem größeren Arbeitsabstand erfolgt.

Insbesondere die Wellenlängenabhängigkeit der Brechung in Kameraobjektiven kann ausgenutzt werden, um in den verschiedenen Arbeitsabständen eine bessere Schärfe der Abbildung zu erhalten. Hierzu können vorteilhafterweise die Messmerkmale für das photogrammetrische Verfahren mit einer anderen Wellenlänge beleuchtet werden, als die beim Einsatz des 3D-Scanner genutzte Wellenlänge. Vorteilhaft ist die Kombination von blauem und infrarotem Licht.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Figuren näher erläutert. Die dargestellten Ausgestaltungen sind beispielhaft und nicht einschränkend aufzufassen.

Es zeigen:

Figur 1 - Skizze einer Messvorrichtung;

Figur 2 - Skizze von Markertypen;

Figur 3 - Skizze einer Kombination aus einer Multikamera und einem 3D-Scanner;

Figur 4 - Skizze einer Integration einer Multikamera und eines 3D-Scanners;

Figur 5 - Beispielhafter Messablauf.

Figur 1 zeigt eine Ausführungsform einer Messvorrichtung 1 , die eingerichtet ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Messvorrichtung 1 hat eine Multikamera 2, die zwei miteinander verbundene Einzelkameras 3 hat. Die geometrische Beziehung der Einzelkameras 3 zueinander ist bekannt. Die Sichtbereiche 4 der Einzelkameras 3 überschneiden sich. Der Überschneidungsbereich 5 ist durch eine Schraffierung veranschaulicht.

In weiteren vorteilhaften Ausführungsformen kann die Multikamera 2 noch weitere Kameras 3 haben, wobei sich nur die Sichtbereiche 4 von mindestens zwei Kameras 3 überschneiden müssen.

Die Multikamera 2 ist ausgestaltet, um Aufnahmen eines Objektes 6 zu machen, das mit Messmerkmalen 7 versehen ist. Diese Messmerkmale 7 können zum Beispiel aufgeklebte oder anderweitig angebrachte Marker sein, oder aber auch natürliche Markierungen, wie zum Beispiel Kanten oder Farbflecken. Vorteilhafterweise handelt es sich bei den Messmerkmalen 7 um uncodierte Marken. Die Aufnahmen werden in einer Auswerteeinheit 8 ausgewertet, um die 3D-Koordinaten der Messmerkmale 7 zu bestimmen.

Werden Marker auf das Objekt angebracht, so sollten diese über den Zeitraum einer Messung eine feste Relation zum Objekt aufweisen. Dies ist durch verschiedene Fixierweisen machbar. Gebräuchlich ist beispielsweise der Einsatz von Klebern, Magneten, Saugnäpfen oder auch Adhäsionsfolien.

Figur 2 zeigt Beispiele für unterschiedliche Typen von Markern. Die in der industriellen Messtechnik eingesetzten Marker können prinzipiell Messmerkmale in beliebiger Form aufweisen. Gebräuchlich ist die Ausgestaltung eines Messmerkmals als geometrische Form z.B. als Kreis. Häufig eingesetzte Ausführungsformen von uncodierten Markern 9 sind konzentrische Kreise mit einer komplementären Farbgebung, beispielsweise weiß auf schwarz, oder die Verwendung eines hellen Kreises auf dunklem Untergrund.

Ein codierter Marker 10 weist im Gegensatz zum uncodierten Marker 9 ein exklusives Merkmal auf, das ihn von anderen Markern unterscheidet. Die hier dargestellte Ausführungsform eines codierten Markers 10, weist dazu in der direkten Umgebung eines Kreises ein spezielles Muster in Form eines Ringcodes 11 auf.

Uncodierte Marken 9 sind in ihrer Verwendung vorteilhaft, weil sie klein und aufgrund ihrer Gleichartigkeit in der Regel günstig und einfach herzustellen sind.

Codierte Marken 10 können durch einen Code 11 eindeutig identifiziert werden. Nachteil der Codierung 11 ist der erhöhte Platzbedarf, die aufwendigere Herstellung und die Notwendigkeit einer Dekodierung. Zusätzlich muss der Anwender darauf achten, dass innerhalb eines Messprojektes jeder Code 11 nur einmal vorkommt, weil ansonsten Doppeldeutigkeiten auftreten können.

Im erfindungsgemäßen Verfahren werden die Markierungen beispielsweise über ihre Abstände untereinander kodiert. So können zum Beispiel die vorteilhaften uncodierten Marken 9 verwendet werden.

Figur 3 zeigt eine vorteilhafte Ausführungsform, bei der die Multikamera 2 mit einem 3D-Scanner 12 in Form eines topometrischen Sensors 12 verbunden ist.

Ein topometrischer Sensor 12 könnte zum Beispiel ein Streifenlichtscanner oder ein Laserscanner sein. Abgebildet ist hier beispielsweise eine Ausführungsform, bei der der 3D-Scanner 12 einen Projektor 13 und zwei Bildaufnahmeeinheiten 14 hat. Ein Vorteil der Verbindung von einer Multikamera 2 und einem 3D-Scanner 12 ist, dass der 3D-Scanner 12 die von der Multikamera 2 nach dem erfindungsgemäßen Verfahren eingemessenen Messmerkmale 7 zur Orientierung einzelner Messungen verwenden kann. Besonders vorteilhaft ist dabei, wenn der Sichtbereich 5 der Multikamera 2 deutlich größer ist als der Sichtbereich des topometrischen Sensors 12. So kann der Sichtbereich 5 der Multikamera 2 vorteilhafter Weise mindestens 50% größer, wie der Sichtbereich des topometrischen Sensors 12 sein.

Ebenfalls denkbar ist eine hier nicht dargestellte Ausführungsform, bei der eine der Bildaufnahmeeinheiten 14 des topometrischen Sensors 12 zugleich eine Einzelkamera der Multikamera 2 ist. Das heißt, dass der topometrische Sensor 12 und die Multikamera 2, mindestens eine Kamera gemeinsam benutzen. Gemeinsam benutzen heißt dabei, dass mit dieser gemeinsam genutzten Kamera sowohl Aufnahmen für die topometrische Messung mit dem topometrischen Sensor 12 als auch für das mit der Multikamera 2 ausgeführte Verfahren aufgenommen werden können.

Figur 4 zeigt eine vorteilhafte Ausführungsform, in der die Multikamera 2 und der topometrische Sensor 12 ineinander integriert sind. Die Kameras 15 sind zugleich Einzelkameras der Multikamera 2 und auch Kameras des topometrischen Sensors 12. Ebenso wie in der in Figur 3 gezeigten Ausführungsform ist es vorteilhaft, wenn die mit der Multikamera 2 eingemessenen Messmerkmale 7 vom topometrischen Sensor 12 zur Orientierung einzelner Messungen verwendet werden können.

Besonders vorteilhaft ist es dabei, wenn die Aufnahmen mit der Multikamera 2 in einem höheren Arbeitsabstand durchgeführt werden können, sodass die Aufnahmen der Multikamera 2 einen größeren Sichtbereich haben, als die Aufnahmen mit dem topometrischen Sensor 12. Dadurch können in der Messung mit der Multikamera 2 verhältnismäßig viele Messmerkmale 7 in wenigen Aufnahmen eingemessen werden. Anschließend können bei der Messung mit dem topometrischen Sensor 12 nicht zusammenhängende Einzelmessungen direkt zueinander orientiert werden. Das Messen in verschiedenen Arbeitsabständen kann dadurch vorteilhaft weiter ausgestaltet werden, dass für die Messung mit der Multikamera 2 und die Messung mit dem topometrischen Sensor 12 Beleuchtungen mit unterschiedlichen Wellenlängen verwendet werden, wobei die Optik mindestens einer Kamera 15 dadurch eine schärfere Abbildung in den jeweiligen Abständen erzeugt.

Die Beleuchtung für die Messung mit der Multikamera 2 kann über eine hier nicht gezeigte Beleuchtungsquelle ausgeführt werden. Vorteilhafterweise kann aber der Projektor 13 zur Beleuchtung während der Messung mit der Multikamera 2 und für die Messung mit dem topometrischen Sensor 12 eingesetzt werden. Die Messmerkmale 7 können beispielsweise für die photogrammetrische Messung mit Licht einer Wellenlänge oder eines Wellenlängenspektrums uniform beleuchtet. Vorteilhafterweise kann dies mit Licht im infraroten Wellenlängenbereich erfolgen. Bei der Messung mit dem 3D-Scanner kann der Projektor einen anderen Wellenlängenbereich, beispielsweise blau, einsetzen.

Die Kameras 15 können vorteilhafterweise, z.B. durch entsprechend ausgewählte Optik, so ausgestaltet sein, das die Schärfeebene für Licht im roten Wellenlängenbereich in einem zur Kamera entfernteren Abstand liegt, als die Schärfeebene für eine blaue Wellenlänge.

Figur 5 zeigt ein Ablaufdiagramm zur schematischen Darstellung des erfindungsgemäßen Verfahrens. Einige der nachfolgend erläuterten Verfahrensschritte müssen nicht obligatorisch sein, sondern können lediglich optionale Verfahrensschritte darstellen.

Schritt 101 : „Aufnehmen von Bildern von Messmerkmalen mit einer Vorrichtung, die eine Multikamera hat, in verschiedenen Messpositionen“

Die Messpositionen unterscheiden sich beispielsweise durch die Position oder den Blickwinkel der Multikamera in Relation zu den Messmerkmalen. Wird angenommen, das sich die Messmerkmale deren 3D-Koordinaten durch das erfindungsgemäße Verfahren bestimmt werden sollen, auf der Oberfläche eines Objektes befinden, so können die Bildaufnahmen beispielsweise von einem Anwender mit einer Multikamera aufgenommen werden, wobei der Anwender sich um das Objekt bewegt. Statt von einem Anwender gehalten, kann die Multikamera auch beispielsweise mit einem Manipulator, wie einem Roboterarm, um das Objekt herumbewegt werden. Es ist auch denkbar, dass sich das Objekt auf einer Positionierungseinheit befindet, beispielsweise einem Drehtisch, und die Multikamera von einem Stativ gehalten wird. Durch Drehen des Objektes mit Hilfe des Drehtisches können auch so verschiedene Messpositionen hergestellt werden.

Schritt 102: „Auswerten der Bildaufnahmen einer Messposition und Bestimmung von 3D-ldentifikationsmerkmalen der Messmerkmale“

Es wird vorausgesetzt, dass die Konfiguration der Multikamera hinreichend genau bekannt ist. Die Konfiguration wird vorteilhafterweise durch eine Kalibriermessung der Multikamera bestimmt. Durch die Kalibriermessung können unter anderem Orientierung und Positionierung der Einzelkameras zueinander, die innere Orientierung der Kameras und weitere Abbildungseigenschaften bestimmt werden. Damit können für die Messmerkmale, die sich in einem gemeinsamen Sichtbereich mindestens zweier Einzelkameras der Multikamera befinden, über Triangulationsberechnungen 3D-Koordinaten bestimmt werden. Diese 3D- Koordinaten bezogen auf eine Einzelmessung liegen beispielsweise in einem Koordinatensystem vor, das sich an konstruktiven Merkmalen der Multikamera orientiert.

Für die Weiterverarbeitung kommt es dabei nicht auf die 3D-Koordinaten selbst an, sondern diese dienen nur dazu 3D-ldentifikationsmerkmale des Messmerkmals zu bestimmen, wie beispielsweise Winkel und / oder Abstände zu anderen Messmerkmalen. Bei den Messmerkmalen handelt es sich üblicherweise um Referenzmarken, die auf oder neben einem Objekt angebracht sind. Damit sind die Messmerkmale in der Regel unregelmäßig im Raum verteilt. Somit weisen verschiedene Messmerkmale in ihrem Umfeld eine unterschiedliche Anzahl von anderen Messmerkmalen auf. Auch die Abstände zu ihren Nachbarn oder auch weiter entfernten Messmerkmalen werden sich in der Regel unterscheiden. Eine weitere Möglichkeit ist die Betrachtung der mit anderen Messmerkmalen eingeschlossenen Flächen. Werden einem Messmerkmal auf diese Weise ein oder mehrere 3D-ldentifikationsmerkmale zugeordnet, so können diese zugeordneten 3D- Identifikationsmerkmale das Messmerkmal einzigartig machen. Die 3D- Identifikationsmerkmale implizieren sozusagen eine Codierung des Messmerkmals, ohne dass dieses für sich allein betrachtet codiert sein muss. Schritt 103: „Zuordnen der Messmerkmale in den Bildaufnahmen aus allen Messpositionen“

In Schritt 102 wurden den Messmerkmalen in den verschiedenen Einzelmessungen spezifische 3D-ldentifikationsmerkmale zugeordnet. Dies wird nun in dem nachfolgenden Schritt 103 ausgenutzt, um ein Messmerkmal jeweils in den Bildaufnahmen unterschiedlicher Messpositionen zu identifizieren.

Beispielweise hat ein Messmerkmal M1 ein benachbartes Messmerkmal im Abstand von 5 cm, ein weiteres im Abstand von 18 cm und ein drittes im Abstand von 27 cm. Wird in einer anderen Einzelmessung auch ein Messmerkmal mit benachbarten Messmerkmalen in diesen Abständen gefunden, so ist davon auszugehen, dass es sich um dasselbe Messmerkmal M1 handelt. Es kann entsprechend identifiziert und in den Bildaufnahmen gekennzeichnet werden. Damit ist ein identifiziertes Messmerkmal in den mehreren Bildaufnahmen eineindeutig charakterisiert, auch wenn es sich a-priori um ein nicht-codiertes Messmerkmal handelte.

Schritt 104: „Berechnen der 3D-Koordinaten der Messmerkmale“

In diesem Schritt 104 werden die 3D-Koordinaten der Messmerkmale in einem globalen Koordinatensystem bestimmt. Kenntnisse über 3D-Koordinaten der Messmerkmale im Sensorkoordinatensystem werden nicht vorausgesetzt. Die Bestimmung der 3D-Koordinaten im globalen Koordinatensystem beruht auf der im Schritt 103 ausgeführten Identifizierung von Messmerkmalen in den vorhandenen Bildaufnahmen und ihrer 2D-Koordinaten in diesen Bildaufnahmen. Die Berechnung der globalen 3D-Koordinaten kann mittels Bündelblockausgleichs geschehen.

Nicht für alle Messmerkmale können oder müssen in Schritt 102 3D- Identifikationsmerkmale bestimmt werden. Eine Ursache hierfür kann sein, dass das Messmerkmal sich nur im Sichtbereich einer Einzelkamera befunden hat. In einer vorteilhaften Ausführungsform des Verfahrens werden diese Messmerkmale dennoch in Schritt 104 in den Bündelblockausgleich einbezogen. Dies kann sich beispielsweise positiv auf die Genauigkeit der Bestimmung der 3D-Koordinaten auswirken.

Claims

Patentansprüche

1 . Verfahren zur photogrammetrischen Vermessung von Messmerkmalen (7) mit einer Vorrichtung (1 ), die eine Multikamera (2) hat, wobei die Multikamera (2) mindestens zwei fest miteinander verbundene Einzelkameras (3) hat, wobei sich der Sichtbereich (4) von mindestens zwei der Einzelkameras (3) zumindest teilweise überschneidet, mit den Schritten: a. Aufnehmen von Bildern der Messmerkmale (7) mit mindestens zwei Einzelkameras (3) der Multikamera (2) in verschiedenen Messpositionen; b. Auswerten der Bildaufnahmen einer Messposition und Bestimmen von 3D- Identifikationsmerkmalen von Messmerkmalen (7) im dreidimensionalen Raum, die sich im Überschneidungsbereich (5) der Einzelkameras (3) befinden, mit Hilfe der mehreren Bildaufnahmen für den Überschneidungsbereich und der jeweiligen Lage der Messmerkmale (7) in diesen Bildaufnahmen; c. Identifizieren der in den aus verschiedenen Messpositionen aufgenommenen Bildaufnahmen mit übereinstimmenden 3D- Identifikationsmerkmalen vorhandenen Messmerkmale (7); d. Berechnen der 3D-Koordinaten der identifizierten Messmerkmale (7) mit Hilfe der mehreren Bildaufnahmen.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass es sich bei den Messmerkmalen (7) um uncodierte Marken (9) handelt, sodass die Messmerkmale (7) anhand ihrer Ausgestaltung nicht eindeutig identifizierbar sind bzw. nicht identifiziert werden, sondern für die Messmerkmale (7) im sich überschneidenden Sichtbereich (5) anhand der Messbilder und der bekannten Konfiguration der Aufnahmeeinheiten (3) 3D-ldentifikationsmerkmale zwischen den Messmerkmalen (7) berechnet werden, anhand derer die Messmerkmale (7) in den Messbildern eindeutig identifiziert werden können und in einer mathematischen Ausgleichung unter Verwendung der 2D-Bildkoordinaten der Messmerkmale (7) in einer jeweiligen Bildaufnahme und ihrer eindeutigen Identifizierung die 3D-Koordinaten der Messmerkmale (7) bestimmt werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den 3D-ldentifikationsmerkmalen die bestimmt werden, um Distanzen und/oder Winkel und/oder eingeschlossene Flächen zwischen verschiedenen Messmerkmalen (7) handelt.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Identifikation der Messmerkmale (7) zusätzlich codierte Marken (10) verwendet werden.

5. Verfahren nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass in Schritt d) bei der Berechnung der 3D-Koordinaten der Messmerkmale (7) ein Bündelblockausgleich erfolgt.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich mindestens ein maßstabgebendes Element eingebracht wird, von dem mindestens ein Maß hinreichend genau bekannt ist und mindestens ein Maß von der Auswerteeinrichtung im Bündelblockausgleich berücksichtigt wird, um die Skalierung der resultierenden 3D-Positionen der Marken genauer zu bestimmen.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das maßstabgebende Element ein Element mit mindestens zwei uncodierten Marken (9) ist und das hinreichend bekannte Maß mindestens ein Abstand dieser uncodierten Marken (9) ist, wobei die uncodierten Marken (9) so ausgestaltet sind, dass sie nicht eindeutig identifiziert werden können und nicht eindeutig von anderen Marken auf dem Objekt unterschieden werden können und die Maße, die im Bündelblockausgleich berücksichtigt werden von der Auswerteeinrichtung dadurch identifiziert werden, dass sie bekannt sind.

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das maßstabgebende Element ein Element mit mindestens zwei Markern, insbesondere codierten Marken (10), ist und das hinreichend bekannte Maß mindestens ein Abstand dieser Marken ist, wobei diese Marker so ausgestaltet sind, dass sie eindeutig identifiziert werden können.

9. Verfahren (1) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass nicht nur identifizierte Messmerkmale (7) aus dem sich überschneidenden Sichtbereich (5) der Kameras (3) im Bündelblockausgleich berücksichtigt werden, sondern auch Messmerkmale (7), die außerhalb des sich überschneidenden Sichtbereichs (5) in Messbildern aufgenommen wurden im Bündelblockausgleich berücksichtigt werden und ihre 3D-Positionen berechnet werden.

10. Vorrichtung (1) zum dreidimensionalen optischen Vermessen von Messmerkmalen (7), wobei die Vorrichtung (1 ) eine Multikamera (2) mit mindestens zwei fest verbundenen Kameras (3) hat, wobei für mindestens zwei der Kameras (3) die Konfiguration zueinander hinreichend genau bekannt ist, und wobei mindestens zwei der Kameras (3) dazu eingerichtet sind, Messbilder von Messmerkmalen (7) aufzunehmen, wobei sich der Sichtbereich (4) der zur Bildaufnahme der Messmerkmale (7) verwendeten Kameras (3) sich überschneidet, und wobei die Vorrichtung (1 ) eine Auswerteeinheit (8) hat, die zur Berechnung der 3D-Koordinaten der Messmerkmale (7) mit einem Verfahren nach einem der Ansprüche 1 bis 9 eingerichtet ist.

11 . Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Multikamera (2) starr verbunden mit einem 3D-Scanner (12) ist.

12. Vorrichtung (1) nach Anspruch 11 , dadurch gekennzeichnet, dass der 3D- Scanner (12) zum Erfassen von dreidimensionalen Messdaten eingerichtet ist und dazu zumindest zum Teil die Messmerkmale (7) verwendet, deren 3D- Positionen die Auswerteeinheit (8) mit einem Verfahren nach einem der Ansprüche 1 bis 9 berechnet hat.

13. Vorrichtung (1 ) nach einem der Ansprüche 11 bis 12, dadurch gekennzeichnet, dass der 3D-Scanner (12) und die Multikamera (2) mindestens eine Einzelkamera (15) gemeinsam verwenden.

14. Vorrichtung (1 ) nach der Anspruch 13, dadurch gekennzeichnet, dass der 3D- Scanner (12) und die Multikamera (2) in den gemeinsam genutzten Einzelkameras (15) unterschiedliche Arbeitsabstände nutzen.

15. Vorrichtung (1 ) nach Anspruch 14, dadurch gekennzeichnet, dass der 3D- Scanner (12) einen kürzeren Arbeitsabstand als die Multikamera (2) verwendet.

16. Vorrichtung (1 ) nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass der 3D-Scanner (12) und die Multikamera (2) in ihren Beleuchtungen bzw. Projektionen Licht unterschiedlicher Wellenlängen nutzen.

17. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass der 3D-Scanner (12) eine Projektion mit blauer Wellenlänge verwendet und die Multikamera (2) eine Beleuchtung mit roter oder infraroter Wellenlänge nutzt.

18. Vorrichtung (1 ) nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass der 3D-Scanner (12) ein topometrischer Sensor ist.

19. Vorrichtung (1 ) nach Anspruch 18, dadurch gekennzeichnet, dass der topometrische Sensor ein Streifenlichtscanner oder ein Laserlinienscanner ist.

20. Vorrichtung (1 ) nach einem der Ansprüche 11 bis 19, dadurch gekennzeichnet, dass mindestens eine Kamera (3) mit einer Beleuchtungseinheit zur Beleuchtung der Messmerkmale (7) in unmittelbarer Nähe zur Optik der Kamera (3) ausgestattet ist und die Messmerkmale (7) Marken aus einem retroreflektierenden Material sind.