WO2017144162A1 - Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes - Google Patents

Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes Download PDF

Info

Publication number
WO2017144162A1
WO2017144162A1 PCT/EP2017/000197 EP2017000197W WO2017144162A1 WO 2017144162 A1 WO2017144162 A1 WO 2017144162A1 EP 2017000197 W EP2017000197 W EP 2017000197W WO 2017144162 A1 WO2017144162 A1 WO 2017144162A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
points
visual
computer
geometric
Prior art date
Application number
PCT/EP2017/000197
Other languages
English (en)
French (fr)
Inventor
Jan-Friso Evers-Senne
Hellen ALTENDORF
Original Assignee
Testo SE & Co. KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Testo SE & Co. KGaA filed Critical Testo SE & Co. KGaA
Priority to US16/075,786 priority Critical patent/US20190066321A1/en
Priority to EP17705553.0A priority patent/EP3420531A1/de
Publication of WO2017144162A1 publication Critical patent/WO2017144162A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the invention relates, on the one hand, to a method and, on the other hand, to an image acquisition device for determining a geometric measurement variable of an object.
  • a geometrical measured quantity can be, for example, a spatial distance and / or a surface area.
  • Such methods for determining a geometric measured quantity are known per se and are always based on at least one manual processing step and on the other on a scaling of the image by means of an additionally required scale.
  • manual preparation steps for image processing for example for distortion correction and / or for perspective equalization, which require training of a user, are required.
  • a method for determining a geometrical measured variable of an object is proposed for achieving the object, wherein: in a recording step at least one visual image of the object is recorded,
  • a true-to-scale 3D image of the object is recorded and / or calculated
  • a subset of 3D points of the 3D image is calculated
  • a geometric primitive is fitted computer-aided
  • a feature detection step a feature selection is applied to the at least one visual image in order to identify at least two feature points in the visual image
  • a geometric measurement for the at least two measurement points is calculated.
  • the invention makes it possible, on the one hand, to correct fisheye images and / or one distortion and / or one perspective distortion of the recorded visual image to determine a geometric measurement variable and, on the other hand, to increase the measurement accuracy compared to a direct use of a 3D model ,
  • no manually executed intermediate step for example for determining a geometrical measured variable, is necessary.
  • By fitting a geometric primitive in a subset of 3D points it is also possible to reduce measurement inaccuracies, for example by a noisy recording of the 3D image.
  • the geometric primitive thus corresponds to an approximation to the actual geometric shape or surface of the object.
  • the geometric measured variable is a spatial distance, in particular a width, a height, a, in particular shortest and / or largest, distance between two boundary lines, and / or a diagonal, and / or an area, in particular the entire Object or part of it.
  • the totality of all 3D points that are recorded by means of a 3D camera can also be referred to as a 3D image or point cloud.
  • the invention thus has the advantage that the aforementioned manual preparation steps for image processing can be dispensed with prior to the determination of the geometrical measured variable, since they can be executed and executed automatically.
  • a conical shell part, cylinder shell part and / or plane part is used as geometrical primitive, preferably parameterized and / or bounded. If, by means of the method according to the invention, as described and claimed herein, for example a flat surface or a part thereof, such as a building wall are measured, then for the building wall formed by fitting a trained as a plane geometric primitive in the subset of 3D points a spatial direction (in particular as a or by means of a normal direction and / or as a course direction of the planar object) are determined.
  • a grouping step is performed before the implementation of the fitting step in order to determine a spatial direction, preferably computer-aided, for each 3D point and then the 3D points are subdivided into a subset of 3D points, preferably computer-aided, according to their respective spatial directions. assigned.
  • a spatial direction preferably computer-aided
  • an image recording device with a 3D camera is used to record the 3D image.
  • Suitable 3D cameras may be, for example, a time-of-flight sensor for performing a runtime measurement of an optical signal, a laser scanner and / or a stereo camera.
  • the sequence of several visual images can be recorded, for example, by means of a visual camera, wherein preferably the individual visual images are taken from different camera poses.
  • a suitable method here can be, for example, the structure-from-motion method.
  • a marker is imaged on the object, in particular projected onto the object and / or attached to the object, and / or a distance measurement between one or the above-mentioned image acquisition device and the object is performed.
  • the Marker may, for example, a pattern, preferably from several pattern components, with a scaling and / or the determination of the spatial direction of the object by means of the imaged on the object marker is possible.
  • the distance measurement can also provide another parameter, which can be used to calculate the scaling of the object.
  • a marker preferably a mechanical marker
  • the object is imaged with the object, for example by an arrangement at or close to the object, in particular wherein the dimensions of the marker are known.
  • a scaling of the object and / or a determination of the spatial direction of the object can be easily determined.
  • it may be expedient according to a further advantageous embodiment of the invention when the marker is projected as a laser cross on the object.
  • the spatial direction of the object can be determined more accurately.
  • a projector with which the laser cross is projected or can be projected be rigidly coupled to the image pickup device.
  • a scaling : of the recorded object can thus be determined from a known optical center distance (baseline) by known methods; become.
  • a multi-beam distance measurement in particular with the individual measurements being respectively directed to different measuring points on the object, is undertaken.
  • a projection and a recording of the visual image and / or the 3D image take place from a fixed, in particular coupled, Position.
  • the visual image and the 3D image are respectively recorded from a stationary, in particular from a coupled, camera pose. With this configuration, it is sufficient to take one visual image and one 3D image at a time. It is also particularly advantageous that the simplest possible projection of feature points on the geometric primitive is possible as measuring points.
  • a significant disadvantage of previously known methods is based on the fact that for the selection of at least two feature points in a manual intermediate step, a certain amount of experience is necessary. For example, it may be necessary for the user to require a high degree of click accuracy when selecting the feature points. According to an embodiment of the method according to the invention, it may be expedient if the selection of at least two feature points in
  • Feature detection step is performed by a computer-aided automated feature detection.
  • the user only has to be careful not to lie outside the object when taking the object.
  • such high accuracy as in the manual selection in previously known methods is not required.
  • the selection of at least two Feature points is made by a manual feature selection.
  • the fit of the geometric primitive is checked and / or optimized in a plausibility check in a computer-aided manner.
  • this can be done in such a way that outliers of 3D points, which are caused in particular by measurement errors, are excluded within a subset of 3D points during the fitting of the geometric primitive.
  • the implementation of a plausibility check therefore has the advantage that the spatial direction of the geometric primitive can be calculated particularly accurately.
  • an RA SAC method and / or a region-growing method is used in the fitting step.
  • a geometrical measured variable can be, for example, a spatial distance and / or an area.
  • a suitable running time measurement may be, for example, the time-of-flight method.
  • a distortion correction and / or a correction of a local aberration of the visual image or the visual images and / or the 3D image is carried out automatically and / or computer-assisted.
  • the distortion correction and / or a correction of a local aberration should ideally be done before creating a 3D image from multiple visual images, the visual images used for this purpose. It may alternatively or additionally be provided according to the invention that the
  • Distortion correction and / or a correction of a local aberration before the fitting step is made.
  • a distortion correction step the accuracy in determining a geometric measurement variable can thus be increased.
  • the computer-aided and / or automated distortion correction and / or correction of a local aberration can enable a rapid calculation of the geometrical measurand.
  • an image recording device for determining a geometrical measured variable of an object is thus provided, with:
  • a visual camera for capturing at least one visual image and a 3D camera for capturing an SD image or a visual camera for capturing a sequence of a plurality of visual images and a 3D imaging unit for calculating a 3D image from the sequence of several visual images
  • a point cloud calculation unit for calculating a subset of 3D points of the 3D image
  • a fitting unit for fitting a geometric primitive into the subset of 3D points
  • a feature detection unit for manually and / or automatically selecting at least two feature points in the at least one visual image
  • a projection unit for projecting the at least two feature points onto the geometric primitive as at least two measurement points
  • the image recording device has, for example, the advantage over prior art image recording devices that it requires the calculation of a geometrical measured variable of an object, in particular without a manual intermediate step, which must be carried out, for example, by means of a further input device, such as a PC.
  • a further input device such as a PC.
  • the user can by means of the invention
  • Imaging device directly on site make a measurement and also receives a result directly on site.
  • all functional units of the invention are identical to all functional units of the invention.
  • Image recording device so programmable that they can work automatically. In a specific embodiment, however, it may be expedient if the feature selection is at least optionally manually executable by the user.
  • the Point cloud calculation unit is set up to determine a spatial direction of a 3D point, preferably calculated automatically supported computer-aided.
  • a determination of the spatial direction of a 3D point can have the advantage that the 3D points can be assigned in a computer-assisted manner according to their spatial directions of subsets of 3D points. Therefore, the point cloud calculation unit can be set up so that the 3D points can be assigned to subsets of SD points according to their spatial directions.
  • the point cloud calculation unit can be set up such that for each 3D point, firstly a local level can be determined computer-aided, and then a normal vector is computed from it computer-assisted. A. For example, classification into subsets of the 3D points can be done according to your normal vectors.
  • the image recording device has a plausibility check device for checking and / or optimizing the geometric primitive.
  • the plausibility checking device is set up to perform an optimization of the geometric primitive until there is a minimized discrepancy between the 3D points and the actual points of the geometric primitive.
  • the actual points of the geometric primitive refer to those points that lie directly on the geometric primitive.
  • the plausibility check device therefore makes it possible to achieve increased accuracy in the calculation of the geometric measured variable.
  • the visual camera for receiving at least one visual image and the 3D camera are coupled together.
  • a coupling can be set up in particular in that the two cameras are connected to one another via a connecting element, preferably at a defined and / or adjustable distance, or are connectable to one another.
  • this image recording device has a grouping unit.
  • the grouping unit may be configured to perform an implementation of a
  • Performing grouping step computerized in particular wherein for each 3D point, a spatial direction can be determined and the 3D points are assigned according to their spatial direction of a subset of 3D points computer-aided.
  • the point cloud calculation unit and the grouping unit are designed as a single unit. It can be particularly expedient if, for each 3D point, first a local level and from this a normal vector can be computed in a computer-aided manner.
  • the image acquisition device of the invention as described and claimed herein may be preferably adapted to carry out the method of the invention as described and claimed herein. For this reason, for the inventive design of such an image pickup device, the same advantages as the Advantages which have already been described above for the method according to the invention.
  • the image recording device is a correction unit for performing, in particular for automated and / or computer-aided implementation, distortion correction and / or correction of a local aberration of the visual image or images and / or the SD image has.
  • this correction unit can be set up such that a correction step to be carried out, for example before a 3D image is produced from a sequence of visual images, takes place from the sequence for all visual images and / or that a correction step to be performed prior to projection of the at least two feature points on the geometric primitive takes place as at least two measurement points.
  • FIG. 1 is a simplified schematic representation of a visual image on which an object is shown in a certain perspective
  • Fig. 2 is a simplified schematic representation in
  • Fig. 3 shows two subsets of 3D points of a 3D image of the
  • Fig. 5 is a visual image with a strong distorting
  • Fig. 6 is a corrected by distortion correction visual image of the object.
  • FIG. 1 shows an image recording device 1 according to the invention
  • FIGS. 2 and 3 show steps of a method according to the invention in a simplified schematic manner, as can be carried out, for example, by means of the image recording device 1 according to the invention.
  • the image recording device 1 is set up to determine a geometrical measured variable 3 of an object 2.
  • the image pickup device 1 has a visual camera 16 and a 3D camera 15.
  • the two cameras 15, 16 are over Connecting element 18 coupled together in a preferably defined and / or adjustable distance.
  • This embodiment according to the invention has the advantage that no distance measurement is required to determine the geometric measured variable 3.
  • the image recording device 1 has only one visual camera 16 for recording a series of multiple visual images 4 and one 3D imaging unit for calculating a 3D image 5 from the sequence of multiple visual images 4 (not shown).
  • the image recording device 1 has only one visual camera 16 for recording a series of multiple visual images 4 and one 3D imaging unit for calculating a 3D image 5 from the sequence of multiple visual images 4 (not shown).
  • Image pickup device 1 has a distance measuring unit. Furthermore, the image recording device 1 according to the invention can have a projector unit for the projection of a, in particular visual, marker on the object 2, in particular on an object plane 19.
  • the image recording device 1 according to the invention also has a point cloud calculation unit for calculating a subset 8 of 3D points 6 of the 3D image 5.
  • a geometrical primitive 7 which, as in the present case, may for example be designed as a plane part, into the subset 8 of 3D points 6, the image recording device 1 according to the invention has an adaptation unit.
  • the image recording device 1 furthermore has a feature detection unit which, for example, can be set up in order to be able to perform in the visual image by means of a manual selection of at least two feature points 9, 10. Alternatively or additionally, it can also be provided that the feature detection unit is set up in such a way, in particular programmable, to automatically select at least two feature points 9, 10 make in the visual image 4.
  • the image recording device 1 has a projection unit for the projection 11 of the at least two selected feature points 9, 10 on the geometric primitive 7 as at least two measuring points 12, 13 on.
  • the geometric measured variable 3 for the at least two measuring points 12, 13 can be determined.
  • the spatial direction 14, in particular the course direction, of the geometric primitive 7 corresponds approximately or completely to the actual spatial direction 20, in particular the course direction, of the object 2.
  • the 3D points 6 of the SD image 5 can have inaccuracies, which is why they do not lie exactly on a plane, in particular on a plane corresponding to the object plane 19, but are partially positioned outside the plane.
  • a geometric primitive 7 as shown in FIG. 2
  • the respective spatial direction of each 3D point 6 is first calculated and taken into account in order to finally perform a classification.
  • the image recording device 1 further comprises a distortion correction unit, by means of which a correction of a local error of the image of the visual image 4 and / or the 3D image 5, preferably automated and / or computer-aided, is vorrisebar.
  • a distortion correction unit by means of which a correction of a local error of the image of the visual image 4 and / or the 3D image 5, preferably automated and / or computer-aided, is vorrisebar.
  • FIGS. 4 to 6 the sequence of processing of a visual image 4 recorded by means of the visual camera 16 is shown schematically.
  • a visual image 4 and / or a 3-D image may oddly image the edges of the object 17 due to distortion errors and / or due to the capture of the image by a fisheye camera, although these edges 17 are in fact rectilinear.
  • the visual image 4 of the object 2 has a barrel-shaped distortion. As shown in FIG.
  • a distortion correction in particular automated and computer-assisted, can be performed so that a distortion-free visual image 4 is produced (see corrected visual image 4 in FIG. 5).
  • Figure 6 is a shown orthogonal representation of the visual image 4 (as a top view and / or ortho-image or ortho-photo), which can be created by means of the image pickup device 1 according to the invention, in particular from the distortion-free visual image 4.
  • the image recording device 1 is further adapted for carrying out the method according to the invention, as described and claimed herein, wherein preferably all method steps are computer-aided, preferably automated, feasible, except for
  • Feature detection step which is optionally automated and / or manually carried out.
  • the position and the orientation of an image recording device relative to the object 2 are known or ascertainable.
  • a further advantage may be if a geometrical primitive 7 is already possible by detecting a number of at least three 3D points 6 in order to be able to determine the spatial direction 20, in particular the course direction, of the object 2. The more 3D points 6 of a subset 8 are taken into account during the fitting, the higher is the accuracy of the spatial direction 14 of the geometric primitive 7 with respect to the spatial direction 20 of the object 2, wherein outliers can be excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft einerseits ein Verfahren und andererseits eine Bildaufnahmevorrichtung (1) zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), wobei in einem Aufnahmeschritt zumindest ein visuelles Bild (4) des Objektes (2) aufgenommen wird, in einem 3D-Bilderstellungsschritt ein maßstabgetreues 3D-Bild des Objektes (2) aufgenommen und/oder berechnet wird, in einem Punktwolkenberechnungsschritt eine Teilmenge von 3D-Punkten des 3D-Bildes berechnet wird, in einem Einpassungsschritt für die Teilmenge aus 3D-Punkten ein geometrisches Primitiv rechnergestützt eingepasst wird, in einem Merkmalsdetektionsschritt eine Merkmalsauswahl auf das zumindest eine visuelle Bild angewandt wird, um wenigstens zwei Merkmalspunkte (9,10) in dem visuellen Bild (4) zu identifizieren, in einem Projektionsschritt (11) die wenigstens zwei Merkmalspunkte (9,10) auf das geometrische Primitiv als wenigstens zwei Messpunkte (12,13) projiziert werden, in einem Berechnungsschritt eine geometrische Messgröße (3) für die wenigstens zwei Messpunkte (12,13) berechnet wird.

Description

Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes
Die Erfindung betrifft einerseits ein Verfahren und andererseits eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes. Eine solche geometrische Messgröße kann beispielsweise eine räumliche Distanz und/oder ein Flächeninhalt sein.
Derartige Verfahren zur Bestimmung einer geometrischen Messgröße sind an sich bekannt und beruhen stets auf zumindest einem manuellen Bearbeitungsschritt und zum anderen auf einer Skalierung des Bildes mittels eines zusätzlich erforderlichen Maßstabes. Um ein aufgenommenes Bild für die Bestimmung einer geometrischen Messgröße verwenden zu können, sind manuelle Vorbereitungsschritte zur Bildbearbeitung, beispielsweise zu einer Verzeichnungskorrektur und/oder zu einer perspektivischen Entzerrung, erforderlich, die eine Schulung eines Benutzers erfordern.
Es besteht daher die Aufgabe zur Vereinfachung der Bestimmung einer geometrischen Messgröße ein verbessertes Verfahren durch Automatisierung zu schaffen, bei welchem die genannten Nachteile ausgeräumt sind.
Die Lösung dieser Aufgabe wird durch die Kombination der Merkmale gemäß Anspruch 1 erreicht. Insbesondere wird erfindungsgemäß zur Lösung der Aufgabe ein Verfahren zur Bestimmung einer geometrischen Messgröße eines Objektes vorgeschlagen, wobei: - in einem Aufnahmeschritt zumindest ein visuelles Bild des Objektes aufgenommen wird,
- in einem 3D-Bilderstellungsschritt ein maßstabgetreues 3D- Bild des Objektes aufgenommen und/oder berechnet wird,
- in einem Punktwolkenberechnungsschritt eine Teilmenge von 3D- Punkten des 3D-Bildes berechnet wird,
- in einem Einpassungsschritt für die Teilmenge aus 3D-Punkten ein geometrisches Primitiv rechnergestützt eingepasst wird, - in einem Merkmalsdetektionsschritt eine Merkmalsauswähl auf das zumindest eine visuelle Bild angewandt wird, um wenigstens zwei Merkmalspunkte in dem visuellen Bild zu identifizieren,
- in einem Proj ektionsschritt die wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte projiziert werden,
- in einem Berechnungsschritt eine geometrische Messgröße für die wenigstens zwei Messpunkte berechnet wird. Auf diese Weise ermöglicht die Erfindung, dass zum einen Fischaugenbilder und/oder eine Verzeichnung und/oder eine perspektivische Verzerrung des aufgenommenen visuellen Bildes zur Bestimmung einer geometrischen Messgröße korrigierbar ist und zum anderen, dass die Messgenauigkeit gegenüber einer direkten Verwendung eines 3D-Modells erhöht wird. Besonders vorteilhaft kann es insbesondere sein, dass kein manuell ausgeführter Zwischenschritt, beispielsweise zur Bestimmung einer geometrischen Messgröße notwendig ist. Ausgenommen davon, kann es zweckmäßig sein, wenn die Merkmalsauswahl durch den Benutzer manuell vorgenommen wird. Durch die Einpassung eines geometrischen Primitivs in eine Teilmenge von 3D-Punkten ist es zudem möglich, Messungenauigkeiten, beispielsweise durch eine verrauschte Aufnahme des 3D-Bildes, zu reduzieren. Das geometrische Primitiv entspricht also einer Näherung an die tatsächliche geometrische Form oder Oberfläche des Objektes. Es kann vorgesehen sein, dass die geometrische Messgröße eine räumliche Distanz ist, insbesondere eine Breite, eine Höhe, ein, insbesondere kürzester und/oder größter, Abstand zwischen zwei Begrenzungslinien, und/oder eine Diagonale, und/oder ein Flächeninhalt, insbesondere des gesamten Objektes oder eines Teiles davon. Die Gesamtheit aller 3D-Punkte, welche mittels einer 3D-Kamera aufgenommen werden, können auch als 3D-Bild oder Punktewolke bezeichnet werden. Die Erfindung hat somit den Vorteil, dass die erwähnten manuellen Vorbereitungsschritte der Bildbearbeitung vor der Bestimmung der geometrischen Messgröße verzichtbar sind, da sie automatisiert ausführbar sind und ausgeführt werden.
Abhängig von der geometrischen Form des Objektes können unterschiedliche geometrische Primitive, insbesondere für verschiedene Oberflächen des Objektes, berechnet werden. Beispielsweise kann es erfindungsgemäß vorgesehen sein, dass in dem Einpassungsschritt des erfindungsgemäßen Verfahrens als geometrisches Primitiv ein, vorzugsweise parametrierter und/oder berandeter, Kegelmantelteil, Zylindermantelteil und/oder Ebenenteil verwendet wird. Soll mittels des erfindungsgemäßen Verfahrens, wie hierin beschrieben und beansprucht, beispielsweise eine ebene Fläche oder ein Teil davon, wie eine Gebäudewandung vermessen werden, so kann für das als Gebäudewandung ausgebildete Objekt durch Einpassung eines als Ebenenteil ausgebildeten geometrischen Primitivs in die Teilmenge aus 3D-Punkten eine Raumrichtung (insbesondere als eine oder mittels einer Normalenrichtung und/oder als eine Verlaufsrichtung des ebenen Objektes) bestimmt werden.
Ferner kann es bei einer spezifischen Ausgestaltung des erfindungsgemäßen Verfahrens zweckmäßig sein, wenn vor Durchführung des Einpassungsschrittes ein Gruppierungsschritt vorgenommen wird, um für jeden 3D-Punkt eine Raumrichtung, vorzugsweise rechnergestützt, zu bestimmen und die 3D-Punkte anschließend gemäß ihren jeweiligen Raumrichtungen in eine Untermenge an 3D-Punkten, vorzugsweise rechnergestützt, zuzuordnen. Insbesondere kann dabei erfindungsgemäß vorgesehen sein, dass für jeden 3D-Punkt zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechnet wird.
Zur Erstellung eines 3D-Bildes im 3D-Bilderstellungsschritt des erfindungsgemäßen Verfahrens kann es vorteilhaft sein, wenn eine Bildaufnahmevorrichtung mit einer 3D-Kamera zur Aufnahme des 3D-Bildes verwendet wird. Geeignete 3D-Kameras können beispielsweise ein Time-of-Flight-Sensor zur Durchführung einer LaufZeitmessung eines optischen Signals, ein Laserscanner und/oder eine Stereokamera sein. Darüber hinaus kann es ebenso zweckmäßig sein, im 3D-Bilderstellungsschritt das 3D-Bild durch ein Mehrbild-Rekonstruktionsverfahren aus einer Folge von mehreren, visuellen Bildern zu berechnen, insbesondere rechnergestützt zu berechnen. Die Folge aus mehreren visuellen Bildern kann beispielsweise mittels einer visuellen Kamera aufgenommen werden, wobei vorzugsweise die einzelnen visuellen Bilder aus unterschiedlichen Kameraposen aufgenommen werden. Ein geeignetes Verfahren kann hierbei beispielsweise das Structure-from-Motion-Verfahren sein.
Alternativ oder ergänzend kann im 3D-Bilderstellungsschritt erfindungsgemäß vorgesehen sein, dass ein Marker auf dem Objekt abgebildet wird, insbesondere auf das Objekt projiziert und/oder auf dem Ob ekt angebracht wird, und/oder eine Distanzmessung zwischen einer oder der bereits zuvor erwähnten Bildaufnahmevorrichtung und dem Objekt durchgeführt wird. Der Marker kann beispielsweise ein Muster, vorzugsweise aus mehreren Musterbestandteilen aufweisen, wobei eine Skalierung und/oder die Bestimmung der Raumrichtung des Objektes mit Hilfe des auf das Objekt abgebildeten Markers möglich ist. Die Distanzmessung kann zudem einen weiteren Parameter liefern, welcher zur Berechnung der Skalierung des Objekts heranziehbar ist .
Es kann daher zweckmäßig sein, wenn ein Marker, vorzugsweise ein mechanischer Marker, mit dem Objekt abgebildet, beispielsweise durch eine Anordnung an oder nahe bei dem Objekt, wird, insbesondere wobei die Abmessungen des Markers bekannt sind. Dadurch kann/können eine Skalierung des Objektes und/oder eine Bestimmung der Raumrichtung des Objektes einfach bestimmt werden. Alternativ oder ergänzend dazu kann es gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung zweckmäßig sein, wenn der Marker als Laserkreuz auf das Objekt projiziert wird. Durch den Grad der Verzerrung des Laserkreuzes aus einer Kamerapose im aufgenommen Bild kann beispielsweise die Raumrichtung des Objektes genauer bestimmt werden. Hierbei kann ein Projektor, mit welchem das Laserkreuz projiziert wird oder projizierbar ist, mit der Bildaufnahmevorrichtung starr gekoppelt sein. Eine Skalierung: des aufgenommenen Objektes kann somit aus einem bekannten optischen Achsabstand (Baseline) mit bekannten Methoden ermittelt; werden. Darüber hinaus kann es alternativ oder ergänzend auch erfindungsgemäß vorgesehen sein, dass eine Mehrstrahl -Entfernungsmessung, insbesondere wobei die Einzelmessungen jeweils auf unterschiedliche Messpunkte am Objekt gerichtet sind, vorgenommen wird. Mittels der Mehrstrahl -Entfernungsmessung ist eine bessere Bestimmung der Raumrichtung des Objektes möglich. Vorzugsweise erfolgen eine Projektion und eine Aufnahme des visuellen Bildes und/oder des 3D-Bildes aus einer ortsfesten, insbesondere gekoppelten, Position.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens kann es zweckmäßig sein, wenn das visuelle Bild und das 3D-Bild jeweils aus einer ortsfesten, insbesondere aus einer gekoppelten, Kamerapose aufgenommen werden. Bei dieser Konfiguration ist es ausreichend, wenn jeweils ein visuelles Bild und ein 3D-Bild aufgenommen werden. Besonders vorteilhaft ist darüber hinaus, dass eine möglichst einfache Projektion von Merkmalspunkten auf das geometrische Primitiv als Messpunkte möglich ist.
Ein wesentlicher Nachteil vorbekannter Verfahren beruht darauf, dass zur Auswahl von wenigstens zwei Merkmalspunkten in einem manuellen Zwischenschritt eine gewisse Erfahrung notwendig ist. Beispielsweise kann es dabei erforderlich sein, dass der Benutzer eine hohe Klickgenauigkeit bei der Auswahl der Merkmalspunkte benötigt. Gemäß einer erfindungsgemäßen Ausgestaltung des Verfahrens kann es zweckmäßig sein, wenn die Auswahl von wenigstens zwei Merkmalspunkten im
Merkmalsdetekt ionsschritt durch eine rechnergestützte automatisierte Merkmalsdetektion vorgenommen wird. Der Benutzer muss bei der Aufnahme des Objektes lediglich darauf achten, nicht außerhalb des Objektes zu liegen. Eine derart hohe Genauigkeit, wie bei der manuellen Auswahl bei vorbekannten Verfahren, ist jedoch nicht erforderlich. Solange der Benutzer durch inhaltliche Kontrolle sicherstellt, dass er in dem identifizierten Objekt beziehungsweise dessen Ebene bleibt und nicht demgegenüber vorspringende oder rückspringende Einzelheiten anwählt, ist somit eine Platzierung von Merkmalspunkten zur erfindungsgemäßen Messung vereinfachbar. Alternativ oder ergänzend dazu kann es erfindungsgemäß ebenso denkbar sein, dass die Auswahl von wenigstens zwei Merkmalspunkten durch eine manuelle Merkmalsauswahl vorgenommen wird .
Alternativ oder ergänzend kann bei dem erfindungsgemäßen Verfahren vorgesehen sein, dass in einer Plausibilitätsprüfung die Einpassung des geometrischen Primitivs rechnergestützt geprüft und/oder optimiert wird. Insbesondere kann dies derart vorgenommen werden, dass Ausreißer von 3D-Punkten, welche insbesondere durch Messfehler hervorgerufen sind, innerhalb einer Teilmenge von 3D-Punkten bei der Einpassung des geometrischen Primitivs ausgenommen werden. Die Durchführung einer Plausibilitätsprüfung hat daher den Vorteil, dass die Raumrichtung des geometrischen Primitivs besonders genau berechenbar ist.
Besonders vorteilhaft kann es weiter sein, wenn bei dem erfindungsgemäßen Verfahren im Einpassungsschritt ein RA SAC- Verfahren und/oder ein Region-Growing-Verfahren angewendet wird. Durch diese Verfahren ist jeweils eine besonders gute Einpassung des geometrischen Primitivs in die Teilmenge von 3D- Punkten möglich.
Gemäß einer weiteren Ausgestaltungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das Objekt eine ebene und/oder rechteckige Fläche aufweist, für: die eine geometrische Messgröße bestimmt wird. Eine geometrische Messgröße kann beispielsweise eine räumliche Distanz und/oder ein Flächeninhalt sein. Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann es zweckmäßig sein, wenn für die Berechnung des 3D-Bildes eine LaufZeitmessung und/oder ein Structure - from- Motion-Verfahren verwendet wird. Eine geeignete LaufZeitmessung kann beispielsweise das Time-of-Flight-Verfahren sein.
Bei einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann alternativ oder ergänzend vorgesehen sein, dass eine Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes oder der visuellen Bilder und/oder des 3D-Bildes automatisiert und/oder rechnergestützt vorgenommen wird. Die Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers sollte idealerweise vor Erstellung eines 3D-Bildes aus mehreren visuellen Bildern, bei den dazu verwendeten, visuellen Bildern erfolgen. Es kann alternativ oder ergänzend dazu erfindungsgemäß vorgesehen sein, dass die
Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers vor dem Einpassungsschritt vorgenommen wird. Durch einen Verzeichnungskorrekturschritt kann somit die Genauigkeit bei der Bestimmung einer geometrischen Messgröße erhöht werden. Ferner kann die rechnergestützte und/oder automatisierte Verzeichnungskorrektur und/oder Korrektur eines lokalen Abbildungsfehlers eine schnelle Berechnung der geometrischen Messgröße ermöglichen.
Die genannte Aufgabe wird auch gelöst durch die Merkmale des unabhängigen auf eine Bildaufnahmevorrichtung gerichteten Anspruchs. Insbesondere wird somit erfindungsgemäß eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes, mit:
- einer visuellen Kamera zur Aufnahme wenigstens eines visuellen Bildes und einer 3D-Kamera zur Aufnahme eines SD- Bildes oder einer visuellen Kamera zur Aufnahme einer Folge mehrerer visueller Bilder und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes aus der Folge mehrerer visueller Bilder,
- einer Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge von 3D-Punkten des 3D-Bildes,
- einer Einpassungseinheit zur Einpassung eines geometrischen Primitivs in die Teilmenge von 3D-Punkten,
- einer Merkmalsdetektionseinheit zur manuellen und/oder zur automatischen Auswahl von wenigstens zwei Merkmalspunkten in dem wenigstens einen visuellen Bild,
- einer Proj ektionseinheit zur Projektion der wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte,
- einer Berechnungseinheit zur Berechnung der geometrischen Messgröße für die wenigstens zwei Messpunkte
vorgeschlagen.
Die erfindungsgemäße Bildaufnahmevorrichtung hat gegenüber vorbekannten Bildaufnahmevorrichtungen beispielsweise den Vorteil, dass damit die Berechnung einer geometrischen Messgröße eines Objektes insbesondere ohne manuellen Zwischenschritt, welcher beispielsweise mittels eines weiteren Eingabegerätes, wie einem PC, durchgeführt werden muss . Der Benutzer kann mittels der erfindungsgemäßen
Bildaufnahmevorrichtung direkt vor Ort eine Messung vornehmen und erhält auch direkt vor Ort ein Ergebnis. Vorzugsweise sind alle Funktionseinheiten der erfindungsgemäßen
Bildaufnahmevorrichtung derart programmierbar, dass diese automatisiert arbeiten können. Bei einer bestimmten Ausgestaltung kann es allerdings zweckmäßig sein, wenn die Merkmalsauswahl zumindest optional manuell durch den Benutzer ausführbar ist.
Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung kann es zweckmäßig sein, wenn die Punktwolkenberechnungseinheit dazu eingerichtet ist, eine Raumrichtung eines 3D-Punktes zu bestimmen, vorzugsweise rechnergestützt automatisch zu berechnen. Eine Bestimmung der Raumrichtung eines 3D-Punktes kann den Vorteil haben, dass die 3D-Punkte gemäß ihren Raumrichtungen von Teilmengen von 3D- Punkten rechnergestützt zuordenbar sind. Daher kann die Punktwolkenberechnungseinheit derart eingerichtet sein, um die 3D-Punkte gemäß ihren Raumrichtungen zu Teilmengen von SD- Punkten zuordnen zu können. Insbesondere kann die Punktwolkenberechnungseinheit dazu eingerichtet sein, dass für jeden 3D-Punkt zunächst eine lokale Ebene rechnergestützt bestimmbar ist, und anschließend daraus ein Normalenvektor rechnergestützt berechnet wird. Eine. Einordnung zu Teilmengen der 3D-Punkte kann daher beispielsweise gemäß Ihren Normalenvektoren erfolgen.
Alternativ oder ergänzend kann bei einer weiteren bevorzugten Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung vorgesehen sein, dass die Bildaufnahmevorrichtung eine Plausibilitätsprüfungseinrichtung zur Prüfung und/oder zur Optimierung des geometrischen Primitivs aufweist.
Beispielsweise kann es zweckmäßig sein, wenn die Plausibil itätsprüfungseinrichtung dazu eingerichtet ist, eine Optimierung des geometrischen Primitivs vorzunehmen, bis eine minimierte Diskrepanz zwischen den 3D-Punkten und den tatsächlichen Punkten des geometrischen Primitivs vorliegt. Die tatsächlichen Punkte des geometrischen Primitivs beziehen sich auf solche Punkte, welche direkt auf dem geometrischen Primitiv liegen. Durch die Plausibilitätsprüfungseinrichtung ist es daher möglich, eine erhöhte Genauigkeit bei der Berechnung der geometrischen Messgröße zu erreichen.
Besonders zweckmäßig kann es sein, wenn bei der erfindungsgemäßen Bildaufnahmevorrichtung vorgesehen ist, dass die visuelle Kamera zur Aufnahme wenigstens eines visuellen Bildes und die 3D-Kamera miteinander gekoppelt sind. Eine Kopplung kann insbesondere dadurch eingerichtet sein, dass die beiden Kameras über ein Verbindungselement, vorzugsweise in einem definierten und/oder einstellbaren Abstand, miteinander verbunden sind oder miteinander verbindbar: sind. Durch diese erfindungsgemäße Ausgestaltung einer Bildaufnahmevorrichtung kann es möglich sein, eine geometrische Messgröße eines Objektes bereits durch Aufnahme nur eines einzelnen visuellen Bildes und nur eines einzelnen 3D-Bildes zu ermöglichen.
Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung kann alternativ oder ergänzend vorgesehen sein, dass diese Bildaufnahmevorrichtung eine Gruppierungseinheit aufweist. Die Gruppierungseinheit kann dazu eingerichtet sein, eine Durchführung eines
Gruppierungsschrittes rechnergestützt auszuführen, insbesondere wobei für jeden 3D-Punkt eine Raumrichtung bestimmbar ist und die 3D-Punkte gemäß ihrer Raumrichtung einer Teilmenge von 3D- Punkten rechnergestützt zuordenbar sind. Insbesondere kann vorgesehen sein, dass die Punktwolkenberechnungseinheit und die Gruppierungseinheit als eine einzelne Einheit ausgebildet sind. Besonders zweckmäßig kann es sein, wenn für jeden 3D-Punkt zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechenbar ist.
Die erfindungsgemäße Bildaufnahmevorrichtung, wie hierin beschrieben und beansprucht, kann vorzugsweise dazu eingerichtet sein, das erfindungsgemäße Verfahren, wie hierin beschrieben und beansprucht, ausführen zu können. Aus diesem Grund ergeben sich für die erfindungsgemäße Ausgestaltung einer solchen Bildaufnahmevorrichtung die gleichen Vorteile, wie die Vorteile, welche zuvor für das erfindungsgemäße Verfahren bereits beschrieben wurden.
Gemäß einer besonders vorteilhaften Ausführungsform der erfindungsgemäßen Bildaufnahmevorrichtung kann vorgesehen sein, dass die Bildaufnahmevorrichtung eine Korrektureinheit zur Durchführung, insbesondere zur automatisierten und/oder rechnergestützten Durchführung, einer Verzeichnungskorrektur und/oder einer Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes oder der visuellen Bilder und/oder des SD- Bildes aufweist. Insbesondere kann diese Korrektureinheit dazu eingerichtet sein, dass ein auszuführender Korrekturschritt, beispielsweise vor Erstellung eines 3D-Bildes aus einer Folge von visuellen Bildern, bei allen visuellen Bildern aus der Folge erfolgt und/oder dass ein auszuführender Korrekturschritt vor Projektion der wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte erfolgt.
Die Erfindung wird nun anhand eines Anwendungsbeispiels näher beschrieben, ist jedoch nicht auf dieses Anwendungsbeispiel beschränkt. Weitere erfindungsgemäße Anwendungsbeispiele ergeben sich durch die Kombination einzelner und/oder mehrerer Merkmale der Schutzansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Anwendungsbeispiels .
Es zeigt :
Fig. 1 eine vereinfachte schematische Darstellung eines visuellen Bildes, auf welchem ein Objekt in einer bestimmten Perspektive abgebildet ist,
Fig. 2 eine vereinfachte schematische Darstellung in
Draufsicht einer erfindungsgemäßen Ausführungsform der Bildaufnahmevorrichtung, welche zur Vermessung eines Objektes verwendet wird,
Fig. 3 zwei Untermengen von 3D-Punkten eines 3D-Bildes des
Objektes, welche einmal als ausgefüllte und einmal als nichtausgefüllte Punkte abgebildet sind, wobei in eine Teilmenge von 3D-Punkten (ausgefüllte 3D-Punkte) ein geometrisches Primitiv eingepasst ist,
Fig. 4 eine Projektion von zwei Merkmalspunkten, die in dem visuellen Bild ausgewählt sind, auf das geometrische Primitiv gemäß Figur 3, zur Berechnung der geometrischen Messgröße, der auf das geometrische Primitiv projizierten korrespondierenden Messpunkte,
Fig. 5 ein visuelles Bild mit einer stark verzerrenden
Abbildung mit einem daraus resultierenden Messfehler zwischen den Kanten des abgebildeten Objektes,
Fig. 6 ein durch Verzeichnungskorrektur korrigiertes visuelles Bild des Objektes.
In Figur 1 ist eine erfindungsgemäße Bildaufnahmevorrichtung 1 und in den Figuren 2 und 3 3 sind Schritte eines erfindungsgemäßen Verfahrens in vereinfachter schematischer Weise, wie sie beispielsweise mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1 ausführbar sind, dargestellt.
Die Bildaufnahmevorrichtung 1 ist zur Bestimmung einer geometrischen Messgröße 3 eines Objektes 2 eingerichtet. Die Bildaufnahmevorrichtung 1 weist gemäß der vorliegenden erfindungsgemäßen Ausführungsform eine visuelle Kamera 16 und eine 3D-Kamera 15 auf. Die beiden Kameras 15, 16 sind über ein Verbindungselement 18 in einem vorzugsweise definierten und/oder einstellbaren Abstand miteinander gekoppelt. Diese erfindungsgemäße Ausgestaltung weist den Vorteil auf, dass keine Entfernungsmessung zur Bestimmung der geometrischen Messgröße 3 erforderlich ist.
Alternativ kann es jedoch auch denkbar sein, dass die erfindungsgemäße Bildaufnahmevorrichtung 1 lediglich eine visuelle Kamera 16 zur Aufnahme einer Folge mehrerer visueller Bilder 4 und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes 5 aus der Folge mehrerer visueller Bilder 4 aufweist (nicht dargestellt) . Darüber hinaus kann es dabei vorgesehen sein, dass eine derart ausgestaltete
Bildaufnahmevorrichtung 1 eine Entfernungsmesseinheit aufweist. Des Weiteren kann die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Projektoreinheit zur Projektion eines, insbesondere visuellen, Markers auf das Objekt 2, insbesondere auf eine Objektebene 19, aufweisen.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 weist weiter eine Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge 8 von 3D-Punkten 6 des 3D-Bildes 5 auf. Zur Einpassung eines geometrischen Primitivs 7, welches wie im vorliegenden Fall beispielsweise als eine Ebenenteil ausgestaltet sein kann, in die Teilmenge 8 von 3D-Punkten 6 weist die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Einpassungseinheit auf. Die Bildaufnahmevorrichtung 1 weist darüber hinaus eine Merkmalsdetekt ionseinheit auf, welche beispielsweise dazu eingerichtet sein kann, um mittels einer manuellen Auswahl von wenigstens zwei Merkmalspunkten 9, 10 in dem visuellen Bild vornehmen zu können. Alternativ oder ergänzend dazu kann ebenso vorgesehen sein, dass die Merkmalsdetektionseinheit derart eingerichtet ist, insbesondere programmierbar ist, um eine automatische Auswahl von wenigstens zwei Merkmalspunkten 9, 10 in dem visuellen Bild 4 vornehmen zu lassen. Um eine bestimmte Raumrichtung 20 des Objektes 2 bei der Berechnung der geometrischen Messgröße 3 berücksichtigen zu können, weist die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Proj ektionseinheit zur Projektion 11 der wenigstens zwei ausgewählten Merkmalspunkte 9, 10 auf das geometrische Primitiv 7 als wenigstens zwei Messpunkte 12, 13 auf. Durch die Projektion 11 der Merkmalspunkte 9, 10 als Messpunkte 12, 13 auf das geometrische Primitiv 7 kann die geometrische Messgröße 3 für die wenigstens zwei Messpunkte 12, 13 bestimmt werden. Die Raumrichtung 14, insbesondere die Verlaufsrichtung, des geometrischen Primitivs 7 entspricht dabei annähernd oder vollständig der tatsächlichen Raumrichtung 20, insbesondere die Verlaufsrichtung, des Objektes 2.
Wie in Figur 1 zu sehen ist, können die 3D-Punkte 6 des SD- Bildes 5 Ungenauigkeiten aufweisen, weshalb diese nicht genau auf einer Ebene, insbesondere auf einer der Objektebene 19 entsprechenden Ebene, liegen, sondern teilweise abweichend außerhalb der Ebene positioniert sind. Durch Einpassung eines geometrischen Primitivs 7, wie in Figur 2 gezeigt ist, ist es möglich, eine Ausgleichsebene durch die Teilmenge 8 von 3D- Punkten 6 zu legen, um die Raumrichtung 20 des Objektes 2 bestimmen zu können. Bei der Einteilung der 3D-Punkte 6 in Teilmengen 8 wird zunächst die jeweilige Raumrichtung jedes 3D- Punktes 6 berechnet und berücksichtigt, um schließlich eine Einteilung vorzunehmen.
Anschließend ist es möglich, wie in Figur 3 gezeigt ist, durch Auswahl wenigstens eines ersten Merkmalspunkt 9 und eines zweiten Merkmalspunkt 10 in dem visuellen Bild 4, welches durch die Bildaufnahmevorrichtung 1, beispielsweise durch eine Anzeigeeinheit, anzeigbar ist, manuell und/oder automatisch auszuwählen .
Durch die Projektion 11 der Merkmalspunkte 9, 10 auf das geometrische Primitiv 7 können für die wenigstens zwei Merkmalspunkte 9, 10 korrespondierende Messpunkte 12, 13 vorzugsweise rechnergestützt berechnet werden.
Anschließend kann mittels der Berechnungseinheit der erfindungsgemäßen Bildaufnahmevorrichtung 1 eine Berechnung der geometrischen Messgröße 3, welche wie hier beispielsweise eine räumliche Distanz zwischen den beiden Merkmalspunkten 9, 10 des Objektes 2 ist, vorgenommen werden.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 weist ferner eine Verzeichnungskorrektureinheit auf, mittels welcher eine Korrektur eines lokalen Fehlers der Abbildung des visuellen Bildes 4 und/oder des 3D-Bildes 5, vorzugsweise automatisiert und/oder rechnergestützt, vornehmbar ist. In den Fig. 4 bis 6 ist in schemenhafter Ausführung der Ablauf der Verarbeitung eines mittels der visuellen Kamera 16 aufgenommenen visuellen Bildes 4 dargestellt. Ein visuelles Bild 4 und/oder ein 3D-Bild kann beispielsweise aufgrund von Verzeichnungsfehlern und/oder aufgrund der Aufnahme des Bildes mittels einer Fischaugenkamera die Kanten des Objektes 17 ungerade abbilden, obwohl diese Kanten 17 in Wirklichkeit geradlinig verlaufen. Im in Figur 4 dargestellten Fall weist das visuelle Bild 4 des Objektes 2 eine tonnenförmige Verzeichnung auf. Wie in Figur 5 dargestellt ist, kann mittels der Verzeichnungskorrektureinheit der erfindungsgemäßen Bildaufnahmevorrichtung 1 eine Verzeichnungskorrektur, insbesondere automatisiert und rechnergestützt, vorgenommen werden, so dass ein verzeichnungsfreies visuelles Bild 4 entsteht (siehe korrigiertes visuelles Bild 4 in Figur 5) . In Figur 6 ist eine orthogonale Darstellung des visuellen Bildes 4 (als Draufsicht und/oder Orthobild bzw. Orthofoto) gezeigt, welche mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1, insbesondere aus dem verzeichnungsfreien visuellen Bild 4, erstellbar ist.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 ist weiter zur Durchführung des erfindungsgemäßen Verfahrens, wie hierin beschrieben und beansprucht, eingerichtet, wobei vorzugsweise alle Verfahrensschritte rechnergestützt, vorzugsweise automatisiert, durchführbar sind, ausgenommen des
Merkmalsdetektionsschritts , welcher wahlweise automatisiert und/oder manuell durchführbar ist. Bei dem erfindungsgemäßen Verfahren, wie hierin beschrieben und beansprucht, ist also die Lage sowie die Orientierung einer Bildaufnahmevorrichtung relativ zum Objekt 2 bekannt oder ermittelbar.
Bei dem erfindungsgemäßen Verfahren, wie hierin beschrieben und beansprucht, beziehungsweise bei Verwendung der erfindungsgemäßen Bildaufnahmevörrichtung 1, wie hierin beschrieben und beansprucht, ist es daher nicht erforderlich, beispielsweise mittels einer Fotoaufmaß-Software manuell mehrere Einrichtungsschritte durchzuführen. Insbesondere entfallen dabei manuelle Schritte, mittels welchen eine Linsenverzeichnung korrigiert, eine perspektivische Abbildung eingerichtet und/oder eine Skalierung eingerichtet werden muss/müssen. All diese Schritte können mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1 und/oder mittels des erfindungsgemäßen Verfahrens automatisiert vorgenommen werden. Damit entfallen für den Benutzer komplizierte und fehleranfällige Einrichtungsschritte. Vielmehr kann er direkt vor Ort ein Objekt, insbesondere die Geometrie eines Objektes, vermessen . Um eine rechnergestützte automatisierte Merkmalsauswahl , insbesondere mittels der Merkmalsdetektionseinheit vornehmen zu können, kann es zweckmäßig sein, wenn dies über eine Merkmalsextraktion erfolgt. Ein weiterer Vorteil kann es sein, wenn ein geometrisches Primitiv 7 bereits durch Erfassung einer Anzahl von zumindest drei 3D-Punkten 6 möglich ist, um die Raumrichtung 20, insbesondere die Verlaufsrichtung, des Objektes 2 bestimmen zu können. Umso mehr 3D-Punkte 6 einer Teilmenge 8 bei der Einpassung berücksichtigt werden, umso höher ist in der Regel die Genauigkeit der Raumrichtung 14 des geometrischen Primitivs 7 bezogen auf die Raumrichtung 20 des Objektes 2, wobei Ausreißer ausgenommen werden können.
Bezugszeichenliste
1 Bildaufnahmevorrichtung
2 Objekt
3 geometrische Messgröße
4 visuelles Bild
5 3D-Bild
6 3D-Punkt
7 geometrisches Primitiv
8 Teilmenge von 3D-Punkten
9 erster Merkmalspunkt
10 zweiter Merkmalspunkt
11 Projektion der Merkmalspunkte
12 erster Messpunkt
13 zweiter Messpunkt
14 Raumrichtung des geometrischen Primitivs
15 3D-Kamera
16 visuelle Kamera
17 Kante des Objektes
18 Verbindungselement
19 Obj ektebene
20 Raumrichtung des Objektes

Claims

Ansprüche Verfahren zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), wobei: in einem Aufnahmeschritt zumindest ein visuelles Bild(4) des Objektes (2) aufgenommen wird, in einem 3D-Bilderstellungsschritt ein maßstabsgetreues 3D-Bild (5) des Objektes (2) aufgenommen und/oder rechnergestützt berechnet wird, in einem Punktwolkenberechnungsschritt eine Teilmenge (8) von 3D-Punkten (6) des 3D-Bildes (5) rechnergestützt berechnet wird, in einem Einpassungsschritt für die Teilmenge (8) aus 3D-Punkten (6) ein geometrisches Primitiv (7) rechnergestützt eingepasst wird, in einem Merkmalsdetektionsschritt eineMerkmalsauswahl auf das zumindest eine visuelle Bild (4) angewandt wird, um wenigstens zwei Merkmalspunkte (9, 10) in dem visuellen Bild (4) zu identifizieren, in einem Projektionsschritt die wenigstens zwei Merkmalspunkte (9, 10) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13) rechnergestützt projiziert werden, in einem Berechnungsschritt eine geometrische Messgröße (3) für die wenigstens zwei Messpunkte (12, 13) rechnergestützt berechnet wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Einpassungsschritt als zumindest ein geometrisches Primitiv (7) ein vorzugsweise parametrierter und/oder berandeter Kegelmantelteil, Zylindermantelteil und/oder ein Ebenenteil verwendet wird und/oder dass vor Durchführung des Einpassungsschritts in einem Gruppierungsschritt für jeden 3D-Punkt (6) eine Raumrichtung rechnergestützt bestimmt wird, wobei die 3D- Punkte (6) gemäß ihrer Raumrichtungen der Teilmenge (8) rechnergestützt zugeordnet werden, insbesondere derart, dass für jeden 3D-Punkt (6) zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechnet wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass im 3D-Bilderstellungsschritt ein 3D-Bild (5) durch eine Bildaufnahmevorrichtung (1) mit einer 3D-Kamera (15), insbesondere einem Time-of -Flight-Sensor, einemLaserscanner oder einer Stereokamera, aufgenommen wird oder dass das 3D-Bild (5) durch eine Mehrbild- Rekonstruktion aus einer Folge von mehreren visuellen Bildern (4) , welche insbesondere mittels einer Bildaufnahmevorrichtung (1) mit einer visuellen Kamera (16) aufgenommen wurden, vorzugsweise durch eine Structure-from-Motion-Verfahren, berechnet wird und/oder dass im 3D-Bilderstellungsschritt ein Marker auf das Objekt (2) abgebildet wird und/oder eine Distanzmessung zwischen einer oder der Bildaufnahmevorrichtung (1) und dem Objekt (2) durchgeführt wird. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das visuelle Bild (4) und das 3D-Bild (5) jeweils aus einer ortsfesten, insbesondere aus einer gekoppelten, Kamerapose aufgenommen werden. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Auswahl von wenigstens zwei Merkmalspunkten (12, 13) im Merkmalsdetektionsschritt durch eine rechnergestützte automatisierteMerkmalsdetektion vorgenommen wird und/oder durch eine manuelle Merkmalsauswahl vorgenommen wird und/oder dass in einer Plausibilitätsprüfung die Einpassung des geometrischen Primitivs (7) rechnergestützt geprüft und/oder optimiert wird, insbesondere derart, dass Ausreißer, welche insbesondere durch Messfehler hervorgerufen sind, innerhalb einer Teilmenge (8) von 3D- Punkten (6): bei der Einpassung des geometrischen Primitivs (7) ausgenommen werden. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass im Einpassungsschritt ein RANSAC- Verfahren und/oder ein Region-Growing-Verfahren angewendet wird und/oder dass das Objekt (2) eine ebene, insbesondere rechteckige, Fläche aufweist für die eine geometrische Messgröße (3), insbesondere eine räumliche Distanz und/oder ein Flächeninhalt, bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass für die Berechnung des 3D-Bildes (5) eine LaufZeitmessung und/oder ein Structure- from-Motion- Verfahren verwendet wird und/oder dass in einem Verzeichnungskorrekturschritt eine Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes (4) oder der visuellen Bilder (4) und/oder des 3D-Bildes (5) rechnergestützt vorgenommen wird. Bildaufnahmevorrichtung (1) zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), mit: einer visuellen Kamera (16) zur Aufnahme wenigstens eines visuellen Bildes (4) und einer 3D-Kamera (15) zur Aufnahme eines 3D-Bildes (5) oder einer visuellen Kamera (16) zur Aufnahme einer Folge mehrerer visueller Bilder (4) und einer SD-Bilderstellungseinheit zur Berechnung eines 3D-Bildes(5) aus der Folge mehrerer visueller Bilder (4) , einer Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge (8) von 3D-Punkten (6) des 3D-Bildes(5), einer Einpassungseinheit zur Einpassung eines geometrischen Primitivs (7) in die Teilmenge (8) von 3D-Punkten (6) , einer Merkmalsdetektionseinheit zur manuellen und/oder zur automatischen Auswahl von wenigstens zwei erkmalspunkten (9, 10) in dem visuellen Bild (4) , einer Proj ektionseinheit zur Projektion der wenigstens zwei Merkmalspunkte (9, 16) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13), einer Berechnungseinheit zur Berechnung der geometrischen Messgröße (3) für die wenigstens zwei Messpunkte (12, 13) . Bildaufnahmevorrichtung (1) nach Anspruch 8, dadurch gekennzeichnet, dass die Punktwolkenberechnungseinheit dazu eingerichtet ist, eine Raumrichtung eines 3D-Punktes (6) zu bestimmen, insbesondere um 3D- Punkte (6) gemäß ihren Raumrichtungen zu Teilmengen (8) von 3D-Punkten (6) zuordnen zu können, und/oder dass dieBildaufnahmevorrichtung (1) einePlausibilitätsprüfungseinrichtung zur Prüfung und/oder Optimierung des geometrischen Primitivs (7) aufweist, insbesondere wobei diese dazu eingerichtet ist, eine Optimierung des geometrischen Primitivs (7) vorzunehmen, bis eine minimierte Diskrepanz zwischen den 3D-Punkten (6) und den tatsächlichen Punkten des geometrischen Primitivs vorliegt. 0. Bildaufnahmevorrichtung (1) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die visuelle Kamera (16) zur Aufnahme wenigstens eines visuellen Bildes (4) und die SD- Kamera (15) miteinander gekoppelt sind, insbesondere derart, dass sie über ein Verbindungselement (18), vorzugsweise in einem definierten oder einstellbaren Abstand, miteinander verbunden sind und/oder dass die Bildaufnahmevorrichtung (1) eine Gruppierungseinheit aufweist, zur Durchführung eines Gruppierungsschritts, wobei für jeden 3D-Punkt (6) eine Raumrichtung bestimmbar ist oder bestimmt wird und die 3D-Punkte gemäß ihrer Raumrichtungen einer Teilmenge (8) rechnergestützt zuordenbar sind oder zugeordnet werden, insbesondere derart, dass für jeden 3D-Punkt (6) zunächst eine lokale Ebene und daraus ein Normalenvektor berechnet wird oder berechenbar ist.
1. Bildaufnahmevorrichtung (1) nach einem der Ansprüche 8 bis
10, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (1) dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
2. Bildaufnahmevorrichtung (1) nach einem der Ansprüche 8 bis
11, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (1) eine Korrektureinheit zur Durchführung, insbesondere zur automatisierten und/oder rechnergestützten Durchführung, einer Verzeichnungskorrektur und/oder einer Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes (4) oder der visuellen Bilder (4) und/oder des 3D-Bildes (5) aufweist, insbesondere wobei die jeweilige Korrektur vor Erstellung eines 3D-Bildes (5) bei allen visuellen Bildern (4) aus einer oder der Folge von mehreren visuellen Bildern (4) und/oder vor Projektion der wenigstens zwei Merkmalspunkte (9, 16) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13) erfolgt.
PCT/EP2017/000197 2016-02-24 2017-02-13 Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes WO2017144162A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/075,786 US20190066321A1 (en) 2016-02-24 2017-02-13 Method and image-processing device for determining a geometric measurement quanitty of an object
EP17705553.0A EP3420531A1 (de) 2016-02-24 2017-02-13 Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016002186.1 2016-02-24
DE102016002186.1A DE102016002186A1 (de) 2016-02-24 2016-02-24 Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes

Publications (1)

Publication Number Publication Date
WO2017144162A1 true WO2017144162A1 (de) 2017-08-31

Family

ID=58054087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/000197 WO2017144162A1 (de) 2016-02-24 2017-02-13 Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes

Country Status (4)

Country Link
US (1) US20190066321A1 (de)
EP (1) EP3420531A1 (de)
DE (1) DE102016002186A1 (de)
WO (1) WO2017144162A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017107341B4 (de) 2017-04-05 2018-10-31 Testo SE & Co. KGaA Verfahren und Vorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes
DE102017107335A1 (de) 2017-04-05 2018-10-11 Testo SE & Co. KGaA Verfahren zur Identifikation von korrespondierenden Bildbereichen in einer Folge von Bildern
US10540823B2 (en) * 2018-02-20 2020-01-21 Beijing Jingdong Shangke Information Technology Co., Ltd. Method and apparatus for determining a planar surface
TWI791910B (zh) * 2019-10-16 2023-02-11 由田新技股份有限公司 用於孔狀結構之檢測資訊呈現方法、檢測方法、及檢測設備
CN113866171B (zh) * 2021-12-02 2022-03-18 武汉飞恩微电子有限公司 电路板点胶检测方法、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187067A1 (en) * 2011-03-04 2015-07-02 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US20150221079A1 (en) * 2014-01-31 2015-08-06 Pictometry International Corp. Augmented Three Dimensional Point Collection of Vertical Structures
US20150317821A1 (en) * 2014-04-30 2015-11-05 Seiko Epson Corporation Geodesic Distance Based Primitive Segmentation and Fitting for 3D Modeling of Non-Rigid Objects from 2D Images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
DE10242852A1 (de) * 2002-09-14 2004-03-25 Technische Universität Ilmenau Abteilung Forschungsförderung und Technologietransfer Verfahren zur Minimierung des Einflusses von Störsignalen bei der Formelementeberechnung aus Koordinatenpunkten
US9189888B1 (en) * 2013-01-14 2015-11-17 Bentley Systems, Incorporated Point cloud modeling based on user-provided seed
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
JP2015056057A (ja) * 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187067A1 (en) * 2011-03-04 2015-07-02 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US20150221079A1 (en) * 2014-01-31 2015-08-06 Pictometry International Corp. Augmented Three Dimensional Point Collection of Vertical Structures
US20150317821A1 (en) * 2014-04-30 2015-11-05 Seiko Epson Corporation Geodesic Distance Based Primitive Segmentation and Fitting for 3D Modeling of Non-Rigid Objects from 2D Images

Also Published As

Publication number Publication date
EP3420531A1 (de) 2019-01-02
DE102016002186A1 (de) 2017-08-24
US20190066321A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
WO2017144162A1 (de) Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102008015499A1 (de) Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
WO2005075936A1 (de) Verfahren zur bestimmung der lage eines objekts im raum
DE69829091T2 (de) Messungsgerät
EP1910999B1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102011003653A1 (de) Verfahren zum Gewinnen eines 3D-Bilddatensatzes zu einem Bildobjekt
DE202019105838U1 (de) Anordnung mit einem Koordinatenmessgerät oder Mikroskop
DE10328523B4 (de) Verfahren und Meßvorrichtung zur berührungslosen Vermessung einer Kontur einer Oberfläche
EP2494522B1 (de) Verfahren zur bestimmung eines satzes von optischen abbildungsfunktionen für die 3d-strömungsmessung
DE102006022103B4 (de) Verfahren zum Vermessen eines Festkörpers
DE102019123458B4 (de) Verfahren zur Vermessung eines dreidimensionalen Objekts, insbesondere eines Körperteils
EP3420533B1 (de) Verfahren zum kalibrieren eines optischen messaufbaus
WO2009018894A1 (de) Verfahren und vorrichtung zum bestimmen von geometriedaten eines messobjekts
EP3174010A2 (de) Verfahren zur erstellung einer 3d-repräsentation und korrespondierende bildaufnahmevorrichtung
EP0803079A1 (de) Kamera mit objektiv- und bildträgereinstellvorrichtung und scharfstellverfahren
EP3309507B1 (de) Verfahren zum erfassen und optimieren von dreidimensionalen oberflächengeometrien
DE10042387A1 (de) Verfahren zum Transformieren dreidimensionaler Objektpunkte in zweidimensionale Bildpunkte für Linear-Fächerstrahlsensor-Bilder
WO2017137158A1 (de) Verfahren und bildaufnahmevorrichtung zur bestimmung einer geometrischen messgrösse eines wahlobjektes
WO2019197230A1 (de) Korrekturverfahren und vorrichtung zur korrektur von bilddaten
EP3638095A1 (de) Verfahren zum hochgenauen bestimmen eines pupillendurchmessers eines auges und eine diesbezügliche vorrichtung
WO2020057849A1 (de) Computerimplementiertes verfahren zur komprimierung von messdaten aus einer messung eines messvolumens
DE102019206977A1 (de) Vorrichtung und Verfahren zur Vermessung mindestens eines schräg im Raum stehenden Messobjekts
DE102014219418A1 (de) Verfahren zur Stereorektifizierung von Stereokamerabildern
DE102005043070B4 (de) Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen, beispielsweise zur Bildauswertung von Verkehrsstrecken

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017705553

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017705553

Country of ref document: EP

Effective date: 20180924

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17705553

Country of ref document: EP

Kind code of ref document: A1