WO2019185153A1 - Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts - Google Patents

Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts Download PDF

Info

Publication number
WO2019185153A1
WO2019185153A1 PCT/EP2018/058184 EP2018058184W WO2019185153A1 WO 2019185153 A1 WO2019185153 A1 WO 2019185153A1 EP 2018058184 W EP2018058184 W EP 2018058184W WO 2019185153 A1 WO2019185153 A1 WO 2019185153A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
coordinates
measuring device
display
pose
Prior art date
Application number
PCT/EP2018/058184
Other languages
English (en)
French (fr)
Inventor
Dominik SCHMID
Andreas Fuchs
Herbert Daxauer
Original Assignee
Carl Zeiss Industrielle Messtechnik Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Industrielle Messtechnik Gmbh filed Critical Carl Zeiss Industrielle Messtechnik Gmbh
Priority to PCT/EP2018/058184 priority Critical patent/WO2019185153A1/de
Priority to DE112018007380.7T priority patent/DE112018007380A5/de
Publication of WO2019185153A1 publication Critical patent/WO2019185153A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to a method for determining 3D coordinates of an object having a first and at least one further object sub-area, in particular for creating a digital representation of the object, with the steps
  • the invention further relates to an apparatus for determining 3D coordinates of an object having a first and at least one further object sub-area, in particular for creating a digital representation of the object, with a 3D measuring device, which is set up to determine 3D coordinates at a multiplicity of object points of the object,
  • a positioning surface for placing the object in a first pose relative to the 3D measuring device is a positioning surface for placing the object in a first pose relative to the 3D measuring device.
  • the accuracy of measurement depends on numerous factors in generic methods and devices. These include the measurement accuracy of the instrument used, the physical limits of the underlying measurement principle, the environmental conditions, and not least the selected pose of the object relative to the 3D instrument.
  • the term pose refers to its current position and orientation.
  • high measurement accuracy requires a lot of effort in terms of time and cost of the measurement. Become frequent Specially trained and experienced measurement technicians need to efficiently measure dimensional properties of an object.
  • US 2016/0189422 A1 discloses a method for determining the 3D coordinates of an object having a plurality of sub-areas, which are measured successively in time.
  • the 3D coordinates of the faces are then merged into a processing device, such as a computer.
  • Photographs of the object acquired with the 3D measuring device and / or the 3D coordinates of one or more partial surfaces can be displayed to the user on data glasses.
  • the position of the 3D measuring device, the measuring volume and additional status information can also be displayed on the data glasses.
  • the user can therefore easily position the 3D measuring device and the object relative to one another and trigger a measurement without requiring a pictorial representation of the measuring object on a display of the computer.
  • WO 2009/129916 discloses a method and apparatus for determining 3D coordinates of an object, wherein gestures of a user, such as the movement of a hand, are detected and, depending thereon, measurement results are selected for display on a display device .
  • the display device may be a smart phone.
  • the display device may be a portable computer, a tablet PC or a smartphone.
  • the display device may have a semi-transparent screen or, alternatively, a camera to display the selected measurement results along with an image of the measurement object.
  • EP 2 788 714 B1 discloses a coordinate measuring machine which in addition to the sensor for the determination of 3D coordinates still has a range camera.
  • the range camera may be directed to an operator of the coordinate measuring machine to enable the control of the drives of the coordinate measuring machine by means of gestures. Alternatively or additionally, the range camera can be aimed at collision avoidance on the workpiece in the measuring volume of the coordinate measuring machine.
  • the known methods and devices support a user and make it easier for him to carry out and evaluate a measurement. They are not optimal. In view of this, it is an object of the present invention to provide a method and a device of the type mentioned, which allow an even simpler and more efficient measurement of a 3D object.
  • this object is achieved by a method of the aforementioned type, wherein the 3D measuring device defines a device coordinate system and determines the first and the further 3D coordinates relative to the device coordinate system, and also with the further steps
  • this object is achieved by a device of the type mentioned in the introduction, wherein the 3D measuring device defines a device coordinate system and determines the 3D coordinates relative to the device coordinate system, and furthermore with a camera for Taking a number of images containing the 3D measuring device and the object in the first pose, and with a processor, which is set up to define an object coordinate system in the region of the object and to determine a coordinate transformation between the device coordinate system and the object coordinate system based on the number of images and to transform the 3D coordinates into the object coordinate system using the coordinate transformation from the device coordinate system to generate first result data representing the 3D coordinates, the display being further configured to display the first result data as computer-generated further information together with the view of the object.
  • the new method and apparatus utilize a camera to capture a number of images showing the 3D meter and the object.
  • the camera captures at least one image that shares the 3D measurement device and the object in the first pose.
  • exactly one image can be taken with the 3D measurement device and the object in the first pose.
  • multiple images may be taken, some of which include the 3D measuring device and others the object.
  • the camera is advantageously coupled to a position sensor, which makes it possible to relate at least one image to the 3D measuring device and at least one further image to the object spatially relative to one another.
  • the at least one image can in principle be a 2D image.
  • the camera is a 3D-capable camera, ie, a camera capable of providing distance information to objects.
  • the camera can be a stereo camera and / or a camera, which determines distance information on objects based on light propagation times or with the aid of structured illumination.
  • the camera may be a Microsoft Kinect sensor from Microsoft Corporation.
  • the camera is an integral part of smart glasses, such as the Microsoft Hololens from Microsoft Corporation.
  • the present invention includes the use of Microsoft Hololen's data glasses to determine a coordinate transformation from the device coordinate system of the 3D measurement device to the object coordinate system.
  • the camera may be in Other preferred embodiments may be an integral part of a smartphone or a tablet PC.
  • the term "camera” here thus includes a device for optically capturing data representing a spatial position and orientation of the 3D measuring device relative to the object (or vice versa).
  • the first pose of the object is determined relative to the 3D measuring device on the basis of at least one current camera image with the 3D measuring device and the object and that a transformation relationship is determined depending on the at least one image, with which the 3D coordinates can be transformed from the device coordinate system of the 3D measuring device into the object coordinate system.
  • a unique relationship between the device coordinate system of the 3D measuring device and the object coordinate system is determined.
  • the coordinate transformation is determined even before the measurement of the first 3D coordinates, so that even the first measured 3D coordinates can be assigned to the object in the correct position.
  • the positionally correct assignment of the measured 3D coordinates is typically possible only after a so-called pre-alignment which only takes place on the basis of measured 3D coordinates of the object.
  • the object coordinate system is advantageously a coordinate system which is independent of the 3D measuring device and is preferably defined solely on the basis of the object properties.
  • the object coordinate system makes it possible to uniquely assign all measured object points to the first and the at least one further object sub-area.
  • an origin of the object coordinate system may be defined at an outer corner of the object or at the geometric center of gravity of the object.
  • the object coordinate system can also be defined remotely from the object, for example based on properties of the camera, and it can be independent of the object and / or used for a multiplicity of different objects.
  • the object coordinate system may be in the form of a Cartesian coordinate system, a polar coordinate system, a spherical coordinate system, or other suitable means To be defined.
  • the device coordinate system is typically defined depending on the characteristics of the 3D measuring device.
  • the device coordinate system may be defined such that two orthogonal coordinate axes span a plane parallel to the image sensor of the 3D measuring device and a third coordinate axis perpendicular stands to the level.
  • the device coordinate system is independent of the object properties.
  • the first 3D coordinates are superimposed directly above the displayed object image immediately after the measurement of the first object sub-area in an Augmented Reality or Mixed Reality (AR / MR) representation, so that the Result data are visualized in real time "on the object".
  • AR / MR Augmented Reality or Mixed Reality
  • the result data are visualized with the aid of a computer-generated colored surface, which is superimposed over the current object image in such a way that the measured object surface appears artificially colored.
  • Deviations or matches of the measured 3D coordinates with desired data of the object can advantageously be represented with different colors, so that a user can quickly recognize the deviations or matches and assign them to the object in the correct position.
  • the new method and apparatus are not limited to the particular way of displaying result data.
  • it is advantageous that the coordinate transformation is already available at the beginning of the measurement without the user having to observe strict specifications with regard to the positioning of the object relative to the 3D measuring device.
  • the new method and the new device therefore allow fast and flexible measurement.
  • Another advantage is that the first 3D coordinates are available early relative to the object coordinate system. If the first result data in the object coordinate system already show greater deviations from a desired geometry, ie deviations beyond a defined tolerance range, the measurement can be terminated early without the others To measure object faces. Inefficient measurements can thus be avoided at an early stage.
  • the user can advantageously determine the second pose of the object based on the first result data and align the object and / or the 3D measuring device for an efficient measurement.
  • the user can easily avoid unnecessarily large overlapping areas of the measured partial areas.
  • a first data record is provided which represents a desired geometry of the object.
  • the device advantageously has an interface for supplying the first data record and a memory for storing the first data record.
  • the first data set is provided in the form of so-called CAD (Computer Aided Design) data.
  • CAD Computer Aided Design
  • the embodiment has the advantage that the first pose of the object can be determined very efficiently by means of a so-called CAD racking using the at least one image with the object by comparing the image of the object and the CAD data set and / or be reconciled with each other.
  • the first pose of the object relative to the 3D measurement device may be determined using pattern recognition in the at least one image using the CAD data set. In advantageous embodiments, this is done automatically with the aid of the above-mentioned processor and an image evaluation and matching software. The design contributes to reliable object recognition and to a further increase in efficiency.
  • the object coordinate system is defined as a function of the first data record.
  • the object coordinate system can be defined very simply and optimally with respect to the specific properties of the object.
  • an object coordinate be defined natensystem that simplifies a correct position display of the result data.
  • a cylindrical coordinate system is advantageous if the object has a substantially cylindrical shape or is at least largely rotationally symmetrical to a longitudinal axis.
  • a Cartesian object coordinate system is advantageously defined whose main axes are orthogonal to one another and are aligned at least largely parallel to outer edges of the object and / or an object envelope.
  • the first pose of the object is identified on the basis of the first data record and on the basis of the number of images.
  • the first pose of the object can be determined very advantageously with the aid of CAD tracking by comparing the image of the object and the CAD data record with each other and / or matching them.
  • the embodiment allows a quick recognition of the first pose.
  • the first result data and the first data set are aligned using an alignment algorithm, such as a best-fit algorithm, to determine deviations of the object from a desired geometry.
  • an alignment algorithm such as a best-fit algorithm
  • the first result data and the first data set are automatically aligned with each other by means of the alignment algorithm (eg best fit, 3-2-1 rule, reference point system, etc.) and thus compared with each other, the deviations of the object from the desired geometry Owing to the known transformation of the 3D coordinates from the device coordinate system into the object coordinate system, the first result data can be allocated to the first data set in a very efficient and advantageous manner without manual processing.
  • the design contributes to a very efficient measurement with a high degree of accuracy Reproducibility at.
  • a second data record is furthermore provided that represents an outer contour of the 3D measuring device, wherein a pose of the 3D measuring system in space is determined on the basis of the second data record and on the basis of the number of images.
  • the 3D measuring device has defined markers with the aid of which the position and orientation of the 3D measuring device in space can be determined.
  • the second data set can be compared with one or more images of the 3D measuring system in order to determine the pose of the 3D measuring system in space.
  • the designs allow an automatic measurement process with high reproducibility.
  • the number of images includes an image that shows the 3D measurement device and the object together in the first pose.
  • exactly one image is taken with the 3D measuring device and the object in the first pose.
  • the embodiment makes it possible to efficiently determine the first pose of the object relative to the 3D measuring device with the aid of image processing algorithms known per se, in particular if additionally the first and the second data record are provided.
  • the camera has a position sensor which is set up to determine a position and / or orientation of the camera relative to the 3D measuring device and / or relative to the object.
  • the position sensor may include one or more individual sensors, in particular yaw rate and / or acceleration sensors.
  • the position sensor may include an inertial navigation system that determines an actual camera pose in space relative to a defined output pose. It is not necessary for the position sensor to pose the camera in an absolute position Room supplies. Rather, it is sufficient if the position sensor can detect changes in the position and / or orientation of the camera in the room. Alternatively or additionally, however, the position sensor in other embodiments can determine an absolute position and / or orientation of the camera with respect to a reference coordinate system, for example with the aid of triangulation methods.
  • the camera may have defi ned position markers, which are evaluated for determining the current position of the camera in the room according to the method of WO 2016/071227 A1.
  • the design simplifies the determination of the pose of the object relative to the 3D measuring device, since the camera forms a reference system.
  • the camera and the display are integrated in a mobile device, which is networked with the 3D measuring system.
  • the camera and the display can be components of a tablet PC, a smartphone, data glasses for AR / MR applications or a similar mobile display device.
  • the mobile device provides an augmented reality / mixed reality functionality, which makes it possible to display the result data as a graphic overlay over the image of the object.
  • the mobile device is further configured to allow gesture control, gaze control and / or voice control of the processor and / or the 3D measuring device to adapt the presentation of the result data about the object to the wishes of the user.
  • the user may arrange the graphically displayed result data over the object or move it away from the object.
  • the embodiments allow intuitive operation and contribute to a simple and efficient measurement of the object advantageous.
  • the 3D measuring device defines a measuring volume which is displayed on the display together with the view of the object.
  • an advantageous set pose of the object for recording the further 3D coordinates together with the view of the object is displayed on the display.
  • These embodiments facilitate the user to optimally position the object relative to the 3D measuring system to determine the 3D coordinates. They contribute to an efficient measurement of the object advantageous.
  • the 3D measuring device has a field angle or viewing area and it is determined with the aid of one or more simulation calculations which pose of the object allows an efficient measurement at as many object points as possible.
  • the object may be selectively brought into pose using the simulation calculations, which minimizes spurious reflections at inner edges.
  • the optimal target pose is advantageously displayed graphically on the display and the user can optimally position the object by matching the object image and the overlay.
  • the object is automatically brought into the optimal pose by means of handling devices, such as a robot.
  • Fig. 3 is a flowchart for explaining an embodiment of the new method.
  • an apparatus for determining 3D coordinates of an object in the entirety is designated by the reference numeral 10.
  • the object is at Reference numeral 12 greatly simplified as a cube.
  • the object 12 has a first object sub-area 14 and at least one further object sub-area 16.
  • the object sub-areas 14, 16 are in many real objects typically to each other so that they must be measured successively and / or with different sensors, if the object is to be measured completely .
  • a typical application of the new apparatus and method is the creation of a complete digital representation of the object and thus the determination of 3D coordinates representing all object faces.
  • the reference numeral 18 here denotes a 3D measuring device.
  • the 3D measuring device 18 has a camera 20 and a projector 22.
  • the camera 20 has a field angle or viewing area 24.
  • the projector 22 has a projection area 26.
  • the viewing area 24 of the camera and the projection area are superimposed 26 of the projector.
  • this area lies the measurement volume 28, in which an object 12 or an object sub-area must be arranged so that 3D coordinates at the object points can be determined with the aid of the 3D measuring device 18.
  • the 3D measuring device works on the structured light principle.
  • one or more defined illumination patterns for example stripe patterns, are generated.
  • one or more images of the object are recorded together with the defined illumination patterns. Due to the known spatial relationship between the camera 20 and the projector 22, it is possible to determine 3D coordinates to object points on the basis of the recorded images and the defined illumination patterns, which are located within the measurement volume 28 and can be recognized on the recorded images.
  • a 3D measuring device operating on the structured light principle is very well suited for digital representations of objects with diffuse reflection Create surfaces.
  • the 3D measuring device 18 is a device of the COMET series of Carl Zeiss Optotechnik GmbH, Georg-Wiesböck-Ring 12, 831 15 Neubeuern.
  • the device 10 may alternatively or additionally comprise other 3D measuring devices, such as tactile sensors or non-contact measuring sensors which operate on the principle of white-light interferometry, with focus variation, with a stereo camera, capacitively or according to another sensor principle
  • FIG. 2 shows an exemplary embodiment in which the 3D measuring device 18 includes a so-called tracker 18 'and a hand-held measuring device 18 ".
  • the tracker 18 here has a projector 22 and two cameras 20a, 20b.
  • the hand-held measuring device 18 has a further camera 20 and a further projector 22.
  • the projector 22 generates a fan-like widened laser beam 23.
  • An operator (not shown) can illuminate an object partial surface 14 with the laser beam 23.
  • the camera 20 of the measuring device 18 "captures an image of the illuminated object partial surface 14 with the laser line.
  • the position of the hand-held measuring device 18 "in space can be determined and the hand-held measuring device 18" supplies 3D coordinates at the object points illuminated by the laser line using the triangulation principle.
  • the 3D measuring device 18 is a measuring device of the TSCAN type from Carl Zeiss Optotechnik GmbH, Georg-Wiesböck-Ring 12, 831 15 Neubeuern.
  • the reference numeral 30 designates in FIG. 1 and FIG. 2 an evaluation and control unit which, in preferred exemplary embodiments, is implemented with the aid of a personal computer on which software is executed, which on the one hand is the 3D measuring device 18 controls the generation of the structured illumination and the image recording.
  • the 3D measuring device 18 controls the generation of the structured illumination and the image recording.
  • the calculation of the 3D coordinates of the measured object points as well as the evaluation and representation of the measurement results typically takes place with the aid of this software.
  • Suitable measuring and evaluation software for 3D measuring devices are also known to the relevant experts.
  • the reference numeral 32 denotes a memory which may be part of the PC 30 or may be realized as an external memory.
  • a first data record 34 and a second data record 36 are stored here.
  • the first data set 34 represents a desired geometry of the object 12, in particular in the form of CAD data.
  • the second data record 36 represents an outer contour of the 3D measuring device 18, for example also in the form of CAD data.
  • the evaluation and control unit 30 or alternatively / additionally a further processor is designed to determine a respective current pose of the object 12 relative to the 3D measuring device 18 by evaluating one or more images that the Object 12 and the 3D measuring device 18 include.
  • the 3D measuring device 18 defines a device coordinate system 38 to which the 3D coordinates determined with the aid of the 3D measuring device 18 are related. Moreover, in order to obtain a clear reference of the 3D coordinates to the object points of the object 12, the definition of an object coordinate system 40 is advantageous. For example, the 3D coordinates of the cube 12 in the device coordinate system 38 will be equal within certain measurement tolerances when the object 12 is rotated 180 ° at the same position within the measurement volume 28. By defining an object coordinate system 40 that is independent of the 3D measurement device solely related to the object, one can uniquely identify the object points. The new method and the new device involve a coordinate transformation of the 3D coordinates from the device coordinate system 38 into the object coordinate system 40, as will be explained in more detail below.
  • the reference numeral 42 denotes a data glasses.
  • the data glasses 42 has a display 44, which may be implemented, for example, as an LCD or AMOLED display.
  • the display 44 may be semitransparent in some embodiments, such that a user wearing the data glasses 42 may see the real object 12 through the display 44. In other embodiments, the display 44 may be intransparent, such as comparable displays of tablet PCs or smartphones.
  • the data glasses 42 in this embodiment further has a camera 46 and images of the camera 46 can be displayed on the display 44, so that the user gets the impression even with an opaque display 44 to see the real object 12 through the display 44.
  • data glasses 42 is a so-called Hololens of Microsoft Corporation (https://www.microsoft.com/en-us/hololens).
  • the reference numeral 48 here denotes a microphone, via which a user can input voice commands for controlling the display on the data glasses 42, for example.
  • Reference numeral 50 denotes a processor which is arranged together with an interface 52 on a suitable circuit carrier or in a suitable circuit housing.
  • the processor 50 may be a microcontroller, microprocessor, ASIC, FPGA, or other suitable logic circuitry in which the following described functions are implemented.
  • the data glasses 42 is here connected via the interface 52 with the evaluation and control unit 30 and able to exchange data and / or control commands with the evaluation and control unit 30.
  • the interface 52 may include a wireless Bluetooth and / or WLAN interface.
  • Other, preferably wireless communication connections between the data glasses 42 and the evaluation and control unit 30, such as an optical connection, are possible in principle.
  • Reference numeral 54 designates a position sensor, with the aid of which the position and / or orientation of the data glasses 42 in space can be determined.
  • the position sensor 54 may include a gyrocompass and / or one or more microwave receivers to determine the position and / or orientation of the data glasses 42 based on signal propagation times of radio signals from suitable radio transmitters (not shown) (similar to how the Global Positioning System GPS operates).
  • the position sensor 54 may have one or more marks 56 with the aid of which the position and / or orientation of the data glasses 42 can be determined.
  • WO 2016/071227 A1 As an example of a method for determining the position with the aid of such marks 56, reference is made to WO 2016/071227 A1, which is incorporated by reference in this respect.
  • the data glasses 42 here make possible an augmented reality / mixed reality (AR / MR) display of the object 12 and is shown as an example for an AR / MR display device.
  • computer-generated further information 58 can be superimposed on the display 44 over the image of the real object 12, such as colored markings, areas, alphanumeric characters, lines or other characters that can be displayed on a computer display, which make it easier for the user to read the object 12 to position and measure.
  • reference numerals 58 in FIG. 1 show lines which indicate to the user which partial surfaces of the object 12 have already been measured and which do not.
  • advantageous exemplary embodiments of the new method include that the 3D coordinates of the object 12 determined with the aid of the 3D measuring device 18 are compared with the CAD data record 34 with the aid of a best-fit adaptation be merged.
  • the result data thus prepared can be displayed to the user in some embodiments of the device 10 in the form of an AR / MR representation over the real image of the object 12.
  • a CAD model determined from the CAD data set 34 may be displayed to the user on the display 44 to display a target pose to the user in which the object 12 is positioned relative to the 3D object.
  • Measuring device 18 is to be positioned to measure a defined object surface area.
  • the device 10 may include in other embodiments, a tablet PC, a smartphone, a notebook or other display device, which additionally has a camera 46 to take a picture of the real object 12 and / or the 3D measuring device 18.
  • the camera 46 of the AR / MR device 42 is configured to capture one or more images from the 3D measurement device 18 and the object 12.
  • the processor 50 and / or the evaluation and control unit 30 are configured to determine a current pose of the object 12 relative to the 3D measuring device 18 based on the images from the camera 46.
  • the processor 50 and / or the evaluation and control unit 30 are further adapted to an object coordinate system in dependence on the one or more images and to determine a coordinate transformation from the device coordinate system 38 into the object coordinate system 40.
  • one embodiment of the method includes positioning the 3D measuring device 18 and the object 12 relative to each other (steps 62, 64). If the object 12 is relatively small compared to the measurement volume 28, the 3D measurement device 18 can advantageously be arranged stationary (step 62) and the object 12 is suitably positioned in the measurement volume 28 (step 64). For large objects 12, such as a propeller blade of a windmill or a large body portion of a vehicle, step 64 will involve stationary positioning of the object while positioning the 3-D gauge relative to the object 12 in step 62. Accordingly, the order of steps 62, 64 may be reversed.
  • a CAD data set representing the 3D measurement device 18 and a CAD data set representing the object 12 are provided here.
  • an image is taken with the camera 46, which includes both the object 12 or at least one object sub-area to be measured by the object 12 and the 3D measuring device 18.
  • several images can be recorded in step 70, wherein a relative position of the object 12 to the 3D measuring device 18 can be determined with the aid of the position sensor 54 on the basis of the images taken.
  • the 3D measuring device may have defined marks 60, by means of which a current pose of the 3D measuring device in space can be determined on the basis of the camera images.
  • an operator (not shown) carrying the data glasses 42 in front of the face first looks at the 3D measuring device 18 (FIG. 1) or the tractor 18 '(FIG. 2) to take a picture with the 3D measuring device 18 or the tracker 18 '. Subsequently, the operator with the data glasses 42 looks at the object 12.
  • the 3D measuring device 18 is localized here by means of CAD tracking in the recorded image.
  • the object 12 is located in the captured image.
  • the CAD data sets from steps 66, 68 can be used.
  • the marks 60 can be evaluated in the recorded image of the 3D measuring device 18 or tracker 18 '.
  • step 76 a general coordinate transformation is subsequently determined with which the device coordinate system 38 and the object coordinate system 40 are related to one another.
  • this coordinate transformation is already determined as a function of the image (s) of the camera 46 before the 3D coordinates of the object 12 are recorded with the aid of the 3D measuring device 18. Notwithstanding this, step 76 may be executed in other embodiments but later in the process flow.
  • an optimal object pose of the object 12 relative to the 3D measuring device 18 is determined here on the basis of the image (s) of the object 12 and the 3D measuring device 18.
  • the optimal object pose is displayed to the user on the display 44 so that it can optimally position the object 12 or the object sub-area to be measured relative to the 3D measuring device 18. Accordingly, the user may reposition the object or object interface according to step 80 and bring it into the optimal pose relative to the 3D measurement device 18.
  • step 82 3D coordinates are determined on a first object subarea using the 3D measuring device 18.
  • step 84 the 3D coordinates are transformed from the device coordinate system 38 into the object coordinate system 40.
  • step 86 a best fit adaptation of the transformed 3D coordinates (ie, the 3D coordinates in the object coordinate system 40) and the CAD data set 34 is performed to visualize the measured 3D coordinates at the "correct" location of the object 12 can.
  • step 88 the resulting result data in the image of the object 12 are displayed on the display 44.
  • Step 90 is followed by a decision as to whether additional object subareas are to be measured. If so, loop 100 returns to step 78. Otherwise, the deviations of the measurement results from the target data of the CAD data set according to step 102 are documented.
  • the result data can be displayed in the correct position on the display 44 at a very early point in time of the method in a graphic AR / MR display, namely already after the determination of the first 3D coordinates on a display first object part surface.
  • Preferred embodiments of the new method therefore include locating both the 3D measuring device and the object or the object surface to be measured with the aid of a camera 46 separate from the 3D measuring device and determining the relative orientation to one another. Therefore, the coordinate transformation from the device coordinate system 38 to the object coordinate system 40 may already be determined before the first 3D coordinates are measured.
  • all result data are displayed on the display 44 of the AR / MR device in the correct position over an image of the real object 12 or the measured object subarea before further 3D coordinates are determined on a further object subarea.
  • step 64 the user is also shown the measurement volume 28 and / or the optimal object pose of the object subarray to be measured relative to the 3D measurement device on the display 44 of the AR / MR device, which is due to the early determined coordinate transformation is possible.
  • the steps 64, 68 and the taking of an image with the object 12 can therefore be carried out in some advantageous embodiments, after the pose of the 3D measuring device 18 in space has been determined with the aid of the camera 46.
  • the user can display the result data by head movements, gestures, voice commands or manual inputs on a graphics tablet, a touch screen, using a mouse or a keyboard or other input medium for the evaluation and control unit 30th and / or the AR / MR device.
  • the visualized result data can be temporarily moved to the side with a swipe movement in order to release an undisturbed view of the object 12 or the object surface to be measured.
  • the AR / MR device 42 the user is thus enabled to act in the object coordinate system 40 even before the actual measurement of the 3D coordinates.
  • the merging of the result data from a plurality of object subareas can be simplified and accelerated due to the early reference to the object coordinate system 40.
  • the merging of the result data of all object sub-areas is performed automatically using the coordinate transformation determined in step 76.
  • an optimal object pose of the object 12 or of an object sub-area to be measured relative to the 3D measuring device is determined on the basis of simulation calculations before the 3D coordinates are determined with the aid of the 3D measuring device 18.
  • the new device may include one or more handling devices, such as robots, to automate the 3D measurement device and the object surface to be measured into the optimal object pose relative to each other.
  • either the object and / or the 3D measuring device can be moved.
  • the user can also be displayed on the display 44 of the AR / MR device advantageously further adjustment parameters and / or environmental parameters that can influence the determination of the 3D coordinates, such as information about the ambient temperature , the ambient brightness or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Verfahrenund eine Vorrichtungzum Bestimmen von 3D-Koordinaten eines Objekts (12) verwenden ein 3D-Messgerät(18) und eine Anzeige (44), die dazu eingerichtet ist, eine Ansicht des Objekts (12) zusammen mit computergenerierten weiteren Informationen (58) anzuzeigen. Die 3D-Koordinaten werden mit Hilfe des Messgeräts(18) relativ zu einem Gerätekoordinatensystem(38) bestimmt. Die Ergebnisdaten werden auf der Anzeige (44) relativ zueinem Objektkoordinatensystem (40) angezeigt. Eine Koordinatentransformation zum Transformieren der 3D-Koordinaten zwischen dem Gerätekoordinatensystem(38) und dem Objektkoordinatensystem (40) wird in Abhängigkeit von einem oder mehreren Bildern bestimmt, die das 3D-Messgerät(18) und das Objekt (12) beinhalten.

Description

Verfahren und Vorrichtung zum Bestimmen von 3D-Koordinaten eines Objekts
[0001] Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen von 3D- Koordinaten eines Objekts, das eine erste und zumindest eine weitere Objektteilfläche besitzt, insbesondere zum Erstellen einer digitalen Repräsentation des Objekts, mit den Schritten
- Bereitstellen eines 3D-Messgerätes, das dazu eingerichtet ist, 3D- Koordinaten an einer Vielzahl von Objektpunkten des Objekts zu be- stimmen,
- Bereitstellen einer Anzeige, die dazu eingerichtet ist, eine Ansicht des
Objekts zusammen mit computergenerierten weiteren Informationen an- zuzeigen,
- Anordnen des Objekts in einer ersten Pose relativ zu dem 3D- Messgerät,
- Bestimmen von ersten 3D-Koordinaten an Objektpunkten der ersten Ob- jektteilfläche mit dem 3D-Messgerät, während sich das Objekt in der ers- ten Pose befindet,
- Anzeigen von ersten Ergebnisdaten, die die ersten 3D-Koordinaten re- präsentieren, auf der Anzeige, und
- Anordnen des Objekts in einer zweiten Pose relativ zu dem 3D- Messgerät und Bestimmen von weiteren 3D-Koordinaten an Objektpunk- ten der zumindest einen weiteren Objektteilfläche.
[0002] Die Erfindung betrifft ferner eine Vorrichtung zum Bestimmen von 3D- Koordinaten eines Objekts, das eine erste und zumindest eine weitere Objektteilfläche besitzt, insbesondere zum Erstellen einer digitalen Repräsentation des Objekts, mit - einem 3D-Messgerät, das dazu eingerichtet ist, 3D-Koordinaten an einer Vielzahl von Objektpunkten des Objekts zu bestimmen,
- einer Anzeige, die dazu eingerichtet ist, eine Ansicht des Objekts zu- sammen mit computergenerierten weiteren Informationen anzuzeigen, und
- einer Positionierfläche zum Anordnen des Objekts in einer ersten Pose relativ zu dem 3D-Messgerät.
[0003] E in Verfahren und eine Vorrichtung dieser Art sind beispielsweise aus
US 2016/0189422 A1 bekannt.
[0004] Verfahren und Vorrichtungen zum Bestimmen von 3D-Koordinaten von Objekten werden seit vielen Jahren in der Qualitätssicherung bei der industriellen Herstel- lung von Produkten und in der Entwicklung von solchen Produkten verwendet. Das Bestimmen der 3D-Koordinaten ermöglicht es, geometrische Abmessungen des Objekts, wie etwa den Durchmesser einer Bohrung, den Abstand von zwei Objektkanten oder den Krümmungsradius einer Kante, zu berechnen. Auch eine komplexe Freiform eines Objekts kann durch Bestimmen der 3D-Koordinaten an einer Vielzahl von Objektpunkten gemessen werden und beispielsweise mit Sollwerten und Designvorgaben verglichen werden. In der Regel ist dabei eine hohe Messgenauigkeit wünschenswert. Messfehler können die Verwendbarkeit der Messergebnisse beeinträchtigen.
[0005] Die Messgenauigkeit hängt bei gattungsgemäßen Verfahren und Vor- richtungen von zahlreichen Faktoren ab. Hierzu gehören die Messgenauigkeit des ver- wendeten Messgerätes, die physikalischen Grenzen des zugrunde liegenden Messprin- zips, die Umgebungsbedingungen und nicht zuletzt die ausgewählte Pose des Objekts relativ zu dem 3D-Messgerät. Der Begriff Pose bezeichnet dabei dessen aktuelle Position und Ausrichtung. Im Allgemeinen gilt, dass eine hohe Messgenauigkeit einen hohen Aufwand in Bezug auf die Zeit und die Kosten für die Messung erfordert. Häufig werden speziell geschulte und erfahrene Messtechniker benötigt, um dimensioneile Eigenschaften eines Objekts effizient zu messen.
[0006] US 2016/0189422 A1 offenbart ein Verfahren zum Bestimmen der 3D- Koordinaten eines Objekts mit mehreren Teilflächen, die zeitlich nacheinander gemessen werden. Die 3D-Koordinaten der Teilflächen werden anschließend in einem Verarbei- tungsgerät, wie etwa einem Computer, zusammengefügt. Aufnahmen von dem Objekt, die mit dem 3D-Messgerät erfasst wurden und/oder die 3D-Koordinaten von einer oder mehreren Teilflächen können dem Anwender auf einer Datenbrille angezeigt werden.
Auch die Position des 3D-Messgeräts, das Messvolumen und zusätzliche Statusinforma- tionen können auf der Datenbrille angezeigt werden. Der Anwender kann das 3D- Messgerät und das Objekt daher recht einfach relativ zueinander positionieren und eine Messung auslösen, ohne eine bildliche Darstellung des Messobjekts auf einer Anzeige des Computers zu benötigen.
[0007] WO 2009/129916 offenbart ein Verfahren und eine Vorrichtung zum Be- stimmen von 3D-Koordinaten eines Objekts, wobei Gesten eines Anwenders, wie etwa die Bewegung einer Hand, erfasst werden und in Abhängigkeit davon Messergebnisse zur Anzeige auf einem Anzeigegerät ausgewählt werden. In einem Ausführungsbeispiel kann das Anzeigegerät eine Datenbrille sein. In anderen Ausführungsbeispielen kann das Anzeigegerät ein tragbarer Computer, ein Tablet-PC oder ein Smartphone sein. Das Anzeigegerät kann einen semitransparenten Bildschirm haben oder, alternativ, eine Kamera, um die ausgewählten Messergebnisse zusammen mit einem Bild von dem Messobjekt anzuzeigen.
[0008] EP 2 788 714 B1 offenbart ein Koordinatenmessgerät, das zusätzlich zu dem Sensor für die Bestimmung von 3D-Koordinaten noch eine Range-Kamera besitzt.
Die Range-Kamera kann auf einen Bediener des Koordinatenmessgerätes gerichtet sein, um die Steuerung der Antriebe des Koordinatenmessgerätes mit Hilfe von Gesten zu ermöglichen. Alternativ oder ergänzend kann die Range-Kamera zur Kollisionsvermei- dung auf das Werkstück im Messvolumen des Koordinatenmessgerätes gerichtet sein. [0009] Die bekannten Verfahren und Vorrichtungen unterstützen einen Anwen- der und erleichtern ihm die Durchführung und Auswertung einer Messung. Sie sind jedoch nicht optimal. Angesichts dessen ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung der eingangs genannten Art anzugeben, die eine noch einfachere und effizientere Messung eines 3D-Objekts ermöglichen.
[0010] Gemäß einem ersten Aspekt der Erfindung wird diese Aufgabe durch ein Verfahren der eingangs genannten Art gelöst, wobei das 3D-Messgerät ein Gerätekoordi- natensystem definiert und die ersten und die weiteren 3D-Koordinaten relativ zu dem Gerätekoordinatensystem bestimmt, und ferner mit den weiteren Schritten
- Bereitstellen einer Kamera und Aufnehmen einer Anzahl von Bildern, die das 3D-Messgerät und das Objekt in der ersten Pose beinhalten,
- Definieren eines Objektkoordinatensystems,
- Bestimmen einer Koordinatentransformation zwischen dem Gerätekoor- dinatensystem und dem Objektkoordinatensystem anhand der Anzahl von Bildern, und
- Transformieren der ersten 3D-Koordinaten von dem Gerätekoordinaten- system in das Objektkoordinatensystem unter Verwendung der Koordi- natentransformation, um die ersten Ergebnisdaten zu erzeugen, wobei die ersten Ergebnisdaten als computergenerierte weitere Informationen zusammen mit der Ansicht des Objekts auf der Anzeige angezeigt werden.
[0011] Gemäß einem weiteren Aspekt wird diese Aufgabe durch eine Vorrich- tung der eingangs genannten Art gelöst, wobei das 3D-Messgerät ein Gerätekoordinaten- system definiert und die 3D-Koordinaten relativ zu dem Gerätekoordinatensystem be- stimmt, und ferner mit einer Kamera zum Aufnehmen einer Anzahl von Bildern, die das 3D-Messgerät und das Objekt in der ersten Pose beinhalten, und mit einem Prozessor, der dazu eingerichtet ist, ein Objektkoordinatensystem im Bereich des Objekts zu definie- ren und eine Koordinatentransformation zwischen dem Gerätekoordinatensystem und dem Objektkoordinatensystem anhand der Anzahl von Bildern zu bestimmen sowie die 3D-Koordinaten unter Verwendung der Koordinatentransformation von dem Gerätekoor- dinatensystem in das Objektkoordinatensystem zu transformieren, um erste Ergebnisda- ten zu erzeugen, die die 3D-Koordinaten repräsentieren, wobei die Anzeige ferner dazu eingerichtet ist, die ersten Ergebnisdaten als computergenerierte weitere Informationen zusammen mit der Ansicht des Objekts anzuzeigen.
[0012] Das neue Verfahren und die neue Vorrichtung verwenden eine Kamera zum Aufnehmen einer Anzahl von Bildern, die das 3D-Messgerät und das Objekt zeigen. In einigen Ausführungsbeispielen wird mit der Kamera zumindest ein Bild aufgenommen, das das 3D-Messgerät und das Objekt in der ersten Pose gemeinsam zeigt. In einigen vorteilhaften Ausführungsbeispielen kann genau ein Bild mit dem 3D-Messgerät und dem Objekt in der ersten Pose aufgenommen werden. In anderen bevorzugten Ausführungs- beispielen können mehrere Bilder aufgenommen werden, von denen einige das 3D- Messgerät und andere das Objekt beinhalten. In diesen Ausführungsbeispielen ist die Kamera vorteilhaft mit einem Positionssensor gekoppelt, der es möglich macht, zumindest ein Bild mit dem 3D-Messgerät und zumindest ein weiteres Bild mit dem Objekt räumlich zueinander in Beziehung zu setzen.
[0013] Das zumindest eine Bild kann prinzipiell ein 2D-Bild sein. In bevorzugten Ausführungsbeispielen ist die Kamera aber eine 3D-fähige Kamera, d.h. eine Kamera, die in der Lage ist, Entfernungsinformationen zu Objekten zu liefern. Vorteilhaft kann die Kamera eine Stereokamera und/oder eine Kamera sein, die Entfernungsinformationen zu Objekten anhand von Lichtlaufzeiten oder mit Hilfe von strukturierter Beleuchtung be- stimmt. Beispielsweise kann die Kamera ein Microsoft Kinect Sensor von der Microsoft Corporation sein. In einem besonders bevorzugten Ausführungsbeispiel ist die Kamera integraler Bestandteil einer Datenbrille, wie etwa der Microsoft Hololens von der Microsoft Corporation. Dementsprechend beinhaltet die vorliegende Erfindung in einigen bevorzug- ten Ausführungsbeispielen die Verwendung einer Microsoft Hololens Datenbrille zum Bestimmen einer Koordinatentransformation von dem Gerätekoordinatensystem des 3D- Messgerätes in das Objektkoordinatensystem. Alternativ hierzu kann die Kamera in anderen bevorzugten Ausführungsbeispielen ein integraler Bestandteil eines Smartpho- nes oder eines Tablet-PC sein. Allgemein umfasst der Begriff Kamera hier also ein Gerät zur optischen Erfassung von Daten, die eine räumliche Position und Orientierung des 3D- Messgerätes relativ zu dem Objekt (oder umgekehrt) repräsentieren.
[0014] Gemeinsam ist allen Ausführungsbeispielen, dass die erste Pose des Objekts relativ zu dem 3D-Messgerät anhand von zumindest einem aktuellen Kamerabild mit dem 3D-Messgerät und dem Objekt bestimmt wird und dass in Abhängigkeit von dem zumindest einen Bild eine Transformationsbeziehung bestimmt wird, mit der die 3D- Koordinaten von dem Gerätekoordinatensystem des 3D-Messgerätes in das Objektkoor- dinatensystem transformiert werden können. Mit anderen Worten wird eine eindeutige Beziehung zwischen dem Gerätekoordinatensystem des 3D-Messgerätes und dem Objektkoordinatensystem bestimmt. Vorteilhaft wird die Koordinatentransformation schon vor der Messung der ersten 3D-Koordinaten bestimmt, so dass schon die ersten gemes- senen 3D-Koordinaten dem Objekt lagerichtig zugeordnet werden können. Bei bekannten Verfahren und Vorrichtungen ist die lagerichtige Zuordnung der gemessenen 3D- Koordinaten typischerweise erst nach einer sogenannten Vorausrichtung möglich, die erst anhand von gemessenen 3D-Koordinaten des Objekts erfolgt. Eine lagerichtige Visualisie- rung der ersten 3D-Koordinaten schon im Verlauf der Messung, d.h. vor der Bestimmung der weiteren 3D-Koordinaten, vereinfacht die Auswahl einer vorteilhaften zweiten Pose des Objekts relativ zu dem 3D-Messgerät..
[0015] Das Objektkoordinatensystem ist vorteilhaft ein Koordinatensystem, das unabhängig von dem 3D-Messgerät ist und vorzugsweise allein anhand der Objekteigen- schaften definiert wird. Das Objektkoordinatensystem macht es möglich, alle gemessenen Objektpunkte der ersten und der zumindest einen weiteren Objektteilfläche eindeutig zuzuordnen. Beispielsweise kann ein Ursprung des Objektkoordinatensystems an einer Außenecke des Objekts oder im geometrischen Schwerpunkt des Objekts definiert werden. Prinzipiell kann das Objektkoordinatensystem aber auch entfernt von dem Objekt definiert werden, etwa anhand von Eigenschaften der Kamera, und es kann unabhängig von dem Objekt sein und/oder für eine Vielzahl von verschiedenen Objekten verwendet werden. Das Objektkoordinatensystem kann als kartesisches Koordinatensystem, als Polarkoordinatensystem, als Kugelkoordinatensystem oder auf andere geeignete Weise definiert werden. Im Gegensatz dazu ist das Gerätekoordinatensystem typischerweise in Abhängigkeit von den Eigenschaften des 3D-Messgeräts definiert. Beispielsweise kann das Gerätekoordinatensystem bei einem 3D-Messgerät, das einen Bildsensor zur opti- schen Bilderfassung verwendet, so definiert sein, dass zwei orthogonale Koordinatenach- sen eine Ebene aufspannen, die parallel zu dem Bildsensor des 3D-Messgeräts liegt, und eine dritte Koordinatenachse senkrecht zu der Ebene steht. Typischerweise ist das Gerätekoordinatensystem unabhängig von den Objekteigenschaften.
[0016] In bevorzugten Ausführungsbeispielen werden die ersten 3D- Koordinaten unmittelbar nach der Messung der ersten Objektteilfläche in einer Aug- mented Reality- bzw. Mixed Reality-(AR/MR)-Darstellung lagerichtig über dem angezeig- ten Objektbild eingeblendet, so dass die Ergebnisdaten in Echtzeit "am Objekt" visualisiert sind. Der Anwender kann so sehr einfach und schnell erkennen, welche Objektteilfläche gemessen wurde, und er kann die 3D-Koordinaten direkt mit dem angezeigten Objekt vergleichen. Vorteilhaft werden die Ergebnisdaten mit Hilfe einer computergenerierten farbigen Fläche visualisiert, die so über dem aktuellen Objektbild eingeblendet wird, dass die gemessene Objektteilfläche künstlich eingefärbt erscheint. Abweichungen oder Übereinstimmungen der gemessenen 3D-Koordinaten mit Solldaten des Objekts können vorteilhaft mit verschiedenen Farben dargestellt werden, so dass ein Anwender die Abweichungen oder Übereinstimmungen schnell erkennen und dem Objekt lagerichtig zuordnen kann.
[0017] Das neue Verfahren und die neue Vorrichtung sind nicht auf die speziel- le Art der Anzeige von Ergebnisdaten beschränkt. Von Vorteil ist vielmehr, dass die Koor- dinatentransformation schon zu Beginn der Messung zur Verfügung steht, ohne dass der Anwender strenge Vorgaben bezüglich der Positionierung des Objekts relativ zu dem 3D- Messgerät beachten muss. Das neue Verfahren und die neue Vorrichtung ermöglichen daher eine schnelle und flexible Messung. Von Vorteil ist ferner, dass die ersten 3D- Koordinaten schon früh relativ zu dem Objektkoordinatensystem zur Verfügung stehen. Zeigen bereits die ersten Ergebnisdaten im Objektkoordinatensystem größere Abwei- chungen von einer Sollgeometrie, d.h. Abweichungen über einen definierten Toleranzbe- reich hinaus, kann die Messung frühzeitig abgebrochen werden, ohne die weiteren Objektteilflächen zu messen. Ineffiziente Messungen lassen sich damit in einem frühen Stadium vermeiden.
[0018] Des Weiteren kann der Anwender die zweite Pose des Objekts anhand der ersten Ergebnisdaten vorteilhaft bestimmen und das Objekt und/oder das 3D- Messgerät für eine effiziente Messung ausrichten. Insbesondere kann der Anwender unnötig große Überlappungsbereiche der gemessenen Teilflächen leicht vermeiden.
[0019] Bevorzugt wird ein erster Datensatz bereitgestellt, der eine Sollgeomet- rie des Objekts repräsentiert. Dementsprechend besitzt die Vorrichtung vorteilhaft eine Schnittstelle zum Zuführen des ersten Datensatzes sowie einen Speicher zum Speichern des ersten Datensatzes.
[0020] In bevorzugten Ausführungsbeispielen wird der erste Datensatz in Form von sogenannten CAD (Computer Aided Design)-Daten bereitgestellt. Die Ausgestaltung besitzt den Vorteil, dass die erste Pose des Objekts mit Hilfe eines sogenannten CAD- T racking unter Verwendung des zumindest einen Bildes mit dem Objekt sehr effizient bestimmt werden kann, indem das Bild des Objekts und der CAD-Datensatz miteinander verglichen und/oder miteinander in Übereinstimmung gebracht werden. In einigen Ausfüh- rungsbeispielen kann die erste Pose des Objekts relativ zu dem 3D-Messgerät mit Hilfe einer Mustererkennung in dem zumindest einen Bild unter Verwendung des CAD- Datensatzes bestimmt werden. In vorteilhaften Ausführungsbeispielen erfolgt dies auto- matisch mit Hilfe des oben genannten Prozessors und einer Bildauswerte- und Matching- Software. Die Ausgestaltung trägt zu einer zuverlässigen Objekterkennung und zu einer weiteren Steigerung der Effizienz bei.
[0021] In einer weiteren vorteilhaften Ausgestaltung wird das Objektkoordina- tensystem in Abhängigkeit von dem ersten Datensatz definiert.
[0022] In dieser Ausgestaltung kann das Objektkoordinatensystem sehr einfach und optimal in Bezug auf die spezifischen Eigenschaften des Objekts definiert werden. Insbesondere kann in Abhängigkeit von den Eigenschaften des Objekts ein Objektkoordi- natensystem definiert werden, das eine lagerichtige Anzeige der Ergebnisdaten verein- facht. Beispielsweise ist ein Zylinderkoordinatensystem vorteilhaft, wenn das Objekt eine weitgehend zylindrische Form besitzt oder zumindest weitgehend rotationssymmetrisch zu einer Längsachse ist. In anderen Ausführungsbeispielen wird vorteilhaft ein kartesi- sches Objektkoordinatensystem definiert, dessen Hauptachsen orthogonal zueinander liegen und zumindest weitgehend parallel zu Außenkanten des Objekts und/oder einer Objekteinhüllenden ausgerichtet sind.
[0023] In einer weiteren Ausgestaltung wird die erste Pose des Objekts anhand des ersten Datensatzes und anhand der Anzahl von Bildern identifiziert.
[0024] Wie schon oben angedeutet, kann die erste Pose des Objekts sehr vor- teilhaft mit Hilfe eines CAD-Tracking bestimmt werden, indem das Bild des Objekts und der CAD-Datensatz miteinander verglichen und/oder miteinander in Übereinstimmung gebracht werden. Die Ausgestaltung ermöglicht eine schnelle Erkennung der ersten Pose.
[0025] In einer weiteren Ausgestaltung werden die ersten Ergebnisdaten und der erste Datensatz unter Verwendung eines Ausrichtealgorithmus, wie etwa einem Best- Fit-Algorithmus, ausgerichtet, um Abweichungen des Objekts von einer Sollgeometrie zu bestimmen.
[0026] In bevorzugten Ausführungsbeispielen werden die ersten Ergebnisdaten und der erste Datensatz mit Hilfe des Ausrichtealgorithmus (z.B. Best-Fit, 3-2-1 Regel, Referenzpunktsystem etc.jautomatisch zueinander ausgerichtet und so miteinander verglichen, um die Abweichungen des Objekts von der Sollgeometrie zu bestimmen. Aufgrund der bekannten Transformation der 3D-Koordinaten von dem Gerätekoordi- natensystem in das Objektkoordinatensystem lassen sich die ersten Ergebnisdaten auf sehr effiziente Weise und vorteilhaft ohne manuelle Bearbeitung lagerichtig dem ersten Datensatz zuordnen. Die Ausgestaltung trägt zu einer sehr effizienten Messung mit einer hohen Reproduzierbarkeit bei. [0027] In einer weiteren Ausgestaltung wird ferner ein zweiter Datensatz bereit- gestellt, der eine Außenkontur des 3D-Messgerätes repräsentiert, wobei anhand des zweiten Datensatzes und anhand der Anzahl von Bildern eine Pose des 3D-Messsystems im Raum bestimmt wird. Alternativ oder ergänzend hierzu besitzt das 3D-Messgerät definierte Marker, mit deren Hilfe die Position und Ausrichtung des 3D-Messgerätes im Raum bestimmt werden kann.
[0028] Diese Ausgestaltungen ermöglichen eine sehr effiziente Bestimmung der Pose des 3D-Messsystems mit Hilfe des bereits oben erwähnten CAD-Tracking und/oder anhand der definierten Marker. Vorteilhaft kann der zweite Datensatz mit einem oder mehreren Abbildern des 3D-Messsystems verglichen werden, um die Pose des 3D- Messsystems im Raum zu bestimmen. Die Ausgestaltungen ermöglichen einen automati- schen Messablauf mit hoher Reproduzierbarkeit.
[0029] In einer weiteren Ausgestaltung beinhaltet die Anzahl von Bildern ein Bild, das das 3D-Messgerät und das Objekt in der ersten Pose gemeinsam zeigt.
[0030] In vorteilhaften Ausführungsbeispielen wird genau ein Bild mit dem 3D- Messgerät und dem Objekt in der ersten Pose aufgenommen. Die Ausgestaltung ermög- licht eine effiziente Bestimmung der ersten Pose des Objekts relativ zu dem 3D- Messgerät mit Hilfe von an sich bekannten Algorithmen aus der Bildverarbeitung, insbe- sondere wenn zusätzlich der erste und der zweite Datensatz bereitgestellt sind.
[0031] In einer weiteren Ausgestaltung besitzt die Kamera einen Positions- sensor, der dazu eingerichtet ist, eine Position und/oder Ausrichtung der Kamera relativ zu dem 3D-Messgerät und/oder relativ zu dem Objekt zu bestimmen.
[0032] Der Positionssensor kann einen oder mehrere Einzelsensoren beinhal- ten, insbesondere Drehraten- und/oder Beschleunigungssensoren. In einigen Ausfüh- rungsbeispielen kann der Positionssensor ein Trägheitsnavigationssystem beinhalten, das eine aktuelle Kamerapose im Raum relativ zu einer definierten Ausgangspose bestimmt. Es ist nicht erforderlich, dass der Positionssensor eine absolute Pose der Kamera im Raum liefert. Vielmehr genügt es, wenn der Positionssensor Änderungen der Position und/oder Ausrichtung der Kamera im Raum erfassen kann. Alternativ oder ergänzend kann der Positionssensor in anderen Ausführungsbeispielen aber eine absolute Position und/oder Ausrichtung der Kamera in Bezug auf ein Referenzkoordinatensystem bestim- men, etwa mit Hilfe von Triangulationsverfahren. Beispielsweise kann die Kamera defi nierte Positionsmarken besitzen, die zum Bestimmen der aktuellen Position der Kamera im Raum nach dem Verfahren aus WO 2016/071227 A1 ausgewertet werden. Die Ausge- staltung vereinfacht die Bestimmung der Pose des Objekts relativ zu dem 3D-Messgerät, da die Kamera ein Referenzsystem bildet.
[0033] In einer weiteren Ausgestaltung sind die Kamera und die Anzeige in ei- nem mobilen Gerät integriert, welches mit dem 3D-Messsystem vernetzt ist.
[0034] Wie bereits oben angedeutet, können die Kamera und die Anzeige Komponenten eines Tablet-PC, eines Smartphones, einer Datenbrille für AR/MR- Anwendungen oder eines ähnlichen mobilen Anzeigegerätes sein. Vorteilhaft stellt das mobile Gerät eine Augmented Reality/Mixed Reality-Funktionalität bereit, die es ermög- licht, die Ergebnisdaten als grafisches Overlay über dem Bild von dem Objekt einzublen- den. In vorteilhaften Ausführungsbeispielen ist das mobile Gerät ferner dazu eingerichtet, eine Gestensteuerung, Blicksteuerung und/oder Sprachsteuerung des Prozessors und/oder des 3D-Messgerätes zu ermöglichen, um die Darstellung der Ergebnisdaten über dem Objekt an die Wünsche des Anwenders anzupassen. Beispielsweise kann der Anwender die graphisch dargestellten Ergebnisdaten in einigen Ausführungsbeispielen über dem Objekt anordnen oder von dem Objekt wegschieben. Die Ausgestaltungen ermöglichen eine intuitive Bedienung und tragen zu einer einfachen und effizienten Messung des Objekts vorteilhaft bei.
[0035] In einer weiteren Ausgestaltung definiert das 3D-Messgerät ein Messvo- lumen, das zusammen mit der Ansicht des Objekts auf der Anzeige angezeigt wird. In einer weiteren Ausgestaltung wird eine vorteilhafte Sollpose des Objekts für die Aufnahme der weiteren 3D-Koordinaten zusammen mit der Ansicht des Objekts auf der Anzeige angezeigt. [0036] Diese Ausgestaltungen erleichtern dem Anwender, das Objekt optimal relativ zu dem 3D-Messsystem zu positionieren, um die 3D-Koordinaten zu bestimmen. Sie tragen zu einer effizienten Messung des Objekts vorteilhaft bei. In einigen Ausfüh- rungsbeispielen besitzt das 3D-Messgerät einen Feldwinkel bzw. Blickbereich und es wird mit Hilfe von einer oder mehreren Simulationsberechnungen bestimmt, welche Pose des Objekts eine effiziente Messung an möglichst vielen Objektpunkten erlaubt. In einigen Ausführungsbeispielen kann das Objekt mit Hilfe der Simulationsberechnungen gezielt in eine Pose gebracht werden, die störende Reflexionen an Innenkanten minimiert. Die optimale Sollpose wird auf der Anzeige vorteilhaft grafisch eingeblendet und der Anwen- der kann das Objekt optimal positionieren, indem er das Objektbild und die Einblendung in Übereinstimmung bringt. In weiteren Ausführungsbeispielen wird das Objekt mit Hilfe von Handlinggeräten, wie etwa einem Roboter, automatisch in die optimale Pose gebracht.
[0037] Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
[0038] Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung eines ersten Ausführungsbei- spiels der neuen Vorrichtung,
Fig. 2 eine schematische Darstellung eines zweiten Ausführungsbei- spiels der neuen Vorrichtung, und
Fig. 3 ein Flussdiagramm zur Erläuterung eines Ausführungsbeispiels des neuen Verfahrens.
[0039] In Fig. 1 ist eine Vorrichtung zum Bestimmen von 3D-Koordinaten eines Objekts in der Gesamtheit mit der Bezugsziffer 10 bezeichnet. Das Objekt ist bei der Bezugsziffer 12 stark vereinfacht als Würfel dargestellt. Das Objekt 12 besitzt eine erste Objektteilfläche 14 und zumindest eine weitere Objektteilfläche 16. Die Objektteilflächen 14, 16 liegen bei vielen realen Objekten typischerweise so zueinander, dass sie zeitlich nacheinander und/oder mit verschiedenen Sensoren gemessen werden müssen, wenn das Objekt vollständig gemessen werden soll. Eine typische Anwendung der neuen Vorrichtung und des neuen Verfahrens ist die Erstellung einer vollständigen digitalen Repräsentation des Objekts und somit die Bestimmung von 3D-Koordinaten, die alle Objektteilflächen repräsentieren. Darüber hinaus gibt es viele Anwendungsfälle, in denen lediglich einige Objektteilflächen eines Objekts 12 gemessen werden müssen, wie insbe- sondere Teilflächen, deren Maßhaltigkeit als Verbindungs- und/oder Dichtungselement beim Zusammenfügen mit anderen Objekten von Bedeutung ist.
[0040] Mit der Bezugsziffer 18 ist hier ein 3D-Messgerät bezeichnet. Das 3D- Messgerät 18 besitzt in diesem Ausführungsbeispiel eine Kamera 20 und einen Projektor 22. Die Kamera 20 besitzt einen Feldwinkel bzw. Blickbereich 24. Der Projektor 22 besitzt einen Projektionsbereich 26. In einem Bereich 28 überlagern sich der Blickbereich 24 der Kamera und der Projektionsbereich 26 des Projektors. In diesem Bereich liegt das Mess- volumen 28, in dem ein Objekt 12 bzw. eine Objektteilfläche angeordnet sein muss, damit man 3D-Koordinaten an den Objektpunkten mit Hilfe des 3D-Messgeräts 18 bestimmen kann.
[0041] In dem hier dargestellten Ausführungsbeispiel arbeitet das 3D- Messgerät nach dem Structured Light-Prinzip. Mit Hilfe des Projektors 22 werden ein oder mehrere definierte Beleuchtungsmuster, zum Beispiel Streifenmuster, erzeugt. Mit Hilfe der Kamera 20 werden ein oder mehrere Bilder des Objekts zusammen mit den definier- ten Beleuchtungsmustern aufgenommen. Aufgrund der bekannten räumlichen Beziehung zwischen der Kamera 20 und dem Projektor 22 kann man anhand der aufgenommenen Bilder und der definierten Beleuchtungsmuster 3D-Koordinaten zu Objektpunkten be- stimmen, die innerhalb des Messvolumens 28 liegen und auf den aufgenommenen Bildern erkennbar sind.
[0042] E in 3D-Messgerät, das nach dem Structured Light-Prinzip arbeitet, eig- net sich sehr gut, um digitale Repräsentationen von Objekten mit diffus reflektierenden Oberflächen zu erstellen. Beispielsweise ist das 3D-Messgerät 18 ein gerät der Serie COMET der Carl Zeiss Optotechnik GmbH, Georg-Wiesböck-Ring 12, 831 15 Neubeuern. In weiteren Ausführungsbeispielen kann die Vorrichtung 10 alternativ oder ergänzend andere 3D-Messgeräte aufweisen, wie etwa taktile Sensoren oder berührungslos mes- sende Sensoren, die nach dem Prinzip der Weißlicht-Interferometrie, mit Fokusvariation, mit einer Stereokamera, kapazitiv oder nach einem anderen Sensorprinzip arbeiten. In Fig. 2 ist ein Ausführungsbeispiel dargestellt, bei dem das 3D-Messgerät 18 einen soge- nannten Tracker 18‘ und ein handgeführtes Messgerät 18“ beinhaltet. Der Tracker 18‘ besitzt hier einen Projektor 22 und zwei Kameras 20a, 20b. Das handgeführte Messgerät 18“ besitzt eine weitere Kamera 20 und einen weiteren Projektor 22. Der Projektor 22 erzeugt einen fächerartig geweiteten Laserstrahl 23. Ein Bediener (nicht dargestellt) kann eine Objektteilfläche 14 mit dem Laserstrahl 23 beleuchten. Die Kamera 20 des Messge- rät 18“ erfasst ein Bild von der beleuchteten Objektteilfläche 14 mit der Laserlinie. Mit Hilfe des Trackers 18‘ kann die Position des handgeführten Messgerätes 18“ im Raum bestimmt werden und das handgeführte Messgerätes 18“ liefert 3D-Koordinaten an den mit der Laserlinie beleuchteten Objektpunkten unter Verwendung des Triangulationsprin- zips. Beispielhaft ist das 3D-Messgerät 18 ein Messgerät des Typs TSCAN der Carl Zeiss Optotechnik GmbH, Georg-Wiesböck-Ring 12, 831 15 Neubeuern.
[0043] Mit der Bezugsziffer 30 ist in Fig. 1 und Fig. 2 eine Auswerte- und Steu- ereinheit bezeichnet, die in bevorzugten Ausführungsbeispielen mit Hilfe eines Personal Computers realisiert ist, auf dem eine Software ausgeführt wird, die einerseits das 3D- Messgerät 18 zur Erzeugung der strukturierten Beleuchtung und der Bildaufnahme steuert. Andererseits erfolgt die Berechnung der 3D-Koordinaten der gemessenen Ob- jektpunkte sowie die Auswertung und Darstellung der Messergebnisse typischerweise mit Hilfe dieser Software. Geeignete Mess- und Auswertesoftware für 3D-Messgeräte sind den maßgeblichen Fachleuten ebenfalls bekannt. Beispielhaft sei auf die Auswerte- und Mess-Software Calypso der Carl Zeiss Industrielle Messtechnik GmbH, 73447 Oberko- chen oder auf die Mess- und Auswertesoftware der Carl Zeiss Optotechnik GmbH, 83115 Neubeuern für die 3D-Messgeräte COMET und TSCAN verwiesen.
[0044] Mit der Bezugsziffer 32 ist ein Speicher bezeichnet, der Bestandteil des PC 30 sein kann oder als externer Speicher realisiert sein kann. In dem Speicher 32 sind hier ein erster Datensatz 34 und ein zweiter Datensatz 36 gespeichert. Der erste Daten- satz 34 repräsentiert eine Sollgeometrie des Objekts 12, insbesondere in Form von CAD- Daten. Der zweite Datensatz 36 repräsentiert eine Außenkontur des 3D-Messgerätes 18, beispielsweise auch in Form von CAD-Daten. Wie nachfolgend näher erläutert wird, ist die Auswerte- und Steuereinheit 30 oder alternativ/ergänzend ein weiterer Prozessor dazu ausgebildet, eine jeweils aktuelle Pose des Objekts 12 relativ zu dem 3D-Messgerät 18 zu bestimmen, indem ein oder mehrere Bilder ausgewertet werden, die das Objekt 12 und das 3D-Messgerät 18 beinhalten.
[0045] Das 3D-Messgerät 18 definiert ein Gerätekoordinatensystem 38, auf das die mit Hilfe des 3D-Messgerätes 18 bestimmten 3D-Koordinaten bezogen sind. Um eine eindeutige Bezugnahme der 3D-Koordinaten zu den Objektpunkten des Objekts 12 zu erhalten, ist darüber hinaus die Definition eines Objektkoordinatensystems 40 von Vorteil. Beispielsweise werden die 3D-Koordinaten des Würfels 12 im Gerätekoordinatensystem 38 im Rahmen gewisser Messtoleranzen gleich sein, wenn man das Objekt 12 um 180° gedreht an derselben Position innerhalb des Messvolumens 28 anordnet. Indem man ein Objektkoordinatensystem 40 definiert, das unabhängig von dem 3D-Messgerät allein auf das Objekt bezogen ist, kann man die Objektpunkte eindeutig identifizieren. Das neue Verfahren und die neue Vorrichtung beinhalten eine Koordinatentransformation der 3D- Koordinaten aus dem Gerätekoordinatensystem 38 in das Objektkoordinatensystem 40, wie nachfolgend näher erläutert wird.
[0046] Mit der Bezugsziffer 42 ist eine Datenbrille bezeichnet. Die Datenbrille 42 besitzt eine Anzeige 44, die beispielsweise als LCD- oder AMOLED-Anzeige realisiert sein kann. Die Anzeige 44 kann in einigen Ausführungsbeispielen semitransparent ausgebildet sein, so dass ein Anwender, der die Datenbrille 42 trägt, das reale Objekt 12 durch die Anzeige 44 hindurch sehen kann. In anderen Ausführungsbeispielen kann die Anzeige 44 intransparent sein, wie vergleichbare Anzeigen von Tablet-PCs oder Smart- phones. Die Datenbrille 42 besitzt in diesem Ausführungsbeispiel ferner eine Kamera 46 und Bilder der Kamera 46 können auf der Anzeige 44 dargestellt werden, so dass der Anwender auch bei einer intransparenten Anzeige 44 den Eindruck erhält, das reale Objekt 12 durch die Anzeige 44 hindurch zu sehen. In einigen bevorzugten Ausführungs- beispielen ist die Datenbrille 42 eine sogenannte Hololens der Microsoft Corporation (https://www.microsoft.com/de-de/hololens).
[0047] Mit der Bezugsziffer 48 ist hier ein Mikrofon bezeichnet, über das ein Anwender beispielsweise Sprachbefehle zur Steuerung der Anzeige auf der Datenbrille 42 eingeben kann. Mit der Bezugsziffer 50 ist ein Prozessor bezeichnet, der zusammen mit einer Schnittstelle 52 auf einem geeigneten Schaltungsträger oder in einem geeigne- ten Schaltungsgehäuse angeordnet ist. Der Prozessor 50 kann ein Mikrocontroller, Mikroprozessor, ASIC, FPGA oder ein anderer geeigneter Logikschaltkreis sein, in dem die nachfolgende beschriebenen Funktionen implementiert sind.
[0048] Die Datenbrille 42 ist hier über die Schnittstelle 52 mit der Auswerte- und Steuereinheit 30 verbunden und in der Lage, Daten und/oder Steuerbefehle mit der Auswerte- und Steuereinheit 30 auszutauschen. Beispielsweise kann die Schnittstelle 52 eine drahtlose Bluetooth- und/oder WLAN-Schnittstelle beinhalten. Auch andere, vor- zugsweise drahtlose Kommunikationsverbindungen zwischen der Datenbrille 42 und der Auswerte- und Steuereinheit 30, wie etwa eine optische Verbindung, sind prinzipiell möglich.
[0049] Mit der Bezugsziffer 54 ist hier ein Positionssensor bezeichnet, mit des- sen Hilfe die Position und/oder Ausrichtung der Datenbrille 42 im Raum bestimmt werden kann. Der Positionssensor 54 kann einen Kreiselkompass und/oder einen oder mehrere Mikrowellenempfänger beinhalten, um die Position und/oder Ausrichtung der Datenbrille 42 anhand von Signallaufzeiten von Funksignalen von geeigneten Funksendern (hier nicht dargestellt) zu bestimmen (ähnlich wie das Global Positioning System GPS arbeitet). Alternativ oder ergänzend kann der Positionssensor 54 eine oder mehrere Marken 56 besitzen, mit deren Hilfe die Position und/oder Ausrichtung der Datenbrille 42 bestimmt werden kann. Beispielhaft für ein Verfahren zur Positionsbestimmung mit Hilfe von solchen Marken 56 sei auf die WO 2016/071227 A1 verwiesen, die insoweit durch Bezug- nahme aufgenommen ist. [0050] Die Datenbrille 42 ermöglicht hier eine Augmented Reality/Mixed Reali- ty(AR/MR)-Anzeige des Objekts 12 und ist als Beispiel für ein AR/MR-Anzeigegerät dargestellt. Vorteilhaft können auf der Anzeige 44 über dem Bild des realen Objekts 12 computergenerierte weitere Informationen 58 eingeblendet werden, etwa farbige Markie- rungen, Flächen, alphanumerische Zeichen, Linien oder andere auf einer Computeranzei- ge darstellbare Zeichen, die es dem Anwender erleichtern, das Objekt 12 zu positionieren und zu messen. Beispielhaft sind in Fig. 1 bei der Bezugsziffer 58 Linien dargestellt, die dem Anwender anzeigen, welche Teilflächen des Objekts 12 bereits gemessen sind und welche nicht. Wie weiter unten anhand Fig. 2 näher beschrieben ist, beinhalten vorteilhaf- te Ausführungsbeispiele des neuen Verfahrens, dass die mit Hilfe des 3D-Messgeräts 18 bestimmten 3D-Koordinaten des Objekts 12 mit Hilfe einer Best-Fit-Anpassung mit dem CAD-Datensatz 34 zusammengeführt werden. Die so aufbereiteten Ergebnisdaten können dem Anwender in einigen Ausführungsbeispielen der Vorrichtung 10 in Form einer AR/MR-Darstellung über dem realen Bild des Objekts 12 angezeigt werden.
[0051] In weiteren Ausführungsbeispielen kann ein CAD-Modell, das anhand des CAD-Datensatzes 34 bestimmt wurde, dem Anwender auf der Anzeige 44 angezeigt werden, um dem Anwender eine Soll-Pose anzuzeigen, in der das Objekt 12 relativ zu dem 3D-Messgerät 18 positioniert werden soll, um eine definierte Objektteilfläche zu messen.
[0052] Abweichend oder ergänzend zu der Datenbrille 42 kann die Vorrichtung 10 in weiteren Ausführungsbeispielen einen Tablet-PC, ein Smartphone, ein Notebook oder ein anderes Anzeigegerät beinhalten, das zusätzlich eine Kamera 46 besitzt, um ein Bild von dem realen Objekt 12 und/oder dem 3D-Messgerät 18 aufzunehmen.
[0053] Gemäß einem Aspekt des neuen Verfahrens und der neuen Vorrichtung ist die Kamera 46 des AR/MR-Gerätes 42 dazu ausgebildet, ein oder mehrere Bilder von dem 3D-Messgerät 18 und dem Objekt 12 aufzunehmen. Der Prozessor 50 und/oder die Auswerte- und Steuereinheit 30 sind dazu ausgebildet, eine aktuelle Pose des Objekts 12 relativ zu dem 3D-Messgerät 18 anhand der Bilder von der Kamera 46 zu bestimmen. Der Prozessor 50 und/oder die Auswerte- und Steuereinheit 30 sind ferner dazu eingerichtet, ein Objektkoordinatensystem in Abhängigkeit von dem einen oder den mehreren Bildern zu definieren und eine Koordinatentransformation von dem Gerätekoordinatensystem 38 in das Objektkoordinatensystem 40 zu bestimmen.
[0054] Die maßgeblichen Fachleute erkennen, dass diese und weitere Funktio- nen aufgrund der Datenverbindung zwischen dem Prozessor 50 und der Auswerte- und Steuereinheit 30 wahlweise in dem AR/MR-Gerät und/oder der Auswerte- und Steuerein- heit 30 implementiert sein können, was immer zweckmäßig ist.
[0055] Gemäß Fig. 3 beinhaltet ein Ausführungsbeispiel des Verfahrens, dass das 3D-Messgerät 18 und das Objekt 12 relativ zueinander positioniert werden (Schritte 62, 64). Wenn das Objekt 12 relativ klein ist im Vergleich zu dem Messvolumen 28, kann das 3D-Messgerät 18 vorteilhaft stationär angeordnet werden (Schritt 62) und das Objekt 12 wird in geeigneter Weise in dem Messvolumen 28 positioniert (Schritt 64). Bei großen Objekten 12, wie etwa einem Propellerblatt von einem Windrad oder einem großen Karosserieteil eines Fahrzeugs, wird der Schritt 64 ein stationäres Positionieren des Objekts beinhalten, während das 3D-Messgerät im Schritt 62 relativ zu dem Objekt 12 positioniert wird. Dementsprechend kann die Reihenfolge der Schritte 62, 64 vertauscht sein.
[0056] Gemäß den Schritten 66, 68 werden hier ein CAD-Datensatz, der das 3D-Messgerät 18 repräsentiert, und ein CAD-Datensatz, der das Objekt 12 repräsentiert, bereitgestellt. Gemäß Schritt 70 wird ein Bild mit der Kamera 46 aufgenommen, das sowohl das Objekt 12 oder zumindest eine zu messende Objektteilfläche von dem Objekt 12 und das 3D-Messgerät 18 beinhaltet. In anderen Ausführungsbeispielen können im Schritt 70 mehrere Bilder aufgenommen werden, wobei eine relative Position des Objekts 12 zu dem 3D-Messgerät 18 mit Hilfe des Positionssensors 54 anhand der aufgenomme- nen Bilder bestimmt werden kann. Wie in Fig. 2 dargestellt ist, kann das 3D-Messgerät definierte Marken 60 besitzen, anhand der eine aktuelle Pose des 3D-Messgerätes im Raum anhand der Kamerabilder bestimmt werden kann. In einigen bevorzugten Ausfüh- rungsbeispielen schaut ein Bediener (hier nicht dargestellt), der die Datenbrille 42 vor dem Gesicht trägt, zunächst auf das 3D-Messgerät 18 (Fig. 1 ) oder auf den T racker 18‘ (Fig. 2), um ein Bild mit dem 3D-Messgerät 18 bzw. dem Tracker 18‘ aufzunehmen. Anschließend schaut der Bediener mit der Datenbrille 42 auf das Objekt 12. [0057] Gemäß Schritt 72 wird das 3D-Messgerät 18 hier mit Hilfe von CAD- Tracking in dem aufgenommenen Bild lokalisiert. Gemäß Schritt 74 wird ferner das Objekt 12 in dem aufgenommenen Bild lokalisiert. Vorteilhaft können die CAD-Datensätze aus den Schritten 66, 68 dabei verwendet werden. Alternativ oder ergänzend können die Marken 60 in dem aufgenommenen Bild des 3D-Messgeräts 18 bzw. Trackers 18‘ ausge- wertet werden.
[0058] Gemäß Schritt 76 wird anschließend eine generelle Koordinatentrans- formation bestimmt, mit der das Gerätekoordinatensystem 38 und das Objektkoordinaten- system 40 zueinander in Beziehung gesetzt werden. Charakteristisch an diesem Ausfüh- rungsbeispiel ist, dass diese Koordinatentransformation in Abhängigkeit von dem oder den Bildern der Kamera 46 bereits bestimmt wird, bevor die 3D-Koordinaten des Objekts 12 mit Hilfe des 3D-Messgeräts 18 aufgenommen werden. Abweichend hiervon kann Schritt 76 in anderen Ausführungsbeispielen aber später im Verfahrensablauf ausgeführt werden.
[0059] Gemäß Schritt 78 wird hier eine optimale Objektpose des Objekts 12 re- lativ zu dem 3D-Messgerät 18 anhand des oder der Bilder von dem Objekt 12 und dem 3D-Messgerät 18 bestimmt. In den vorteilhaften Ausführungsbeispielen wird die optimale Objektpose dem Anwender auf der Anzeige 44 angezeigt, so dass er das Objekt 12 oder die zu messende Objektteilfläche relativ zu dem 3D-Messgerät 18 optimal positionieren kann. Dementsprechend kann der Anwender das Objekt oder die Objektteilfläche gemäß Schritt 80 neu positionieren und in die optimale Pose relativ zu dem 3D-Messgerät 18 bringen.
[0060] Gemäß Schritt 82 werden mit Hilfe des 3D-Messgerätes 18 3D- Koordinaten an einer ersten Objektteilfläche bestimmt. Gemäß Schritt 84 werden die 3D- Koordinaten von dem Gerätekoordinatensystem 38 in das Objektkoordinatensystem 40 transformiert. Gemäß Schritt 86 wird eine Best-Fit-Anpassung der transformierten 3D- Koordinaten (d.h. der 3D-Koordinaten im Objektkoordinatensystem 40) und des CAD- Datensatzes 34 durchgeführt, um die gemessenen 3D-Koordinaten an der "richtigen" Stelle des Objekts 12 visualisieren zu können. Gemäß Schritt 88 werden die so erhalte- nen Ergebnisdaten in dem Bild des Objekts 12 auf der Anzeige 44 angezeigt. Gemäß Schritt 90 folgt eine Entscheidung, ob weitere Objektteilflächen zu messen sind. Wenn ja, kehrt das Verfahren gemäß Schleife 100 zum Schritt 78 zurück. Anderenfalls werden die Abweichungen der Messergebnisse von den Soll-Daten des CAD-Datensatzes gemäß Schritt 102 dokumentiert.
[0061] Besonders vorteilhaft ist hier, dass die Ergebnisdaten dem Anwender schon zu einem sehr frühen Zeitpunkt des Verfahrens in einer grafischen AR/MR- Einblendung auf der Anzeige 44 lagerichtig angezeigt werden können, nämlich bereits nach der Bestimmung der ersten 3D-Koordinaten an einer ersten Objektteilfläche. Dies wird hier dadurch ermöglicht, dass die sogenannte Vorausrichtung bereits vor der Be- stimmung der ersten 3D-Koordinaten anhand der Bilder der Kamera 46 erfolgt. Bevorzug- te Ausführungsbeispiele des neuen Verfahrens beinhalten daher, dass sowohl das 3D- Messgerät als auch das Objekt oder die zu messende Objektteilfläche mit Hilfe einer vom 3D-Messgerät separaten Kamera 46 lokalisiert werden und die relative Ausrichtung zueinander bestimmt wird. Daher kann die Koordinatentransformation von dem Geräteko- ordinatensystem 38 in das Objektkoordinatensystem 40 bereits bestimmt werden, bevor die ersten 3D-Koordinaten gemessen werden. Vorteilhaft werden sämtliche Ergebnisda- ten auf der Anzeige 44 des AR/MR-Gerätes lagerichtig über einem Bild des realen Objekts 12 oder der gemessenen Objektteilfläche angezeigt, bevor weitere 3D- Koordinaten an einer weiteren Objektteilfläche bestimmt werden.
[0062] Vorteilhaft werden dem Anwender im Schritt 64 außerdem das Messvo- lumen 28 und/oder die optimale Objektpose der zu messenden Objektteilfläche relativ zu dem 3D-Messgerät auf der Anzeige 44 des AR/MR-Gerätes angezeigt, was aufgrund der frühzeitig bestimmten Koordinatentransformation möglich ist. Die Schritte 64, 68 und die Aufnahme eines Bildes mit dem Objekt 12 können daher in einigen vorteilhaften Ausfüh- rungsbeispielen ausgeführt werden, nachdem die Pose des 3D-Messgerätes 18 im Raum mit Hilfe der Kamera 46 bestimmt wurde.
[0063] In bevorzugten Ausführungsbeispielen kann der Anwender die Anzeige der Ergebnisdaten durch Kopfbewegungen, Gesten, Sprachbefehle oder manuelle Eingaben auf einem Graphiktablett, einem Touchscreen, mit Hilfe einer Maus oder einer Tastatur oder einem sonstigen Eingabemedium für die Auswerte- und Steuereinheit 30 und/oder das AR/MR-Gerät variieren. Beispielsweise können die visualisierten Ergebnis- daten mit einer Wischbewegung temporär zur Seite verschoben werden, um einen ungestörten Blick auf das Objekt 12 oder die zu messende Objektteilfläche freizugeben. Durch Einsatz des AR/MR-Gerätes 42 wird der Anwender daher in die Lage versetzt, schon vor der eigentlichen Messung der 3D-Koordinaten im Objektkoordinatensystem 40 zu agieren. Die Zusammenführung der Ergebnisdaten von mehreren Objektteilflächen kann aufgrund der frühzeitigen Bezugnahme auf das Objektkoordinatensystem 40 verein- facht und beschleunigt werden. In einigen bevorzugten Ausführungsbeispielen erfolgt die Zusammenführung der Ergebnisdaten aller Objektteilflächen unter Verwendung der im Schritt 76 bestimmten Koordinatentransformation automatisch.
[0064] Vorteilhaft wird eine optimale Objektpose des Objekts 12 oder einer zu messenden Objektteilfläche relativ zu dem 3D-Messgerät anhand von Simulationsberech- nungen ermittelt, bevor die 3D-Koordinaten mit Hilfe des 3D-Messgeräts 18 bestimmt werden. Dies macht es möglich, dem Anwender auf der Anzeige 44 des AR/MR-Gerätes eine optimale Pose der zu messenden Objektteilfläche anzuzeigen. In einigen bevorzug- ten Ausführungsbeispielen kann die neue Vorrichtung ein oder mehrere Handling-Geräte beinhalten, wie etwa Roboter, um das 3D-Messgerät und die zu messende Objektteilflä- che in die optimale Objektpose relativ zueinander automatisiert zu bringen. Je nach Größe des 3D-Messgerätes und des Objekts kann entweder das Objekt und/oder das 3D- Messgerät bewegt werden.
[0065] Es versteht sich, dass dem Anwender auf der Anzeige 44 des AR/MR- Gerätes auch weitere Einstellparameter und/oder Umgebungsparameter vorteilhaft angezeigt werden können, die Einfluss auf die Bestimmung der 3D-Koordinaten haben können, wie etwa Informationen zu der Umgebungstemperatur, der Umgebungshelligkeit o.Ä.

Claims

Patentansprüche
1. Verfahren zum Bestimmen von 3D-Koordinaten eines Objekts (12), das eine erste und zumindest eine weitere Objektteilfläche (14, 16) besitzt, insbesondere zum Er- stellen einer digitalen Repräsentation des Objekts (12), mit den Schritten
- Bereitstellen eines 3D-Messgerätes (18), das dazu eingerichtet ist, 3D- Koordinaten an einer Vielzahl von Objektpunkten des Objekts (12) zu be- stimmen,
- Bereitstellen einer Anzeige (44), die dazu eingerichtet ist, eine Ansicht des Objekts (12) zusammen mit computergenerierten weiteren Informationen (58) anzuzeigen,
- Anordnen (80) des Objekts (12) in einer ersten Pose relativ zu dem 3D- Messgerät (18),
- Bestimmen von ersten 3D-Koordinaten zu Objektpunkten der ersten Ob- jektteilfläche (14) mit dem 3D-Messgerät (18), während sich das Objekt (12) in der ersten Pose befindet,
- Anzeigen (88) von ersten Ergebnisdaten, die die ersten 3D-Koordinaten re- präsentieren, auf der Anzeige (44), und
- Anordnen des Objekts in einer zweiten Pose relativ zu dem 3D-Messgerät (18) und Bestimmen von weiteren 3D-Koordinaten an Objektpunkten der zumindest einen weiteren Objektteilfläche (16), dadurch gekennzeichnet, dass das 3D-Messgerät (18) ein Gerätekoordinatensys- tem (38) definiert und die ersten und die weiteren 3D-Koordinaten relativ zu dem Gerätekoordinatensystem (38) bestimmt, und ferner mit den weiteren Schritten - Bereitstellen einer Kamera (46) und Aufnehmen (70) einer Anzahl von Bil dern, die das 3D-Messgerät (18) und das Objekt (12) in der ersten Pose beinhalten,
- Definieren eines Objektkoordinatensystems (40),
- Bestimmen einer Koordinatentransformation zwischen dem Gerätekoordi- natensystem (38) und dem Objektkoordinatensystem (40) anhand der An- zahl von Bildern, und
- Transformieren der ersten 3D-Koordinaten von dem Gerätekoordinatensys- tem (38) in das Objektkoordinatensystem (40) unter Verwendung der Koor- dinatentransformation, um die ersten Ergebnisdaten zu erzeugen, wobei die ersten Ergebnisdaten als computergenerierte weitere Informationen (58) zusammen mit der Ansicht des Objekts (12) auf der Anzeige (44) angezeigt wer- den.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Koordinatentrans- formation von dem Gerätekoordinatensystem (38) in das Objektkoordinatensystem (40) anhand der Anzahl von Bildern bestimmt wird, bevor die ersten 3D- Koordinaten mit dem 3D-Messgerät (18) bestimmt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zweite Pose in Abhängigkeit von den auf der Anzeige (44) angezeigten ersten Ergebnisdaten (58) gewählt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
ferner ein erster Datensatz (34) bereitgestellt wird, der eine Sollgeometrie des Ob- jekts (12) repräsentiert.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Objektkoordina- tensystem (40) in Abhängigkeit von dem ersten Datensatz (34) definiert wird.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die erste Pose des Objekts (12) anhand des ersten Datensatzes (34) und anhand der Anzahl von Bildern identifiziert wird.
7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass die ersten Ergebnisdaten und der erste Datensatz (34) unter Verwendung eines Aus- richtealgorithmus ausgerichtet (86) werden, um Abweichungen des Objekts (12) von der Sollgeometrie zu bestimmen.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass
ferner ein zweiter Datensatz (36) bereitgestellt wird, der das 3D-Messgerät (18) repräsentiert, wobei anhand des zweiten Datensatzes (36) und anhand der Anzahl von Bildern eine Pose des 3D-Messsystems (18) im Raum identifiziert wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Anzahl von Bildern zumindest ein Bild beinhaltet, das das 3D-Messgerät (18) und das Objekt (12) in der ersten Pose gemeinsam zeigt.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Kamera (46) einen Positionssensor (54) besitzt, der dazu eingerichtet ist, eine Po- sition und/oder Ausrichtung der Kamera (46) relativ zu dem 3D-Messgerät (18) und/oder relativ zu dem Objekt (12) zu bestimmen.
1 1. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Kamera (46) und die Anzeige (44) in einem mobilen Gerät (42) integriert sind, wel- ches mit dem 3D-Messsystem (18) vernetzt ist.
12. Verfahren nach einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, dass das 3D-Messgerät (18) ein Messvolumen (28) definiert, das zusammen mit der Ansicht des Objekts (12) als computergenerierte weitere Informationen auf der Anzeige (44) angezeigt wird.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Sollpose des Objekts (12) für die Aufnahme der 3D-Koordinaten in Abhängigkeit von der Anzahl von Bildern bestimmt und zusammen mit der Ansicht des Objekts (12) als computergenerierte weitere Informationen auf der Anzeige (44) angezeigt wird.
14. Vorrichtung zum Bestimmen von 3D-Koordinaten eines Objekts (12), das eine erste und zumindest eine weitere Objektteilfläche (14, 16) besitzt, insbesondere zum Erstellen einer digitalen Repräsentation des Objekts (12), mit
- einem 3D-Messgerät (18), das dazu eingerichtet ist, 3D-Koordinaten an ei- ner Vielzahl von Objektpunkten des Objekts (12) zu bestimmen,
- einer Anzeige (44), die dazu eingerichtet ist, eine Ansicht des Objekts (12) zusammen mit computergenerierten weiteren Informationen (58) anzuzei- gen, und
- einer Positionierfläche zum Anordnen des Objekts (12) in einer ersten Pose relativ zu dem 3D-Messgerät (18), dadurch gekennzeichnet, dass das 3D-Messgerät (18) ein Gerätekoordinatensys- tem (38) definiert und die 3D-Koordinaten relativ zu dem Gerätekoordinatensystem (38) bestimmt, und ferner mit
- einer Kamera (46) zum Aufnehmen einer Anzahl von Bildern, die das 3D- Messgerät (18) und das Objekt (12) in der ersten Pose beinhalten, und
- einem Prozessor (30; 50), der dazu eingerichtet ist, ein Objektkoordinaten- system (40) zu definieren und eine Koordinatentransformation zwischen dem Gerätekoordinatensystem (38) und dem Objektkoordinatensystem (40) anhand der Anzahl von Bildern zu bestimmen sowie die 3D-Koordi- naten unter Verwendung der Koordinatentransformation von dem Geräte- koordinatensystem (38) in das Objektkoordinatensystem (12) zu transfor- mieren, um erste Ergebnisdaten zu erzeugen, die die 3D-Koordinaten re- präsentieren, wobei die Anzeige (44) ferner dazu eingerichtet ist, die ersten Ergebnisdaten als computergenerierte weitere Informationen (58) zusammen mit der Ansicht des Ob- jekts (12) anzuzeigen.
PCT/EP2018/058184 2018-03-29 2018-03-29 Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts WO2019185153A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/EP2018/058184 WO2019185153A1 (de) 2018-03-29 2018-03-29 Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts
DE112018007380.7T DE112018007380A5 (de) 2018-03-29 2018-03-29 Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/058184 WO2019185153A1 (de) 2018-03-29 2018-03-29 Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts

Publications (1)

Publication Number Publication Date
WO2019185153A1 true WO2019185153A1 (de) 2019-10-03

Family

ID=61868517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/058184 WO2019185153A1 (de) 2018-03-29 2018-03-29 Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts

Country Status (2)

Country Link
DE (1) DE112018007380A5 (de)
WO (1) WO2019185153A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190242692A1 (en) * 2018-02-08 2019-08-08 Leica Geosystems Ag Augmented reality-based system with perimeter definition functionality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009129916A1 (de) 2008-04-21 2009-10-29 Carl Zeiss 3 D Metrology Services Gmbh Darstellung von ergebnissen einer vermessung von werkstücken in abhängigkeit der erfassung der geste eines nutzers
EP2703776A1 (de) * 2012-08-27 2014-03-05 The Boeing Company Verfahren und System zur Inspektion eines Werkstücks
EP2788714B1 (de) 2011-12-06 2015-10-07 Hexagon Technology Center GmbH Koordinatenmessmaschine mit einer kamera
WO2016071227A1 (en) 2014-11-03 2016-05-12 Optinav Sp. Z O.O. Optical tracking method and system based on passive markers
US20160189422A1 (en) 2014-08-27 2016-06-30 Steinbichler Optotechnik Gmbh Process and Device for Determining the 3D Coordinates of an Object
US20170292827A1 (en) * 2016-04-12 2017-10-12 Carl Zeiss Industrielle Messtechnik Gmbh Coordinate measuring system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009129916A1 (de) 2008-04-21 2009-10-29 Carl Zeiss 3 D Metrology Services Gmbh Darstellung von ergebnissen einer vermessung von werkstücken in abhängigkeit der erfassung der geste eines nutzers
EP2788714B1 (de) 2011-12-06 2015-10-07 Hexagon Technology Center GmbH Koordinatenmessmaschine mit einer kamera
EP2703776A1 (de) * 2012-08-27 2014-03-05 The Boeing Company Verfahren und System zur Inspektion eines Werkstücks
US20160189422A1 (en) 2014-08-27 2016-06-30 Steinbichler Optotechnik Gmbh Process and Device for Determining the 3D Coordinates of an Object
WO2016071227A1 (en) 2014-11-03 2016-05-12 Optinav Sp. Z O.O. Optical tracking method and system based on passive markers
US20170292827A1 (en) * 2016-04-12 2017-10-12 Carl Zeiss Industrielle Messtechnik Gmbh Coordinate measuring system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190242692A1 (en) * 2018-02-08 2019-08-08 Leica Geosystems Ag Augmented reality-based system with perimeter definition functionality
US10890430B2 (en) * 2018-02-08 2021-01-12 Leica Geosystems Ag Augmented reality-based system with perimeter definition functionality

Also Published As

Publication number Publication date
DE112018007380A5 (de) 2020-12-10

Similar Documents

Publication Publication Date Title
DE102007033486B4 (de) Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
DE102018109774B4 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
DE112015004396T5 (de) Augmented-reality-kamera zur verwendung mit 3d-metrologie-ausrüstung zum erzeugen von 3d-bildern aus 2d-kamerabildern
DE102018213985B4 (de) Robotersystem
EP1521211B1 (de) Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
EP2272055B1 (de) Fernbedienung
EP2977961B1 (de) Verfahren und Kommunikationseinrichtung zum Erstellen und/oder Ändern virtueller Objekte
DE102016105496A1 (de) System zur Prüfung von Objekten mittels erweiterter Realität
EP1770607B1 (de) System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen
DE102008041523A1 (de) Verfahren zur dreidimensionalen Messung und Vorrichtung zur dreidimensionalen Messung
DE102008020772A1 (de) Darstellung von Ergebnissen einer Vermessung von Werkstücken
DE102018113336A1 (de) Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung
DE102018132921A1 (de) Verfahren zum Betreiben eines Feldgeräts der Automatisierungstechnik in einer Augmented-Reality/Mixed-Reality- Umgebung
DE102016203377A1 (de) Laserprojektionssystem mit Videoüberlagerung
WO2007014966A1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102019102927B4 (de) Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
DE102020001882A1 (de) Visualisierungsvorrichtung und Programm
DE102020109121A1 (de) Korrektur von Verzerrungen
DE102012103980A1 (de) Verfahren und Vorrichtung zur Ausrichtung einer Komponente
WO2019185153A1 (de) Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts
DE102014104514B4 (de) Verfahren zur Messdatenvisualisierung und Vorrichtung zur Durchführung des Verfahrens
DE102019113799A1 (de) Messsystem zum Vermessen eines Messobjekts
DE102019103519B4 (de) Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
DE102018208080B3 (de) Verfahren und System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18715015

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112018007380

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18715015

Country of ref document: EP

Kind code of ref document: A1