WO2015155070A1 - Method and sensor for generating and detecting patterns on a surface - Google Patents

Method and sensor for generating and detecting patterns on a surface Download PDF

Info

Publication number
WO2015155070A1
WO2015155070A1 PCT/EP2015/057071 EP2015057071W WO2015155070A1 WO 2015155070 A1 WO2015155070 A1 WO 2015155070A1 EP 2015057071 W EP2015057071 W EP 2015057071W WO 2015155070 A1 WO2015155070 A1 WO 2015155070A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
color
patterns
image
projection
Prior art date
Application number
PCT/EP2015/057071
Other languages
German (de)
French (fr)
Inventor
Oliver Stolz
Stephan Wienand
Original Assignee
Isra Vision Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isra Vision Ag filed Critical Isra Vision Ag
Publication of WO2015155070A1 publication Critical patent/WO2015155070A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding

Definitions

  • the invention relates to a method and a sensor (as a device for carrying out the method) for generating and detecting patterns on a (in particular 3-dimensional) surface.
  • the pattern can be used in particular for measuring the 2- or 3-dimensional surface of objects, for example during production in a production line.
  • a planar pattern is projected onto the surface with a projector of the sensor and recorded in an image with at least one image acquisition sensor of the sensor calibrated in the receiving space.
  • at least one pattern point of the projected pattern on the surface is identified in the image. Such an identified pattern point is subsequently determined by calculation in a 3-dimensional manner in the recording space.
  • both optically active stereo sensors and triangulation sensors are known.
  • a planar pattern is projected onto the surface of an object which, in the case of triangulation measurement, is viewed by or in the case of the stereo measurement of two cameras.
  • the patterns are projected using a projector.
  • the camera and the projector are calibrated to each other geometrically, ie in the recording room.
  • the pattern must be designed such that the camera recording the projected pattern in an image can recognize which projection beam or at least which projection plane of the projector it is currently viewing.
  • Triangulations rouge the point on the object or the surface of the object to be calculated 3-dimensionally. If the pattern is flat, a point cloud can be determined.
  • the projector merely serves to simplify the assignment problem in the two cameras.
  • the assignment problem means that in both cameras one and the same surface point has to be identified, which is then detected by both calibrated cameras. Similar to two-eyed human vision, triangulation then takes place at the same point between the visual rays of the two cameras. If the surface is sufficiently structured and individual surface points on the surface are clearly identifiable due to the structuring, no pattern would have to be projected in the stereo measurement. In practice, however, it is often difficult to find an unambiguous assignment of surface points in the two images of the stereo cameras without further aids.
  • the same methods of illumination as in the triangulation measurement are used to make the detection of defined surface points more robust due to the projection of a suitable pattern.
  • a geometric calibration of the projector is (would) not be necessary in this case, because the projection of the pattern only serves to identify the same surface points in the images of the two stereo cameras.
  • Both stereo and triangulation measurements therefore need to uniquely identify a point of the projected illumination pattern on the surface.
  • the projected pattern is suitably coded.
  • Various types of encodings are known. Basically, there are codes that get along with a single solid pattern. Other patterns are the first by the superposition of several, in the art successively projected patterns clearly.
  • Codes that manage with a single solid pattern are less expensive to handle and can also be easily used on moving objects because they can be captured in an image.
  • these codes are less robust in terms of the identifiability of individual sample points because it is much more difficult to eliminate interference.
  • Codes that require the projection of several patterns one after the other have the disadvantage that you have to realize a variably projectable pattern in the projector and several shots are needed, which result in moving objects that the different projections are not on the same surface points. Therefore, such codes with a temporally successive projection of several patterns for moving objects are fundamentally unsuitable.
  • these patterns allow much more robust recognition and identification of defined pattern points.
  • This object is achieved by a method having the features of claim 1 and a trained as a device sensor with the features of claim 10. It is especially provided that superimposing a plurality of different patterns in the projection, each pattern being assigned a pattern color, ie each pattern having a defined color in a single color, and wherein the superimposition of the different patterns, ie in the areas with the different pattern colors respective patterns, mixed colors.
  • the image is then taken with a color camera as an image sensor.
  • the color coding of the individual patterns proposed according to the invention makes it possible to superimpose and project several different patterns which would otherwise have to be projected one after the other in an image, because the projected and recorded image becomes multidimensional, ie both in the projected pattern and in the captured image, the information of each of the superimposed patterns still exists for itself. It lets you group the information of several different patterns into a projected pattern. This leads to a high robustness of the coding against errors in the recognition of defined pattern points and can be carried out very quickly on the only one projection and image acquisition. This method is therefore particularly suitable for moving objects or surfaces of the objects.
  • the entire coding information is combined in one picture, so that the generation and capture of the patterns is particularly fast and can also be realized with moving objects.
  • the recording time for the image can be chosen such that the distance traveled during this time in the image is negligible, ie in particular does not lead to any motion blur. In other words, the recording time must be so short that a position during the movement is selected for the recording.
  • a particularly simple type of evaluation results when, during the processing of the recorded image, which contains the projected patterns in superimposed form, the individual sample colors are mathematically separated.
  • a separate image can be computationally generated for each pattern color or each pattern.
  • the projector can be realized, for example, as a slide projector with a color slide or a plurality of overlaid color slides, as a projector or by overlaying different colored light sources.
  • an image sensor is a conventional digital camera into consideration.
  • the number of different (each also monochromatic differently colored) pattern can be less than or equal to the number of color channels of the camera be chosen, in which case preferably each pattern, a color channel may be assigned, ie the pattern color corresponds in each case to the color one s of the color channels of the color camera.
  • the color channels of the camera result from the directly from the image sensor of the camera physically, ie without subordinate image analysis, distinguishable colors.
  • the number of color channels may be 3. This corresponds to common color digital cameras with the color channels red, green and blue, also referred to as RGB color space for short. With these three basic colors or color channels, the entire visible color space can be represented by mixing or superimposing the primary colors.
  • the mixed color resulting from the combination of two or all three primary colors can be unambiguously assigned to a combination of these primary colors.
  • a unique coding is achieved, which has eight different colors when the patterns are arranged relative to each other so that each combination of primary colors occurs once.
  • the three patterns can therefore be computationally separated and each generate a separate image in the downstream image processing.
  • the number of different patterns according to the invention may also be greater than the number of color channels of the color camera. Then, according to the invention, a uniqueness of the coding can be achieved by the arrangement and / or shapes of the patterns.
  • a further possibility of generating the uniqueness of the coding according to the invention is to assign a different pattern color to each pattern, i. So to use more pattern colors, as color channels of the color camera are available.
  • a combination of coding may be combined by the arrangements and / or shapes of the patterns and the number of pattern colors larger than the number of color channels of the color camera. As a result, an even greater number of unique codings are available in planar pattern projections.
  • the present invention with the above-described color coding can basically be applied to any type of pattern with area codes.
  • this includes both binary patterns, which consist only of light and dark areas, as well as patterns with, in particular, continuous or even discrete brightness gradients.
  • a binary pattern can thus be used as a pattern. If the pattern is a binary pattern, the evaluation only needs to determine if the light or dark area is being viewed. In the case of the present invention, this can be easily implemented by using a transparent area as the bright area and the respective color assigned to the pattern as a dark area.
  • the transparent area of a pattern has the advantage that when superimposing several patterns, the respective pattern colors are seen and overlap accordingly to a mixed color.
  • encodings of this kind are a dual bar code, a Gray code, a stochastic dot pattern (possibly different resolution levels). regular dot or stripe patterns with coded interpolation points (possibly in different resolution levels), stripe patterns in different directions or periodic stripes with different distances.
  • the invention is not limited to the aforementioned examples, but may be applied to other binary patterns.
  • a pattern with a particularly continuous, optionally also discontinuous, brightness profile can be used.
  • Such a pattern with a brightness gradient offers by selecting the brightness of the color another information channel, which allows an even finer coding with higher resolution.
  • this is paid for by the fact that such patterns are fundamentally susceptible to interference because different reflection properties of the surface can be perceived to different degrees for different colors. These different reflection properties mean that the light of different colors emitted with a certain intensity may under certain circumstances be reflected with different intensity. This would lead to shifts in the brightness coding.
  • This susceptibility can be reduced by an additional compensation of the reflection properties on the surface, which is possible if these reflection properties of the surface location-dependent, ie local, are known.
  • a correction of different reflection properties of the surface at different surface positions is carried out in the determination of the brightness. This can be done, for example, on the basis of known local reflection properties, for example in the production of specific, precisely known products. Alternatively, if the surface reflectance properties of the product or surface are not known, then a reflectance measurement of the surface can be made with white light and the results then used for the cor- be used. A simple way of correcting is to normalize the measured brightness to the local reflection properties of the surface, in order to capture a brightness curve in the image that optimally optimizes the brightness pattern of the pattern.
  • patterns of this kind are periodic brightness profiles, for example sine patterns with different spatial frequencies (in particular for the resolution of the periodic ambiguity) or multi-image phase shift methods. Again, just a few examples are mentioned.
  • the present invention can be used with all area codes that work with one or more patterns. Such methods are known in the art in principle. In the methods with a plurality of successively projected patterns, according to the invention, the person skilled in the art can combine these patterns, which are projected in chronological succession, by different color codes in a projection.
  • the above-described proposed method for generating and detecting patterns on a surface can be used when performing a triangulation measurement or a stereo measurement of a surface, in particular a 3-dimensional surface ,
  • all the features described above or a selection of the features described above can be used.
  • the invention further relates to a sensor for generating and detecting patterns on a (in particular 3-dimensional) surface with at least one projector for projecting a pattern onto the surface, at least one color camera as an image sensor for receiving the projected pattern and at least one arithmetic unit for Control of the projector and the color camera.
  • the processor of the arithmetic unit is adapted to carry out the method described above or parts thereof.
  • the processor of the arithmetic unit can also be set up to carry out the triangulation measurement and / or stereo measurement of the surface in a manner known per se.
  • At least one color camera and the sensor of the sensor are calibrated three-dimensionally in the receiving space.
  • a calibration in the recording room means that an excellent coordinate system, a so-called "world coordinate system", is defined in the recording room, for which a calibrated color camera knows which direction its visual rays are in the recording room
  • Possibilities for calibrating cameras and projectors are known to the person skilled in the art within the scope of his specialist knowledge and therefore do not need to be explained in more detail here
  • a pattern arranged on the projection carrier can be projected onto the 3-dimensional surface, which can be, for example, a slide projector or beamer, for which each pattern can be arranged on its own projection carrier, for example a color slide or a transparent foil edene, non-overlapping patterns can also be on one Projection carrier summarized, ie next to each other and not overlapping, be arranged.
  • the projection carriers are preferably transparent in the regions not receiving the pattern for the projection method shown, so that a plurality of projection carriers can be superimposed to form an overall projection carrier.
  • a plurality of color slides can be superimposed and converted as projection carriers.
  • the (overall) projection carrier has several color slides, one pattern each being applied to a transparent carrier foil as a color slide and a plurality of color slides superimposed on one another forming the projection carrier.
  • the projection carrier can be a transilluminable screen, for example according to the projector principle
  • the patterns can be generated by a plane-based image processing software implemented on the arithmetic unit (for example in the processor of the arithmetic unit), the image processing software being suitable for this purpose and is arranged to represent a pattern in a plane, to simulate an optical projection in the superposition of planes and to have the simulation result on the transilluminable screen.
  • Another possibility for generating such patterns is the superposition of different colored light sources.
  • a multi-colored light source in a projector for example.
  • a multi-color LED can be selected, are arranged in the differently colored light sources spatially so closely adjacent that for the optical structure or imaging channel respectively the same place can be assumed.
  • These different light sources are then switched so quickly with possibly wavelength-selective filters for generating the pattern that takes place in a recording, an overlay of the various patterns.
  • an optical projector which is spatially distributed. combined light sources of different color in the projection plane on a projection surface.
  • the image sensor of the sensor comprises two color cameras calibrated in the common recording space, which record the substantially same area of the projected pattern.
  • a substantially same range it is meant that both color cameras are capable of simultaneously recording a plurality of identical points of the pattern.
  • Fig. 1 shows an example of a coding with a 3-bit stripe gray code with three patterns, which are projected according to the prior art in three successive projections and recorded in three different images.
  • Fig. 2 shows the implementation of this coding according to Fig. 1 according to the present invention, in which each pattern is assigned a pattern color and all the patterns in the projection are superimposed; 3 shows an example of a coding with two binary patterns with coded interpolation points which are projected and recorded one after the other according to the prior art;
  • Fig. 4 shows the implementation of this coding according to Fig. 3 according to the present invention, in which each pattern is assigned a pattern color and all the patterns in the projection are superimposed;
  • Fig. 5 shows schematically an embodiment for the construction of a stereo sensor according to the invention.
  • FIGS. 1 and 2 or FIGS. 3 and 4 Reference will now be made, by way of example, to FIGS. 1 and 2 or FIGS. 3 and 4, as to how the method according to the invention for generating and detecting patterns can be used.
  • a method according to the prior art and a method according to the present invention are compared in order to illustrate the procedure according to the invention.
  • Fig. 1 shows three patterns 101, 102, 103 successively projected onto the same location of a surface in accordance with the prior art application.
  • the patterns each have bright and dark areas.
  • a total of 3-bit stripe Gray code is thus generated.
  • the patterns 101, 102 and 103 are constructed geometrically such that, in successive projections, certain bit sequences can be seen in each case at a location 104 of the pattern in the projection.
  • the location 104 shows a dark area in the pattern 101, a light area in the pattern 102, and a dark area in the pattern 103.
  • the bit information one after the other
  • the projection of all three patterns 101, 102, 103 at the position 104 is ("dark”, "light”, “dark”).
  • the bit sequence is different, so that a clear coding of surface positions in the position successive projection of the patterns 101, 102, 103 occurs, at least if the surface is not moved during the total projection time, such a method being known from the prior art.
  • the method according to the invention is described while maintaining the basic structure of the prior art patterns 101, 102, 103. From this it can be seen that the method according to the invention can be used universally for many different patterns from the prior art.
  • the inventive method also provides three planar patterns 1, 2, 3, which are projected onto a surface with a projector and recorded with a camera.
  • each pattern 1, 2, 3 is assigned its own pattern color 4, 5, 6.
  • the pattern 1 shows the first pattern color 4, the pattern 2 the second pattern color 5 and the pattern 3 the third pattern color 6.
  • the RGB color space which is used in conventional digital cameras, it is assumed for the following example that the first Color 4 "red", the second color 5, "green” and the third color 6 is "blue.”
  • the non-colored region 8 of the two-dimensional pattern 1, 2, 3 is transparent
  • the patterns 1, 2, 3 can, for example.
  • the area 4 is visible through the pattern 1 as a red area 4.
  • a superposition of the red area 4 and the green area 5 of the first and second patterns 1, 2 takes place, so that the resulting mixed color 12 is yellow.
  • the colors red, green and blue are mixed with each other.
  • the color area 14 formed by superposition of the green area 5 of pattern 2 and the blue area 6 of pattern 3 is turquoise, the last area in the projected pattern 7 is determined by the pattern 2 and is therefore a green color area 5.
  • the eight different pieces of information from the 3-bit stripe-gray code can be obtained in a single image (projected pattern 7) by the method proposed by the present invention by recording the image projected by superimposing the output patterns 1, 2, 3 Pattern 7 are decoded with a subsequent image analysis, wherein the evaluation of the original color channels red, green, blue corresponding to the pattern colors 4, 5, 6 are formed arithmetically and the evaluation can be made according to the prior art.
  • FIG. 3 shows another example of two binary patterns with coded interpolation points according to the prior art.
  • the pattern 120 shows a regular arrangement of square support points, which is supplemented in the pattern 121 by two crosses distributed over the arrangement of the many square support points. In the prior art, these patterns 120, 121 are projected successively.
  • FIG. 4 now shows the conversion according to the invention of a corresponding pattern code with the areal patterns 20 and 21.
  • the array of square support points each have a first color 25 in front of a transparent background 22.
  • the pattern 21 shows the two crosses in the second color 26.
  • the rest of the pattern 21 is also transparent 23.
  • the projected pattern 28 is obtained showing the array of squares in the first color 25 and the crosses in the color 26. In the places where the crosses mix with the color 26 and the squares with the color 25, this results in a mixed color 27. This also allows a very accurate coding of the surface can be achieved.
  • FIG. 5 shows an arrangement 30 for generating and detecting patterns on surfaces 31 according to a possible embodiment of the invention.
  • the dedicated sensor 32 has a projector 33 and two digital color cameras 34, 35 as image sensors for the projected pattern.
  • the cameras 34, 35 are aligned to both receive the pattern projected onto the surface 31 by the projector 33. Not shown is a connected to the sensor 32 or recorded in this arithmetic unit for controlling the projector 33 and the color cameras 34, 35 and the corresponding image analysis.
  • the illustrated sensor 32 is suitable both for a triangulation measurement and for a stereo measurement.
  • both cameras 34, 35 are needed.
  • the triangulation measurement with a calibrated projector 33 can also be realized only with one of the two cameras 34, 35, so that a corresponding sensor may also have only one camera 34.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

A method and a sensor for generating and detecting patterns (7, 28) on a surface (31), more particularly for the measurement of 2- or 3-dimensional surfaces (31), are described, wherein a planar pattern (7, 28) is projected onto the surface (31) by a projector (33) and is recorded in an image by at least one image recording sensor (34, 35) calibrated in the recording space. In order to increase the information density in a projected image, provision is made for a plurality of different patterns (1, 2, 3; 20, 21) to be superimposed in the projection, wherein each pattern (1, 2, 3; 20, 21) is allocated a pattern color (4, 5, 6; 25, 26) and mixed colors (10, 12, 13, 14; 27) arise upon the superimposition of the different patterns (1, 2, 3; 20, 21). The image is recorded by a color camera (34, 35) as image recording sensor.

Description

Verfahren und Sensor zum Erzeugen und Erfassen von Mustern  Method and sensor for generating and detecting patterns
auf einer Oberfläche  on a surface
Die Erfindung betrifft ein Verfahren und einen Sensor (als zur Durchführung des Verfahrens eingerichtete Vorrichtung) zum Erzeugen und Erfassen von Mustern auf einer (insbesondere 3-dimensionalen) Oberfläche. Das Muster kann erfindungsgemäß insbesondere für die Vermessung der 2- oder 3-dimensionalen Oberfläche von Objekten, bspw. während der Produktion in einer Produktionsli- nie, verwendet werden. Bei dem Verfahren ist vorgesehen, dass ein flächiges Muster mit einem Projektor des Sensors auf die Oberfläche projiziert und mit mindestens einem in dem Aufnahmeraum kalibrierten Bildaufnahmesensor des Sensors in einem Bild aufgenommen wird. Im Falle einer Vermessung Oberfläche wird erfindungsgemäß in dem Bild mindestens ein Musterpunkt des proji- zierten Musters auf der Oberfläche identifiziert. Ein solcher identifizierter Musterpunkt wird anschließend durch Berechnung 3-dimensional im Aufnahmeraum bestimmt. The invention relates to a method and a sensor (as a device for carrying out the method) for generating and detecting patterns on a (in particular 3-dimensional) surface. According to the invention, the pattern can be used in particular for measuring the 2- or 3-dimensional surface of objects, for example during production in a production line. In the method, it is provided that a planar pattern is projected onto the surface with a projector of the sensor and recorded in an image with at least one image acquisition sensor of the sensor calibrated in the receiving space. In the case of a measurement surface, according to the invention, at least one pattern point of the projected pattern on the surface is identified in the image. Such an identified pattern point is subsequently determined by calculation in a 3-dimensional manner in the recording space.
Für eine derartige Vermessung von 2- oder 3-dimensionalen Oberflächen sind sowohl optisch aktive Stereosensoren als auch Triangulationssensoren bekannt. In beiden Fällen wird (optisch aktiv) ein flächiges Muster auf die Oberfläche eines Objektes projiziert, das im Falle der Triangulationsmessung das von einer oder im Falle der Stereomessung von zwei Kameras betrachtet wird. Die Muster werden mithilfe eines Projektors projiziert. For such a measurement of 2- or 3-dimensional surfaces, both optically active stereo sensors and triangulation sensors are known. In both cases (optically active), a planar pattern is projected onto the surface of an object which, in the case of triangulation measurement, is viewed by or in the case of the stereo measurement of two cameras. The patterns are projected using a projector.
Bei der Triangulationsmessung sind die Kamera und der Projektor zueinander geometrisch, d.h. im Aufnahmeraum, kalibriert. Das Muster muss so gestaltet sein, dass die das projizierte Muster in einem Bild aufnehmende Kamera erkennen kann, welchen Projektionsstrahl oder zumindest welche Projektionsebene des Projektors sie gerade sieht. In diesem Fall kann durch eine einfache, dem Fachmann im Rahmen seines Fachwissens bekannte Triangulationsrechnung der Punkt auf dem Objekt bzw. der Oberfläche des Objektes 3-dimensional berechnet werden. Ist das Muster flächig, kann eine Punktwolke bestimmt werden. In triangulation measurement, the camera and the projector are calibrated to each other geometrically, ie in the recording room. The pattern must be designed such that the camera recording the projected pattern in an image can recognize which projection beam or at least which projection plane of the projector it is currently viewing. In this case, by a simple, the One skilled in the art known Triangulationsrechnung the point on the object or the surface of the object to be calculated 3-dimensionally. If the pattern is flat, a point cloud can be determined.
Im Unterschied dazu dient bei der Stereomessung der Projektor lediglich zur Vereinfachung des Zuordnungsproblems in den beiden Kameras. Das Zuordnungsproblem bedeutet, dass in beiden Kameras ein und derselbe Oberflächenpunkt identifiziert werden muss, der dann durch beide kalibrierte Kameras erfasst wird. Ähnlich wie bei dem menschlichen Sehen mit zwei Augen findet die Triangulation dann zwischen den Sehstrahlen der beiden Kameras auf denselben Punkt statt. Sofern die Oberfläche ausreichend strukturiert ist und einzelne Oberflächenpunkte auf der Oberfläche aufgrund der Strukturierung eindeutig identifizierbar sind, müsste bei der Stereomessung kein Muster projiziert wer- den. In der Praxis ist es jedoch häufig schwierig, eine eindeutige Zuordnung von Oberflächenpunkten in den beiden Bildern der Stereokameras ohne weitere Hilfsmittel zu finden. Deshalb werden in der optisch aktiven Stereomessung die gleichen Methoden der Beleuchtung wie bei der Triangulationsmessung angewendet, um die Erkennung definierter Oberflächenpunkte aufgrund der Projekti- on eines geeigneten Musters robuster zu machen. Eine geometrische Kalibrierung des Projektors ist (wäre) in diesem Fall aber nicht notwendig, weil die Projektion des Musters nur der Identifikation gleicher Oberflächenpunkte in den Bildern der beiden Stereokameras dient. Sowohl bei der Stereo- als auch bei der Triangulationsmessung geht es also darum, einen Punkt des projizierten Beleuchtungsmusters auf der Oberfläche eindeutig zu identifizieren. Dazu wird das projizierte Muster geeignet kodiert. Es sind verschiedene Arten von Kodierungen bekannt. Grundsätzlich gibt es Codes, die mit einem einzigen festen Muster auskommen. Andere Muster wer- den erst durch die Überlagerung von mehreren, im Stand der Technik nacheinander projizierten Mustern eindeutig. By contrast, in the stereo measurement, the projector merely serves to simplify the assignment problem in the two cameras. The assignment problem means that in both cameras one and the same surface point has to be identified, which is then detected by both calibrated cameras. Similar to two-eyed human vision, triangulation then takes place at the same point between the visual rays of the two cameras. If the surface is sufficiently structured and individual surface points on the surface are clearly identifiable due to the structuring, no pattern would have to be projected in the stereo measurement. In practice, however, it is often difficult to find an unambiguous assignment of surface points in the two images of the stereo cameras without further aids. Therefore, in the optically active stereo measurement, the same methods of illumination as in the triangulation measurement are used to make the detection of defined surface points more robust due to the projection of a suitable pattern. A geometric calibration of the projector is (would) not be necessary in this case, because the projection of the pattern only serves to identify the same surface points in the images of the two stereo cameras. Both stereo and triangulation measurements therefore need to uniquely identify a point of the projected illumination pattern on the surface. For this, the projected pattern is suitably coded. Various types of encodings are known. Basically, there are codes that get along with a single solid pattern. Other patterns are the first by the superposition of several, in the art successively projected patterns clearly.
Codes, welche mit einem einzigen festen Muster auskommen, sind in der Hand- habung weniger aufwendig und können auch bei bewegten Objekten problemlos eingesetzt werden, weil sie in einem Bild festgehalten werden können. Diese Codes sind aber hinsichtlich der Identifizierbarkeit einzelner Musterpunkte weniger robust, weil es sehr viel schwieriger ist, Störungen zu eliminieren. Codes, welche die Projektion mehrerer Muster nacheinander erfordern, haben den Nachteil, dass man in dem Projektor ein variabel projizierbares Muster realisieren muss und mehrere Aufnahmen benötigt werden, die bei bewegten Objekten dazu führen, dass die verschiedenen Projektionen nicht auf denselben Oberflächenpunkten liegen. Daher sind derartige Codes mit einer zeitlich aufei- nanderfolgenden Projektion mehrerer Muster für bewegte Objekte grundsätzlich nicht geeignet. Diese Muster erlauben aber eine wesentlich robustere Erkennung und Identifizierung definierter Musterpunkte. Codes that manage with a single solid pattern are less expensive to handle and can also be easily used on moving objects because they can be captured in an image. However, these codes are less robust in terms of the identifiability of individual sample points because it is much more difficult to eliminate interference. Codes that require the projection of several patterns one after the other have the disadvantage that you have to realize a variably projectable pattern in the projector and several shots are needed, which result in moving objects that the different projections are not on the same surface points. Therefore, such codes with a temporally successive projection of several patterns for moving objects are fundamentally unsuitable. However, these patterns allow much more robust recognition and identification of defined pattern points.
Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung, hinsichtlich der Identifizierung von projizierten Musterpunkten sehr robuste Kodierungen vorzusehen, die in einer einzigen Projektion erzeugt und entsprechend mit einem einzigen Bild aufgenommen werden können. Dies soll ein schnelleres Erzeugen und Erfassen von Mustern auf einer Oberfläche ermöglichen, das aufgrund der Anwendung lediglich einer einzigen Projektion und einer einzigen Bildaufnahme zur Identifikation von Musterpunkten auch bei bewegten Objekten eingesetzt werden kann. Against this background, it is an object of the present invention to provide very robust codings with regard to the identification of projected pattern points, which can be generated in a single projection and recorded correspondingly with a single image. This is to allow for faster generation and acquisition of patterns on a surface, which can be used to identify pattern points even in moving objects due to the use of only a single projection and a single image acquisition.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 und einen als Vorrichtung ausgebildeten Sensor mit den Merkmalen des Anspruchs 10 gelöst. Dabei ist insbesondere vorgesehen, dass mehrere verschiedene Muster in der Projektion überlagert werden, wobei jedem Muster eine Musterfarbe zugewiesen wird bzw. ist, d.h. jedes Muster einfarbig eine definierte Farbe aufweist, und wobei sich bei der Überlagerung der verschiedenen Muster, d.h. in den Bereichen mit den unterschiedlichen Musterfar- ben der jeweiligen Muster, Mischfarben ergeben. Die Aufnahme des Bildes erfolgt dann mit einer Farbkamera als Bildaufnahmesensor. Die erfindungsgemäß vorgeschlagene farbige Kodierung der einzelnen Muster erlaubt es, mehrere verschiedene Muster, die sonst nacheinander projiziert werden müssten, in einem Bild zu überlagern und zu projizieren, weil das projizierte und aufgenom- mene Bild mehrdimensional wird, d.h. sowohl in dem projizierten Muster als auch in dem aufgenommenen Bild die Informationen jedes der überlagerten Muster für sich noch vorhanden ist. Damit lassen sie die Informationen mehrerer verschiedener Muster in einem projizierten Muster zusammenfassen. Dies führt zu einer hohen Robustheit der Kodierung gegenüber Fehlern bei der Erkennung definierter Musterpunkte und kann auf der nur einen Projektion und Bildaufnahme sehr schnell ausgeführt werden. Dieses Verfahren eignet daher sich insbesondere auch für bewegte Objekte bzw. Oberflächen der Objekte. This object is achieved by a method having the features of claim 1 and a trained as a device sensor with the features of claim 10. It is especially provided that superimposing a plurality of different patterns in the projection, each pattern being assigned a pattern color, ie each pattern having a defined color in a single color, and wherein the superimposition of the different patterns, ie in the areas with the different pattern colors respective patterns, mixed colors. The image is then taken with a color camera as an image sensor. The color coding of the individual patterns proposed according to the invention makes it possible to superimpose and project several different patterns which would otherwise have to be projected one after the other in an image, because the projected and recorded image becomes multidimensional, ie both in the projected pattern and in the captured image, the information of each of the superimposed patterns still exists for itself. It lets you group the information of several different patterns into a projected pattern. This leads to a high robustness of the coding against errors in the recognition of defined pattern points and can be carried out very quickly on the only one projection and image acquisition. This method is therefore particularly suitable for moving objects or surfaces of the objects.
Grundsätzlich wäre es erfindungsgemäß möglich, nur einen Teil der im Rahmen der Kodierung vorgesehenen Muster in einer Projektion zusammenzufassen und auf die Oberfläche zu projizieren. Dies kann bspw. dann angewendet werden, wenn der erreichte Grad der Kodierung durch die vorgesehene Anzahl der in der Projektion zusammengefassten Muster für den gewünschten Einsatzzweck ausreicht. In diesem Fall kann dann bspw. auch nur eine Aufnahme eines Bildes stattfinden. Alternativ könnten auch mehrere Aufnahmen vorgesehen werden, wenn insgesamt zwei oder drei Projektionen angewendet werden. Dies könnte bspw. bei statischen Oberflächen vorgenommen werden. In principle, it would be possible according to the invention to combine only a part of the pattern provided in the coding in a projection and to project it onto the surface. This can be used, for example, when the degree of coding achieved by the intended number of patterns combined in the projection is sufficient for the desired application. In this case, then, for example, take only one shot of an image. Alternatively, multiple shots could be provided if a total of two or three projections are used. This could be done, for example, in static surfaces.
Besonders bevorzugt ist es erfindungsgemäß jedoch, wenn alle Muster in der Projektion überlagert und als ein einziges statisches Bild auf die Oberfläche projiziert werden. In diesem Fall wird die gesamte Kodierinformation in einem Bild zusammengefasst, sodass das Erzeugen und erfassen der Muster besonders schnell geht und auch bei bewegten Objekten realisierbar ist. Die Aufnahmezeit für das Bild kann so gewählt werden, dass die während dieser Zeit zu- rückgelegte Wegstrecke in dem Bild vernachlässigbar ist, d.h. insbesondere zu keiner Bewegungsunschärfe führt. Mit anderen Worten muss die Aufnahmezeit so kurz sein, dass für die Aufnahme eine Position während der Bewegung ausgewählt wird. Eine besonders einfache Art der Auswertung ergibt sich dann, wenn bei der Verarbeitung des aufgenommenen Bildes, welches die projizierten Muster in überlagerter Form enthält, die einzelnen Musterfarben rechnerisch getrennt werden. Vorzugsweise kann dabei für jede Musterfarbe respektive jedes Muster rechnerisch ein separates Bild erzeugt werden. Dies ermöglicht den Rückgriff auf Auswertemethoden hinsichtlich der Identifikation eines konkreten Musterpunktes auf die bekannten Methoden, bei denen mehrere Bilder nacheinander projiziert werden. So kann der Anpassungsaufwand bei der Implementierung des erfindungsgemäß vorgeschlagenen Verfahrens in Anlagen, bei denen bisher mehrere Muster projiziert wurden, klein gehalten werden, weil die Auswer- tung der verschiedenen Muster grundsätzlich beibehalten werden kann und diesbezüglich auch keine neuen Tests notwendig sind. Insbesondere ist also vorteilhaft, dass diese Auswertemethoden bereits getestet und funktionstüchtig sind und durch das vorstehende Verfahren nicht beeinflusst werden. Der Projektor kann bspw. als Diaprojektor mit einem Farbdia oder mehreren überlagerten Farbdias, als Beamer oder durch Überlagerung verschiedenfarbiger Lichtquellen realisiert werden. Als Bildaufnahmesensor kommt eine übliche Digitalkamera in Betracht. Bei einer einfach handhabbaren Ausführungsform gemäß der vorliegenden Erfindung kann die Anzahl der verschiedenen (jeweils auch einfarbig verschiedenfarbigen) Muster kleiner oder gleich der Anzahl der Farbkanäle der Kamera gewählt werden bzw. sein, wobei in diesem Fall vorzugsweise jedem Muster ein Farbkanal zugeordnet sein kann, d.h. die Musterfarbe jeweils der Farbe eine s der Farbkanäle der Farbkamera entspricht. Die Farbkanäle der Kamera ergeben sich durch die von dem Bildsensor der Kamera direkt physikalisch, d.h. ohne nachgeordnete Bildauswertung, unterscheidbaren Farben. Beispielsweise kann die Anzahl der Farbkanäle 3 sein. Dies entspricht üblichen Farb-Digitalkameras mit den Farbkanälen rot, grün und blau, auch kurz als RGB-Farbraum bezeichnet. Mit diesen drei Grundfarben bzw. Farbkanälen lässt sich der gesamte sichtbare Farbraum durch Mischung bzw. Überlagerung der Grundfarben darstellen. Die sich aus der Kombination von jeweils zwei oder aller drei Grundfarben ergebende Mischfarbe lässt sich eindeutig einer Kombination dieser Grundfarben zuordnen. Damit wird also eine eindeutige Kodierung erreicht, die acht verschiedene Farben aufweist, wenn die Muster relativ so zueinander angeordnet sind, dass jede Kombination von Grundfarben einmal vorkommt. In diesem Fall lassen sich die drei Muster also rechnerisch trennen und jeweils als separates Bild in der nachgeordneten Bildverarbeitung erzeugen. However, it is particularly preferred according to the invention if all the patterns are superimposed in the projection and as a single static image on the surface be projected. In this case, the entire coding information is combined in one picture, so that the generation and capture of the patterns is particularly fast and can also be realized with moving objects. The recording time for the image can be chosen such that the distance traveled during this time in the image is negligible, ie in particular does not lead to any motion blur. In other words, the recording time must be so short that a position during the movement is selected for the recording. A particularly simple type of evaluation results when, during the processing of the recorded image, which contains the projected patterns in superimposed form, the individual sample colors are mathematically separated. Preferably, a separate image can be computationally generated for each pattern color or each pattern. This allows recourse to evaluation methods with regard to the identification of a specific pattern point in the known methods in which several images are projected one after the other. Thus, the adaptation effort in the implementation of the proposed method according to the invention in plants in which several patterns have been projected so far, can be kept small, because the evaluation of the various patterns can be basically maintained and in this regard, no new tests are necessary. In particular, it is therefore advantageous that these evaluation methods are already tested and functional and are not influenced by the above method. The projector can be realized, for example, as a slide projector with a color slide or a plurality of overlaid color slides, as a projector or by overlaying different colored light sources. As an image sensor is a conventional digital camera into consideration. In an easily manageable embodiment according to the present invention, the number of different (each also monochromatic differently colored) pattern can be less than or equal to the number of color channels of the camera be chosen, in which case preferably each pattern, a color channel may be assigned, ie the pattern color corresponds in each case to the color one s of the color channels of the color camera. The color channels of the camera result from the directly from the image sensor of the camera physically, ie without subordinate image analysis, distinguishable colors. For example, the number of color channels may be 3. This corresponds to common color digital cameras with the color channels red, green and blue, also referred to as RGB color space for short. With these three basic colors or color channels, the entire visible color space can be represented by mixing or superimposing the primary colors. The mixed color resulting from the combination of two or all three primary colors can be unambiguously assigned to a combination of these primary colors. Thus, a unique coding is achieved, which has eight different colors when the patterns are arranged relative to each other so that each combination of primary colors occurs once. In this case, the three patterns can therefore be computationally separated and each generate a separate image in the downstream image processing.
Grundsätzlich ist es - auch unabhängig von der Anzahl der Muster und Musterfarben - erfindungsgemäß sinnvoll, die Geometrie der verschiedenfarbigen Muster so zu wählen, dass bei einer Überlagerung der verschiedenen Muster alle theoretisch möglichen und/oder in der entstehenden Mischfarbe unterscheidbaren Kombinationen von Musterfarben vorkommen. Hierdurch wird eine maximale Informationstiefe der erfindungsgemäßen Kodierung erreicht. Mit anderen Worten führt diese Kodierung mit - im konkret besprochenen Beispiel - drei Farben entsprechend den drei Farbkanälen der verwendeten Farbkamera dazu, dass in der durch die Muster abgedeckten Fläche allein aufgrund der Farbe acht verschiedene Teilflächen eindeutig identifiziert werden können. In principle, regardless of the number of patterns and pattern colors, it makes sense in accordance with the invention to select the geometry of the differently colored patterns in such a way that, when the various patterns are superimposed, all theoretically possible and / or distinguishable combinations of pattern colors occur in the resulting mixed color. As a result, a maximum information depth of the coding according to the invention is achieved. In other words, this coding with - in the concrete example discussed - three colors corresponding to the three color channels of the color camera used to the fact that in the area covered by the pattern alone due to the color eight different faces can be clearly identified.
Weitere, eindeutige Kombinationen lassen sich durch Anordnung und/oder Formen der Muster erreichen, die je nach Einsatzzweck unterschiedlich gestaltet werden können. Beispiele hierfür werden später noch explizit erwähnt und in der Figurenbeschreibung erläutert. Die Erfindung lässt sich aber grundsätzlich auf alle denkbaren geometrischen Muster und Musterkombinationen anwenden, um die Informationstiefe der Kodierung in einer einzigen Projektion zu erhöhen. Other, unique combinations can be achieved by arranging and / or forming the patterns, which can be designed differently depending on the purpose. Examples of this will be explicitly mentioned later and explained in the description of the figures. However, the invention can basically be applied to all conceivable geometric patterns and pattern combinations in order to increase the information depth of the coding in a single projection.
In einer komplexeren Ausführungsform kann die Anzahl der verschiedenen Muster erfindungsgemäß auch größer sein als die Anzahl der Farbkanäle der Farbkamera. Dann kann erfindungsgemäß eine Eindeutigkeit der Kodierung durch die Anordnung und/oder Formen der Muster erreicht werden. Eine weitere erfindungsgemäße Möglichkeit zur Erzeugung der Eindeutigkeit der Kodierung liegt darin, jedem Muster eine andere Musterfarbe zuzuweisen, d.h. also mehr Musterfarben zu verwenden, als Farbkanäle der Farbkamera vorhanden sind. In a more complex embodiment, the number of different patterns according to the invention may also be greater than the number of color channels of the color camera. Then, according to the invention, a uniqueness of the coding can be achieved by the arrangement and / or shapes of the patterns. A further possibility of generating the uniqueness of the coding according to the invention is to assign a different pattern color to each pattern, i. So to use more pattern colors, as color channels of the color camera are available.
In der Überlagerung ergeben sich dann entsprechend mehr Mischfarben, wobei bei der Auswahl der Musterfarben vorzugsweise darauf geachtet werden kann, dass die durch Kombination entstehenden Mischfarben im Farbraum soweit voneinander entfernt sind, dass sie bei der digitalen Bildverarbeitung rechne- risch sicher wieder voneinander getrennt werden können, und die Mischungen der einzelnen Grundfarben eindeutig sind, also nicht dieselbe Mischfarbe aus verschiedenen Grundfarben erzeugt werden kann. Mit anderen Worten wird in dieser Variante der Ausführungsform durch die Farbauswahl eine Metamerie vermieden, bei der verschieden zusammengesetzte Lichtspektren die gleiche Farbvalenz hervorrufen. Dies kann bei der Auswahl der Musterfarben ggf. empi- risch überprüft werden; es ist dem Fachmann aber auch theoretische Aufarbeitung im Rahmen der verwendeten Farblehre möglich. Die Zuordnung einer Mischfarbe kann dann bspw. in einer Tabelle hinterlegt werden, so dass aus jeder Mischfarbe auf die Kombination der Muster rückgeschlossen werden kann, die zu dieser Mischfarbe geführt hat. In the superimposition, correspondingly more mixed colors result, wherein in the selection of the pattern colors, preference can be given to ensuring that the mixing colors resulting from combination are so far apart in the color space that they can be reliably separated from one another in digital image processing , And the mixtures of the individual primary colors are unique, so can not be created the same mixed color of different primary colors. In other words, in this variant of the embodiment, the color selection avoids metamerism in which differently composed light spectra cause the same color valence. This may be recommended when selecting the pattern colors. be checked; It is the expert but also theoretical workup in the context of the used color theory possible. The assignment of a mixed color can then be stored, for example, in a table, so that it is possible to deduce from each mixed color the combination of the patterns that led to this mixed color.
Ferner kann eine Kombination der Kodierung durch die Anordnungen und/oder Formen der Muster und die Anzahl der Musterfarben, die größer ist als die Anzahl der Farbkanäle der Farbkamera, kombiniert werden. Damit steht insge- samt eine noch größere Anzahl von eindeutigen Kodierungen in flächigen Musterprojektionen zur Verfügung. Further, a combination of coding may be combined by the arrangements and / or shapes of the patterns and the number of pattern colors larger than the number of color channels of the color camera. As a result, an even greater number of unique codings are available in planar pattern projections.
Entsprechend lässt sich die vorliegende Erfindung mit der vorbeschriebenen Farbkodierung grundsätzlich auf jeden Mustertyp mit flächigen Kodierungen anwenden. Systematisch zählen hierzu sowohl binäre Muster, die nur aus hellen und dunklen Bereichen bestehen, als auch Muster mit insbesondere kontinuierlichen oder auch diskreten Helligkeitsverläufen. Accordingly, the present invention with the above-described color coding can basically be applied to any type of pattern with area codes. Systematically, this includes both binary patterns, which consist only of light and dark areas, as well as patterns with, in particular, continuous or even discrete brightness gradients.
Erfindungsgemäß kann als Muster also ein binäres Muster verwendet werden. Wenn das Muster ein binäres Muster ist, muss bei der Auswertung lediglich bestimmt werden, ob gerade der helle oder der dunkle Bereich gesehen wird. Dies lässt sich bei der vorliegenden Erfindung dadurch einfach umsetzen, dass als heller Bereich ein transparenter Bereich und als dunkler Bereich die jeweilige dem Muster zugewiesene Farbe verwendet wird. Der transparente Bereich eines Musters hat den Vorteil, dass bei Überlagerung mehrerer Muster die jeweiligen Musterfarben gesehen werden und sich entsprechend zu einer Mischfarbe überlagern. According to the invention, a binary pattern can thus be used as a pattern. If the pattern is a binary pattern, the evaluation only needs to determine if the light or dark area is being viewed. In the case of the present invention, this can be easily implemented by using a transparent area as the bright area and the respective color assigned to the pattern as a dark area. The transparent area of a pattern has the advantage that when superimposing several patterns, the respective pattern colors are seen and overlap accordingly to a mixed color.
Bekannte Beispiele für Kodierungen dieser Art sind ein dualer Streifencode, ein Gray-Code, ein stochastisches Punktmuster (ggf. verschiedenen Auflösungsstu- fen), regelmäßige Punkt- oder Streifenmuster mit kodierten Stützstellen (ggf. in verschiedenen Auflösungsstufen), Streifenmuster in verschiedenen Richtungen oder periodische Streifen mit verschiedenen Abständen. Die Erfindung ist jedoch nicht auf die vorgenannten Beispiele beschränkt, sondern kann auch mit anderen binären Mustern angewendet werden. Known examples of encodings of this kind are a dual bar code, a Gray code, a stochastic dot pattern (possibly different resolution levels). regular dot or stripe patterns with coded interpolation points (possibly in different resolution levels), stripe patterns in different directions or periodic stripes with different distances. However, the invention is not limited to the aforementioned examples, but may be applied to other binary patterns.
Gemäß anderen, erfindungsgemäß verwendbaren Kodierungen kann ein Muster mit einem insbesondere kontinuierlichen, ggf. auch diskontinuierlichen, Helligkeitsverlauf verwendet werden. Ein solches Muster mit einem Helligkeitsverlauft bietet durch die Wahl der Helligkeit der Farbe einen weiteren Informationskanal, der eine noch feinere Kodierung mit höherer Auflösung zulässt. Dies wird allerdings damit erkauft, dass derartige Muster grundsätzlich störanfälliger sind, weil sich unterschiedliche Reflexionseigenschaften der Oberfläche für verschiedene Farben unterschiedlich stark bemerkbar machen können. Diese unterschiedli- chen Reflexionseigenschaften führen dazu, dass das mit einer bestimmten Intensität ausgestrahlte Licht der verschiedenen Farben unter Umständen mit unterschiedlicher Intensität reflektiert wird. Dies würde zu Verschiebungen in der Helligkeitskodierung führen. Diese Störanfälligkeit kann durch eine zusätzliche Kompensation der Reflexionseigenschaften auf der Oberfläche verringert werden, was möglich ist, wenn diese Reflexionseigenschaften der Oberfläche ortsabhängig, d.h. lokal, bekannt sind. Erfindungsgemäß kann also vorgesehen werden, dass für ein Muster mit Helligkeitsverlauf eine Korrektur unterschiedlicher Reflexionseigenschaften der Oberfläche an verschiedenen Oberflächenpositionen bei der Ermittlung der Helligkeit durchgeführt wird. Dies kann bspw. aufgrund bekannter lokaler Reflexionseigenschaften erfolgen, bspw. in der Produktion bestimmter, genau bekannter Produkte. Alternativ kann, wenn die Oberflächenreflexionseigenschaften des Produkts bzw. der Oberfläche nicht bekannt sind, eine Reflexionsmessung der Oberfläche mit weißem Licht erfolgen und die Ergebnisse dann für die Kor- rektur herangezogen werden. Eine einfache Möglichkeit zur Korrektur besteht darin, die gemessene Helligkeit auf die lokalen Reflexionseigenschaften der Oberfläche zu normieren, um einen dem Helligkeitsverlauf des Musters möglichst optimal angepassten Helligkeitsverlauf in dem Bild zu erfassen. In diesem Fall brauchte man für Oberflächen mit nicht bekannten Reflexionseigenschaften nur ein weiteres Bild, bei dem dann auch keine Musterprojektion stattfindet, sondern lediglich die Reflexionseigenschaften mit neutralem weißem Licht er- fasst werden. Beispiele für Muster dieser Art sind periodische Helligkeitsverläufe, z.B. Sinus- Muster mit verschiedenen Ortsfrequenzen (insbesondere zur Auflösung der periodischen Mehrdeutigkeit) oder Mehrbild-Phasenshift-Verfahren. Auch hier sind nur einige Beispiele genannt. Prinzipiell lässt sich die vorliegende Erfindung mit allen flächigen Kodierungen verwenden, die mit einem oder mehreren Mustern arbeiten. Derartige Methoden sind dem Fachmann im Prinzip bekannt. Bei den Verfahren mit mehreren, nacheinander projizierten Mustern, kann der Fachmann erfindungsgemäß diese zeitlich nacheinander projizierten Muster erfindungsgemäß durch unterschiedli- che Farbkodierungen in einer Projektion kombinieren. According to other codings which can be used according to the invention, a pattern with a particularly continuous, optionally also discontinuous, brightness profile can be used. Such a pattern with a brightness gradient offers by selecting the brightness of the color another information channel, which allows an even finer coding with higher resolution. However, this is paid for by the fact that such patterns are fundamentally susceptible to interference because different reflection properties of the surface can be perceived to different degrees for different colors. These different reflection properties mean that the light of different colors emitted with a certain intensity may under certain circumstances be reflected with different intensity. This would lead to shifts in the brightness coding. This susceptibility can be reduced by an additional compensation of the reflection properties on the surface, which is possible if these reflection properties of the surface location-dependent, ie local, are known. According to the invention, it can thus be provided that, for a pattern with a brightness course, a correction of different reflection properties of the surface at different surface positions is carried out in the determination of the brightness. This can be done, for example, on the basis of known local reflection properties, for example in the production of specific, precisely known products. Alternatively, if the surface reflectance properties of the product or surface are not known, then a reflectance measurement of the surface can be made with white light and the results then used for the cor- be used. A simple way of correcting is to normalize the measured brightness to the local reflection properties of the surface, in order to capture a brightness curve in the image that optimally optimizes the brightness pattern of the pattern. In this case, only a further image was needed for surfaces with unknown reflection properties, in which case no pattern projection takes place, but only the reflection properties are detected with neutral white light. Examples of patterns of this kind are periodic brightness profiles, for example sine patterns with different spatial frequencies (in particular for the resolution of the periodic ambiguity) or multi-image phase shift methods. Again, just a few examples are mentioned. In principle, the present invention can be used with all area codes that work with one or more patterns. Such methods are known in the art in principle. In the methods with a plurality of successively projected patterns, according to the invention, the person skilled in the art can combine these patterns, which are projected in chronological succession, by different color codes in a projection.
Wie bereits eingangs erwähnt, lässt sich das erfindungsgemäß vorgeschlagene vorbeschriebene Verfahren zum Erzeugen und Erfassen von Mustern auf einer Oberfläche, insbesondere einer 3-dimensionalen Oberfläche, bei der Durchfüh- rung einer Triangulationsmessung oder einer Stereomessung einer Oberfläche, insbesondere einer 3-dimensionalen Oberfläche, verwenden. Dabei können alle vorbeschriebenen Merkmale oder eine Auswahl der vorbeschriebenen Merkmale zur Anwendung kommen. Die Erfindung betrifft ferner einen Sensor zum Erzeugen und Erfassen von Mustern auf einer (insbesondere 3-dimensionalen) Oberfläche mit mindestens einem Projektor zur Projektion eines Musters auf die Oberfläche, mindestens einer Farbkamera als Bildaufnahmesensor zur Aufnahme des projizierten Mus- ters und mindestens einer Recheneinheit zur Ansteuerung des Projektors und der Farbkamera. Es ist vorgesehen, dass der Prozessor der Recheneinheit dazu eingerichtet ist, das vorbeschriebene Verfahren oder Teile hiervon auszuführen. Erfindungsgemäß kann der Prozessor der Recheneinheit auch dazu eingerichtet sein, die Triangulationsmessung und/oder Stereomessung der Oberfläche in an sich bekannter Weise durchzuführen. As already mentioned, the above-described proposed method for generating and detecting patterns on a surface, in particular a 3-dimensional surface, can be used when performing a triangulation measurement or a stereo measurement of a surface, in particular a 3-dimensional surface , In this case, all the features described above or a selection of the features described above can be used. The invention further relates to a sensor for generating and detecting patterns on a (in particular 3-dimensional) surface with at least one projector for projecting a pattern onto the surface, at least one color camera as an image sensor for receiving the projected pattern and at least one arithmetic unit for Control of the projector and the color camera. It is provided that the processor of the arithmetic unit is adapted to carry out the method described above or parts thereof. According to the invention, the processor of the arithmetic unit can also be set up to carry out the triangulation measurement and / or stereo measurement of the surface in a manner known per se.
Erfindungsgemäß sind wenigstens eine Farbkamera und der Projektor des Sensors (im Falle der Triangulationsmessung) oder mindestens zwei Farbkameras des Sensors (im Falle der Stereomessung) im Aufnahmeraum dreidimensio- nal aufeinander kalibriert. Eine solche Kalibration im Aufnahmeraum bedeutet, dass in dem Aufnahmeraum ein ausgezeichnetes Koordinatensystem, ein sogenanntes„Weltkoordinatensystem", festgelegt ist. Für eine kalibrierte Farbkamera ist dann bekannt, in welche Richtung ihre Sehstrahlen im Aufnahmeraum verlaufen. Entsprechend ist für einen kalibrierten Projektor bekannt, in welche Rich- tung die Projektionsstrahlen im Aufnahmeraum verlaufen. Möglichkeiten zur Kalibrierung von Kameras und Projektoren sind dem Fachmann im Rahmen seines Fachwissens bekannt und müssen an dieser Stelle daher nicht näher erläutert werden. Gemäß einer bevorzugten Ausführungsform kann der Projektor des Sensors eine Projektionseinrichtung sein, die ein auf dem Projektionsträger angeordnetes Muster auf die 3-dimensionale Oberfläche projiziert. Dies kann bspw. ein Diaprojektor oder Beamer sein. Jedes Muster kann dazu auf einem eigenen Projektionsträger, bspw. einen Farbdia oder einer transparenten Folie, angeord- net sein. Verschiedene, nicht überlappende Muster können auch auf einem Projektionsträger zusammengefasst, d.h. nebeneinander und nicht überlappend, angeordnet sein. Diese können dann jedoch auch als ein Muster im Sinne der Anmeldung verstanden werden. Die Projektionsträger sind in den das Muster nicht aufnehmenden Bereichen für die dargestellte Projektionsmethode vor- zugsweise transparent, so dass mehrere Projektionsträger zu einem Gesamt- projektionsträger überlagert werden können. Im Falle eines Diaprojektors können also bspw. mehrere Farbdias übereinandergelegt als Projektionsträger verwandelt werden. Der (Gesamt-)Projektionsträger weist in diesem Fall also mehrere Farbdias auf, wobei jeweils ein Muster auf eine transparente Trägerfo- lie als Farbdia aufgebracht ist und mehrere Farbdias übereinandergelegt den Projektionsträger bilden. According to the invention, at least one color camera and the sensor of the sensor (in the case of triangulation measurement) or at least two color cameras of the sensor (in the case of the stereo measurement) are calibrated three-dimensionally in the receiving space. Such a calibration in the recording room means that an excellent coordinate system, a so-called "world coordinate system", is defined in the recording room, for which a calibrated color camera knows which direction its visual rays are in the recording room Possibilities for calibrating cameras and projectors are known to the person skilled in the art within the scope of his specialist knowledge and therefore do not need to be explained in more detail here A pattern arranged on the projection carrier can be projected onto the 3-dimensional surface, which can be, for example, a slide projector or beamer, for which each pattern can be arranged on its own projection carrier, for example a color slide or a transparent foil edene, non-overlapping patterns can also be on one Projection carrier summarized, ie next to each other and not overlapping, be arranged. However, these can then also be understood as a pattern in the sense of the application. The projection carriers are preferably transparent in the regions not receiving the pattern for the projection method shown, so that a plurality of projection carriers can be superimposed to form an overall projection carrier. In the case of a slide projector, for example, a plurality of color slides can be superimposed and converted as projection carriers. In this case, therefore, the (overall) projection carrier has several color slides, one pattern each being applied to a transparent carrier foil as a color slide and a plurality of color slides superimposed on one another forming the projection carrier.
In einer anderen Ausführungsform kann der Projektionsträger ein durchleuchtbarer Bildschirm, bspw. nach dem Beamer-Prinzip, sein, und die Muster durch eine auf der Recheneinheit (bspw. in dem Prozessor der Recheneinheit) implementierte, ebenenbasierte Bildverarbeitungssoftware erzeugt werden, wobei die Bildverarbeitungssoftware dazu geeignet und eingerichtet ist, ein Muster in einer Ebene darzustellen, eine optische Projektion bei dem Übereinanderlegen von Ebenen zu simulieren und das Simulationsergebnis auf dem durchleuchtbaren Bildschirm dazustehen. In another embodiment, the projection carrier can be a transilluminable screen, for example according to the projector principle, and the patterns can be generated by a plane-based image processing software implemented on the arithmetic unit (for example in the processor of the arithmetic unit), the image processing software being suitable for this purpose and is arranged to represent a pattern in a plane, to simulate an optical projection in the superposition of planes and to have the simulation result on the transilluminable screen.
Eine weitere Möglichkeit zur Erzeugung derartiger Muster besteht auch in der Überlagerung verschiedenfarbiger Lichtquellen. Hierzu kann eine mehrfarbige Lichtquelle in einem Projektor, bspw. eine Mehr-Farb-LED, gewählt werden, bei der verschiedenfarbige Lichtquellen räumlich so eng benachbart angeordnet sind, dass für den optischen Aufbau bzw. Abbildungskanal jeweils derselbe Ort angenommen werden kann. Diese verschiedenen Lichtquellen werden dann mit ggf. wellenlängenselektiven Filtern zur Erzeugung der Muster so schnell geschaltet, dass in einer Aufnahme eine Überlagerung der verschiedenen Muster erfolgt. Denkbar ist auch ein optischer Projektor, der räumlich verteilt angeord- nete Lichtquellen verschiedener Farbe in der Projektionsebene auf einer Projektionsfläche kombiniert. Another possibility for generating such patterns is the superposition of different colored light sources. For this purpose, a multi-colored light source in a projector, for example. A multi-color LED can be selected, are arranged in the differently colored light sources spatially so closely adjacent that for the optical structure or imaging channel respectively the same place can be assumed. These different light sources are then switched so quickly with possibly wavelength-selective filters for generating the pattern that takes place in a recording, an overlay of the various patterns. Also conceivable is an optical projector which is spatially distributed. combined light sources of different color in the projection plane on a projection surface.
Für die Stereomessung ist erfindungsgemäß vorgesehen, dass der Bildaufnahmesensor des Sensors zwei in dem gemeinsamen Aufnahmeraum kalibrierte Farbkameras umfasst, welche den im Wesentlichen selben Bereich des projizierten Musters aufnehmen. Unter einem im Wesentlichen selben Bereich wird verstanden, dass beide Farbkameras in der Lage sind, eine Mehrzahl von identischen Punkten des Musters gleichzeitig aufzunehmen. For the stereo measurement, it is provided according to the invention that the image sensor of the sensor comprises two color cameras calibrated in the common recording space, which record the substantially same area of the projected pattern. By a substantially same range, it is meant that both color cameras are capable of simultaneously recording a plurality of identical points of the pattern.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und der Zeichnungen. Dabei bilden alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der vorliegenden Erfindung, auch unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbezügen. Further advantages, features and applications of the present invention will become apparent from the following description of exemplary embodiments and the drawings. All described and / or illustrated features alone or in any combination form the subject matter of the present invention, also independent of their summary in the claims or their back references.
Es zeigen: Show it:
Fig. 1 ein Beispiel für eine Kodierung mit einem 3-Bit-Streifen-Grey-Code mit drei Mustern, die gemäß dem Stand der Technik in drei aufeinanderfolgenden Projektionen projiziert und in drei verschiedenen Bildern aufgenommen werden. Fig. 1 shows an example of a coding with a 3-bit stripe gray code with three patterns, which are projected according to the prior art in three successive projections and recorded in three different images.
Fig. 2 die Umsetzung dieser Kodierung gemäß Fig. 1 entsprechend der vorliegenden Erfindung, bei der jedem Muster eine Musterfarbe zugewiesen wird und alle Muster in der Projektion überlagert werden; Fig. 3 ein Beispiel für eine Kodierung mit zwei binären Mustern mit kodierten Stützstellen, die gemäß dem Stand der Technik nacheinander projiziert und aufgenommen werden; Fig. 2 shows the implementation of this coding according to Fig. 1 according to the present invention, in which each pattern is assigned a pattern color and all the patterns in the projection are superimposed; 3 shows an example of a coding with two binary patterns with coded interpolation points which are projected and recorded one after the other according to the prior art;
Fig. 4 die Umsetzung dieser Kodierung gemäß Fig. 3 entsprechend der vorliegenden Erfindung, bei der jedem Muster eine Musterfarbe zugewiesen wird und alle Muster in der Projektion überlagert werden; und Fig. 4 shows the implementation of this coding according to Fig. 3 according to the present invention, in which each pattern is assigned a pattern color and all the patterns in the projection are superimposed; and
Fig. 5 schematisch eine Ausführungsform für den Aufbau eines erfindungsgemäßen Stereo-Sensors. Fig. 5 shows schematically an embodiment for the construction of a stereo sensor according to the invention.
Anhand der Fig. 1 und 2 bzw. der Fig. 3 und 4 wird nachfolgend beispielhaft erläutert, wie das erfindungsgemäße Verfahren zum Erzeugen und Erfassen von Mustern angewendet werden kann. Dabei werden jeweils ein Verfahren nach dem Stand der Technik und ein Verfahren entsprechend der vorliegenden Erfindung gegenübergestellt, um die erfindungsgemäße Vorgehensweise zu verdeutlichen. Reference will now be made, by way of example, to FIGS. 1 and 2 or FIGS. 3 and 4, as to how the method according to the invention for generating and detecting patterns can be used. In each case, a method according to the prior art and a method according to the present invention are compared in order to illustrate the procedure according to the invention.
Fig. 1 zeigt drei Muster 101 , 102, 103, die entsprechend der Anwendung im Stand der Technik nacheinander auf dieselbe Stelle einer Oberfläche projiziert werden. Die Muster weisen jeweils helle und dunkle Bereiche auf. Durch die aufeinanderfolgende Projektion dieser drei Muster 101 , 102, 103 wird insgesamt also ein 3-Bit-Streifen-Grey-Code erzeugt. Die Muster 101 , 102 und 103 sind geometrisch so aufgebaut, dass bei aufeinanderfolgenden Projektionen an einer Stelle 104 der Musters in der Projektion jeweils bestimmte Bitfolgen zu sehen sind. Fig. 1 shows three patterns 101, 102, 103 successively projected onto the same location of a surface in accordance with the prior art application. The patterns each have bright and dark areas. As a result of the successive projection of these three patterns 101, 102, 103, a total of 3-bit stripe Gray code is thus generated. The patterns 101, 102 and 103 are constructed geometrically such that, in successive projections, certain bit sequences can be seen in each case at a location 104 of the pattern in the projection.
Die Stelle 104 zeigt im Muster 101 einen dunklen, im Muster 102 einen hellen und im Muster 103 einen dunklen Bereich. Die Bit-Information der nacheinander erfolgenden Projektion aller drei Muster 101 , 102, 103 an der Position 104 ist also („dunkel", „hell", „dunkel"). An jeder anderen Position 104 ist die Bitfolge anders, so dass hierdurch eine eindeutige Kodierung von Oberflächenpositionen bei der aufeinanderfolgenden Projektion der Muster 101 , 102, 103 erfolgt, zu- mindest wenn die Oberfläche während der Gesamtprojektionsdauer nicht bewegt wird. Ein solches Verfahren ist aus dem Stand der Technik bekannt. The location 104 shows a dark area in the pattern 101, a light area in the pattern 102, and a dark area in the pattern 103. The bit information one after the other Thus, the projection of all three patterns 101, 102, 103 at the position 104 is ("dark", "light", "dark"). At every other position 104, the bit sequence is different, so that a clear coding of surface positions in the position successive projection of the patterns 101, 102, 103 occurs, at least if the surface is not moved during the total projection time, such a method being known from the prior art.
Mit Bezug auf die nachfolgende Fig. 2 wird das erfindungsgemäße Verfahren unter Beibehaltung der Grundstruktur der Muster 101 , 102, 103 aus dem Stand der Technik beschrieben. Hieran erkennt man, dass sich das erfindungsgemäße Verfahren universell für viele verschiedene Muster aus dem Stand der Technik anwenden lässt. With reference to the following FIG. 2, the method according to the invention is described while maintaining the basic structure of the prior art patterns 101, 102, 103. From this it can be seen that the method according to the invention can be used universally for many different patterns from the prior art.
Auch das erfindungsgemäße Verfahren sieht drei flächige Muster 1 , 2, 3 vor, die mit einem Projektor auf eine Oberfläche projiziert und mit einer Kamera aufgenommen werden. Im Gegensatz zum Stand der Technik wird jedem Muster 1 , 2, 3 aber eine eigene Musterfarbe 4, 5, 6 zugewiesen. Das Muster 1 zeigt die erste Musterfarbe 4, das Muster 2 die zweite Musterfarbe 5 und das Muster 3 die dritte Musterfarbe 6. Entsprechend dem RGB-Farbraum, der bei üblichen Digi- talkameras Anwendung findet, sei für das nachfolgende Beispiel angenommen, dass die erste Farbe 4„rot", die zweite Farbe 5,„grün" und die dritte Farbe 6 „blau" sei. Der nicht farbige Bereich 8 der flächigen Muster 1 , 2, 3 ist transparent. Die Muster 1 , 2, 3 können bspw. in der Art eines Dias auf transparenten Folien angebracht sein, so dass die Folien der Muster 1 , 2, 3 in einem Diaprojektor übereinandergelegt als ein gemeinsam projiziertes Muster 7 auf die Oberfläche projiziert werden. Dieses gemeinsam projiziertes Muster 7 ist in Fig. 2 unter den jeweils einfarbigen flächigen Mustern 1 , 2, 3 dargestellt. Entsprechend der Überlagerung von transparenten Bereichen 8 bzw. farbigen Bereichen 4, 5, 6 der Muster 1 , 2, 3 ergeben sich die nachfolgend diskutierten Farben in dem projizierten Muster 7, teilweise als Mischfarben durch Überlagerung der Grundfarben rot, grün und blau. An dem in der Darstellung linken Ende des projizierten Musters 7 findet sich ein transparenter Bereich 8. Daran anschließend folgt ein blauer Bereich 6 aus dem Muster 3. Der Bereich 10 wird als Mischfarbe durch eine Überlagerung des roten Bereichs 4 und des blauen Bereichs 6 gebildet, so dass ein violetter Bereich 10 entsteht. Der Bereich 4 ist durch das Muster 1 als roter Bereich 4 sichtbar. In dem Bereich 12 findet eine Überlagerung des roten Bereichs 4 und des grünen Bereichs 5 des ersten und des zweiten Musters 1 , 2 statt, so dass die resultierende Mischfarbe 12 gelb ist. Für den Bereich 13 werden die Farben rot, grün und blau miteinander gemischt. Dies führt bei der angewendeten additiven Farbkombination zu dem Grundempfinden weiß, wobei aufgrund der verminderten Intensität durch Absorption des Lichtes durch die drei farbigen Bereiche 4, 5 und 6 der Muster 1 , 2, 3 ein eher dunkler Gesamteindruck (schwarz) entsteht. Der durch Überlagerung des grünen Bereichs 5 aus Muster 2 und des blauen Bereichs 6 aus Muster 3 gebildete Farbbereich 14 ist türkis, der letzte Bereich in dem projizierten Muster 7 wird durch das Muster 2 bestimmt und ist daher ein grüner Farbbereich 5. The inventive method also provides three planar patterns 1, 2, 3, which are projected onto a surface with a projector and recorded with a camera. In contrast to the prior art, each pattern 1, 2, 3 is assigned its own pattern color 4, 5, 6. The pattern 1 shows the first pattern color 4, the pattern 2 the second pattern color 5 and the pattern 3 the third pattern color 6. According to the RGB color space, which is used in conventional digital cameras, it is assumed for the following example that the first Color 4 "red", the second color 5, "green" and the third color 6 is "blue." The non-colored region 8 of the two-dimensional pattern 1, 2, 3 is transparent The patterns 1, 2, 3 can, for example. in the manner of a slide on transparent foils so that the foils of the patterns 1, 2, 3 are superimposed in a slide projector onto the surface as a co-projected pattern 7. This co-projected pattern 7 is shown in Figs each monochrome two-dimensional patterns 1, 2, 3 shown. Corresponding to the superimposition of transparent regions 8 or colored regions 4, 5, 6 of the patterns 1, 2, 3, the colors discussed below arise in the projected pattern 7, partially as mixed colors by superimposing the primary colors red, green and blue. At the left end of the projected pattern 7 there is a transparent area 8 followed by a blue area 6 from the pattern 3. The area 10 is formed as a mixed color by a superposition of the red area 4 and the blue area 6, so that a purple area 10 is formed. The area 4 is visible through the pattern 1 as a red area 4. In the area 12, a superposition of the red area 4 and the green area 5 of the first and second patterns 1, 2 takes place, so that the resulting mixed color 12 is yellow. For area 13, the colors red, green and blue are mixed with each other. This results in the applied additive color combination to the basic sense white, due to the reduced intensity by absorption of the light through the three colored areas 4, 5 and 6 of the pattern 1, 2, 3, a rather dark overall impression (black) is formed. The color area 14 formed by superposition of the green area 5 of pattern 2 and the blue area 6 of pattern 3 is turquoise, the last area in the projected pattern 7 is determined by the pattern 2 and is therefore a green color area 5.
Damit können die acht verschiedenen Informationen aus den 3-Bit-Streifen- Grey-Code durch das erfindungsgemäß vorgeschlagene Verfahren in einem einzigen Bild (projiziertes Muster 7) zusammengefasst erhalten werden, die durch Aufnahme des durch eine Überlagerung der Ausgangsmuster 1 , 2, 3 projizierten Musters 7 mit einer anschließenden Bildauswertung dekodiert werden, wobei bei der Auswertung die ursprünglichen Farbkanäle rot, grün, blau entsprechend den Musterfarben 4, 5, 6 rechnerisch gebildet werden und die Auswertung so entsprechend dem Stand der Technik vorgenommen werden kann. ln Fig. 3 ist ein weiteres Beispiel aus zwei binären Mustern mit kodierten Stützstellen entsprechend dem Stand der Technik dargestellt. Das Muster 120 zeigt eine regelmäßige Anordnung quadratischer Stützstellen, die in dem Muster 121 durch zwei Kreuze verteilt über die Anordnung der vielen quadratischen Stütz- stellen ergänzt wird. Im Stand der Technik werden auch diese Muster 120, 121 nacheinander projiziert. Thus, the eight different pieces of information from the 3-bit stripe-gray code can be obtained in a single image (projected pattern 7) by the method proposed by the present invention by recording the image projected by superimposing the output patterns 1, 2, 3 Pattern 7 are decoded with a subsequent image analysis, wherein the evaluation of the original color channels red, green, blue corresponding to the pattern colors 4, 5, 6 are formed arithmetically and the evaluation can be made according to the prior art. FIG. 3 shows another example of two binary patterns with coded interpolation points according to the prior art. The pattern 120 shows a regular arrangement of square support points, which is supplemented in the pattern 121 by two crosses distributed over the arrangement of the many square support points. In the prior art, these patterns 120, 121 are projected successively.
Fig. 4 zeigt nun die erfindungsgemäße Umsetzung eines entsprechenden Mustercodes mit den flächigen Mustern 20 und 21 . In dem Muster 20 weist das Array aus quadratischen Stützstellen jeweils eine erste Farbe 25 vor transparentem Hintergrund 22 auf. Das Muster 21 zeigt die beiden Kreuze in der zweiten Farbe 26. Auch der Rest des Musters 21 ist transparent 23. FIG. 4 now shows the conversion according to the invention of a corresponding pattern code with the areal patterns 20 and 21. In the pattern 20, the array of square support points each have a first color 25 in front of a transparent background 22. The pattern 21 shows the two crosses in the second color 26. The rest of the pattern 21 is also transparent 23.
Durch eine gemeinsame Projektion der Muster 20 und 21 wird das projizierte Muster 28 erhalten, das das Array aus Quadraten in der ersten Farbe 25 und die Kreuze in der Farbe 26 zeigt. An den Stellen, wo sich die Kreuze mit der Farbe 26 und die Quadrate mit der Farbe 25 vermischen, ergibt sich eine Mischfarbe 27. Auch hierdurch lässt sich eine sehr genaue Kodierung der Oberfläche erreichen. By a common projection of the patterns 20 and 21, the projected pattern 28 is obtained showing the array of squares in the first color 25 and the crosses in the color 26. In the places where the crosses mix with the color 26 and the squares with the color 25, this results in a mixed color 27. This also allows a very accurate coding of the surface can be achieved.
In den beispielhaft dargestellten Ausführungsformen gemäß Fig. 2 und Fig. 4 wurde die Erfindung mit nur wenigen Farben, bspw. beschränkt auf die Anzahl der Farbkanäle der digitalen Kamera oder weniger, dargestellt, damit die Beispiele übersichtlich bleiben. Es ist aber auch möglich, mehrere verschiedene Muster und Farben zu kombinieren, wenn man dafür sorgt, dass alle entstehenden Mischfarben 10, 12, 13, 14, 27 eindeutig im Farbraum definiert sind und genügend Abstand voneinander und von den Grundfarben haben, so dass die verschiedenen Farben in der Bildauswertung zuverlässig getrennt werden können. Metamerieeffekte sind zu vermeiden. Fig. 5 zeigt schließlich eine Anordnung 30 zum Erzeugen und Erfassen von Mustern auf Oberflächen 31 gemäß einer möglichen Ausführungsform der Erfindung. Der dazu vorgesehene Sensor 32 weist einen Projektor 33 und zwei Digital-Farbkameras 34, 35 als Bildaufnahmesensoren für das projizierte Muster auf. Die Kameras 34, 35 sind derart ausgerichtet, dass sie beide das durch den Projektor 33 auf die Oberfläche 31 projizierte Muster aufnehmen. Nicht dargestellt ist eine an den Sensor 32 angeschlossene oder in diesen aufgenommene Recheneinheit zur Ansteuerung des Projektors 33 und der Farbkameras 34, 35 sowie zur entsprechenden Bildauswertung. In the exemplary embodiments shown in FIGS. 2 and 4, the invention has been shown with only a few colors, for example limited to the number of color channels of the digital camera or less, so that the examples remain clear. But it is also possible to combine several different patterns and colors, if you ensure that all resulting mixed colors 10, 12, 13, 14, 27 are clearly defined in the color space and have sufficient distance from each other and from the primary colors, so that the different colors in the image analysis can be reliably separated. Metamerism effects are to be avoided. Finally, FIG. 5 shows an arrangement 30 for generating and detecting patterns on surfaces 31 according to a possible embodiment of the invention. The dedicated sensor 32 has a projector 33 and two digital color cameras 34, 35 as image sensors for the projected pattern. The cameras 34, 35 are aligned to both receive the pattern projected onto the surface 31 by the projector 33. Not shown is a connected to the sensor 32 or recorded in this arithmetic unit for controlling the projector 33 and the color cameras 34, 35 and the corresponding image analysis.
Der dargestellte Sensor 32 eignet sich sowohl für eine Triangulationsmessung als auch für eine Stereomessung. Für die Stereomessung werden beide Kameras 34, 35 benötigt. Die Triangulationsmessung mit einem kalibrierten Projektor 33 ist auch nur mit einer der beiden Kameras 34, 35 realisierbar, so dass ein entsprechender Sensor ggf. auch nur eine Kamera 34 aufweist. The illustrated sensor 32 is suitable both for a triangulation measurement and for a stereo measurement. For the stereo measurement both cameras 34, 35 are needed. The triangulation measurement with a calibrated projector 33 can also be realized only with one of the two cameras 34, 35, so that a corresponding sensor may also have only one camera 34.
Bezugszeichen liste: Reference number list:
1 flächiges Muster 1 flat pattern
2 flächiges Muster  2-area pattern
3 flächiges Muster  3-area pattern
4 erste Musterfarbe (rot), farbiger Musterbereich 4 first pattern color (red), colored pattern area
5 zweite Musterfarbe (grün), farbiger Musterbereich 6 dritte Musterfarbe (blau), farbiger Musterbereich5 second pattern color (green), colored pattern area 6 third pattern color (blue), colored pattern area
7 gemeinsam projiziertes Muster/Bild 7 jointly projected pattern / image
8 nicht farbiger, transparenter Bereich  8 non-colored, transparent area
10 Mischfarbe (violett), farbiger Musterbereich  10 mixed color (purple), colored pattern area
12 Mischfarbe (gelb), farbiger Musterbereich  12 mixed color (yellow), colored pattern area
13 Mischfarbe (dunkel, schwarz), farbiger Musterbereich13 mixed color (dark, black), colored pattern area
14 Mischfarbe (türkis), farbiger Musterbereich 14 mixed color (turquoise), colored pattern area
20 flächiges Muster 20 area pattern
21 flächiges Muster  21 area pattern
22 transparenter Hintergrund 22 transparent background
23 transparenter Hintergrund  23 transparent background
25 erste Musterfarbe  25 first pattern color
26 zweite Musterfarbe  26 second pattern color
27 Mischfarbe  27 mixed color
28 gemeinsam projiziertes Muster/Bild 28 jointly projected pattern / image
30 Anordnung zum Erzeugen und Erfassen von Mustern30 Arrangement for generating and detecting patterns
31 Oberfläche 31 surface
32 Sensor  32 sensor
33 Projektor Farbkamera, Bildaufnahmesensor 33 projector Color camera, image sensor
Farbkamera, Bildaufnahmesensor Muster Color camera, image sensor pattern
Muster template
Muster template
definierte Stelle des Musters in der Projektion Muster defined location of the pattern in the projection pattern
Muster template

Claims

Ansprüche: Claims:
1 . Verfahren zum Erzeugen und Erfassen von Mustern (7, 28) auf einer Oberfläche (31 ), insbesondere für die Vermessung von 2- oder 3-dimensionalen Oberflächen (31 ), bei dem ein flächiges Muster (7, 28) mit einem Projektor (33) auf die Oberfläche (31 ) projiziert und mit mindestens einem in dem Aufnahmeraum kalibrierten Bildaufnahmesensor (34, 35) in einem Bild aufgenommen wird, dadurch gekennzeichnet, dass mehrere verschiedene Muster (1 , 2, 3; 20, 21 ) in der Projektion überlagert werden, wobei jedem Muster (1 , 2, 3; 20, 21 ) eine Musterfarbe (4, 5, 6; 25, 26) zugewiesen ist und sich bei der Überlagerung der verschiedenen Muster (1 , 2, 3; 20, 21 ) Mischfarben (10, 12, 13, 14; 27) ergeben, und dass die Aufnahme des Bildes mit einer Farbkamera (34, 35) als Bildauf- nahmesensor erfolgt. 1 . Method for generating and acquiring patterns (7, 28) on a surface (31), in particular for measuring 2- or 3-dimensional surfaces (31), in which a planar pattern (7, 28) is connected to a projector (33 ) is projected onto the surface (31) and recorded in an image with at least one image acquisition sensor (34, 35) calibrated in the receiving space, characterized in that several different patterns (1, 2, 3, 20, 21) are superposed in the projection with each pattern (1, 2, 3, 20, 21) being assigned a pattern color (4, 5, 6, 25, 26) and overlapping the different patterns (1, 2, 3, 20, 21) Mixed colors (10, 12, 13, 14, 27) result, and that the image is taken with a color camera (34, 35) as an image sensor.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass alle Muster (1 , 2, 3; 20, 21 ) in der Projektion überlagert und als ein einziges Bild (7, 28) auf die Oberfläche (31 ) projiziert werden. 2. The method according to claim 1, characterized in that all the patterns (1, 2, 3, 20, 21) are superimposed in the projection and projected as a single image (7, 28) on the surface (31).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei der Verarbeitung des aufgenommenen Bildes die einzelnen Musterfarben (4, 5, 6; 25, 26) rechnerisch getrennt werden. 3. The method according to claim 1 or 2, characterized in that in the processing of the recorded image, the individual pattern colors (4, 5, 6, 25, 26) are separated by calculation.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl der verschiedenen Muster (1 , 2, 3; 20, 21 ) kleiner oder gleich der Anzahl der Farbkanäle der Farbkamera (34, 35) gewählt werden. 4. The method according to any one of the preceding claims, characterized in that the number of different patterns (1, 2, 3, 20, 21) less than or equal to the number of color channels of the color camera (34, 35) are selected.
5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Anzahl der verschiedenen Muster (1 , 2, 3; 20, 21 ) größer als die Anzahl der Farbkanäle der Farbkamera (34, 35) gewählt werden. 5. The method according to any one of claims 1 to 3, characterized in that the number of different patterns (1, 2, 3, 20, 21) are greater than the number of color channels of the color camera (34, 35) are selected.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Muster (1 , 2, 3; 20, 21 ) ein binäres Muster verwendet wird. 6. The method according to any one of the preceding claims, characterized in that as a pattern (1, 2, 3, 20, 21), a binary pattern is used.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge- kennzeichnet, dass als Muster ein Muster mit einem Helligkeitsverlauf verwendet wird. 7. The method according to any one of the preceding claims, character- ized in that a pattern with a brightness gradient is used as a pattern.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für ein Muster mit Helligkeitsverlauf eine Korrektur unterschiedlicher Reflexionseigen- Schäften der Oberfläche an verschiedenen Oberflächenpositionen bei der Ermittlung der Helligkeit durchgeführt wird. 8. The method according to claim 7, characterized in that for a pattern with brightness curve, a correction of different reflection properties of the surface shafts at different surface positions in the determination of the brightness is performed.
9. Verwendung eines Verfahrens zum Erzeugen und Erfassen von Mustern (7, 28) auf einer Oberfläche (31 ) nach einem der Ansprüche 1 bis 8 bei der Durchführung einer Triangulationsmessung und/oder einer Stereomessung einer Oberfläche. 9. Use of a method for generating and detecting patterns (7, 28) on a surface (31) according to one of claims 1 to 8 when performing a triangulation measurement and / or a stereo measurement of a surface.
10. Sensor zum Erzeugen und Erfassen von Mustern (7, 28) auf einer Oberfläche (13) mit mindestens einem Projektor (33) zur Projektion eines Musters (7, 28) auf die Oberfläche (31 ), mindestens einer Farbkamera (34, 35) als Bildaufnahmesensor zur Aufnahme des projizierten Musters (7, 28) und mindestens einer Recheneinheit zur Ansteuerung des Projektors (33) und der Farbkamera (34, 35), dadurch gekennzeichnet, dass der Prozessor der Recheneinheit dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 auszufüh- ren. 10. Sensor for generating and detecting patterns (7, 28) on a surface (13) with at least one projector (33) for projecting a pattern (7, 28) on the surface (31), at least one color camera (34, 35 ) as an image sensor for receiving the projected pattern (7, 28) and at least one arithmetic unit for controlling the projector (33) and the color camera (34, 35), characterized in that the processor of the arithmetic unit is adapted to a method according to one of Execute claims 1 to 9 ren.
1 1 . Sensor nach Anspruch 10, dadurch gekennzeichnet, dass der Projektor (33) eine Projektionsvorrichtung ist, die ein auf einem Projektionsträger angeordnetes Muster (7, 28) auf die 3-dimensionale Oberfläche projiziert. 1 1. Sensor according to claim 10, characterized in that the projector (33) is a projection device which projects a pattern (7, 28) arranged on a projection carrier onto the 3-dimensional surface.
12. Sensor nach Anspruch 1 1 , dadurch gekennzeichnet, dass der Projektionsträger mehrere Farbdias aufweist, wobei jeweils ein Muster (1 , 2, 3; 20, 21 ) auf eine transparente Trägerfolie als Farbdia aufgebracht ist und mehrere Farbdias übereinandergelegt den Projektionsträger bilden. 12. Sensor according to claim 1 1, characterized in that the projection carrier has a plurality of color slides, wherein in each case a pattern (1, 2, 3, 20, 21) is applied to a transparent carrier film as a color slide and a plurality of color slides superimposed form the projection carrier.
13. Sensor nach Anspruch 1 1 , dadurch gekennzeichnet, dass der Projektionsträger ein durchleuchtbarer Bildschirm ist und die Muster (1 , 2, 3; 20, 21 ) durch eine auf der Recheneinheit ebenenbasierte Bilderzeugungssoftware erzeugt werden, wobei die Bilderzeugungssoftware dazu eingerichtet ist, ein Muster (1 , 2, 3; 20, 21 ) in einer Ebene darzustellen, eine optische Projektion bei dem Übereinanderlegen von Ebenen zu simulieren und das Simulationsergebnis auf dem durchleuchtbaren Bildschirm darzustellen. 13. A sensor according to claim 11, characterized in that the projection carrier is a transilluminable screen and the patterns (1, 2, 3, 20, 21) are generated by a plane-based on the computing unit imaging software, wherein the image forming software is adapted to a To represent patterns (1, 2, 3, 20, 21) in a plane, to simulate an optical projection in the superposition of planes and to display the simulation result on the transilluminable screen.
14. Sensor nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass der Bildaufnahmesensor zwei in dem gemeinsamen Aufnahmeraum kalibrierte Farbkameras (34, 35) umfasst, welche den im Wesentlichen selben Bereich des projizierten Musters (7, 28) aufnehmen. 14. Sensor according to one of claims 10 to 13, characterized in that the image sensor comprises two in the common receiving space calibrated color cameras (34, 35) which receive the substantially same area of the projected pattern (7, 28).
PCT/EP2015/057071 2014-04-07 2015-03-31 Method and sensor for generating and detecting patterns on a surface WO2015155070A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014104903.9 2014-04-07
DE102014104903.9A DE102014104903A1 (en) 2014-04-07 2014-04-07 Method and sensor for generating and detecting patterns on a surface

Publications (1)

Publication Number Publication Date
WO2015155070A1 true WO2015155070A1 (en) 2015-10-15

Family

ID=52807807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/057071 WO2015155070A1 (en) 2014-04-07 2015-03-31 Method and sensor for generating and detecting patterns on a surface

Country Status (2)

Country Link
DE (1) DE102014104903A1 (en)
WO (1) WO2015155070A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109751973A (en) * 2017-11-01 2019-05-14 欧姆龙株式会社 Three-dimensional measuring apparatus, method for three-dimensional measurement and storage medium
CN109789706A (en) * 2016-09-27 2019-05-21 惠普发展公司，有限责任合伙企业 Print pattern and its algorithm for automatic ink hybrid detection
US11176708B2 (en) * 2019-11-21 2021-11-16 Ifm Electronic Gmbh Camera and method for checking an alignment of such a camera
US11867630B1 (en) 2022-08-09 2024-01-09 Glasstech, Inc. Fixture and method for optical alignment in a system for measuring a surface in contoured glass sheets
US12079980B2 (en) 2018-07-24 2024-09-03 Glasstech, Inc. System and method for measuring a surface in contoured glass sheets

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401145B2 (en) 2016-06-13 2019-09-03 Carl Zeiss Industrielle Messtechnik Gmbh Method for calibrating an optical arrangement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010002695A1 (en) * 1999-12-01 2001-06-07 Yuji Takata 3D shape measurement method and device using the same
US20120229816A1 (en) * 2009-11-04 2012-09-13 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
WO2013132494A1 (en) * 2012-03-09 2013-09-12 Galil Soft Ltd System and method for non-contact measurement of 3d geometry
US20140028800A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US6700669B1 (en) * 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010002695A1 (en) * 1999-12-01 2001-06-07 Yuji Takata 3D shape measurement method and device using the same
US20120229816A1 (en) * 2009-11-04 2012-09-13 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
WO2013132494A1 (en) * 2012-03-09 2013-09-12 Galil Soft Ltd System and method for non-contact measurement of 3d geometry
US20140028800A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PEISEN S. HUANG: "Color-encoded digital fringe projection technique for high-speed three-dimensional surface contouring", OPTICAL ENGINEERING, vol. 38, no. 6, 1 June 1999 (1999-06-01), pages 1065, XP055192076, ISSN: 0091-3286, DOI: 10.1117/1.602151 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109789706A (en) * 2016-09-27 2019-05-21 惠普发展公司，有限责任合伙企业 Print pattern and its algorithm for automatic ink hybrid detection
CN109751973A (en) * 2017-11-01 2019-05-14 欧姆龙株式会社 Three-dimensional measuring apparatus, method for three-dimensional measurement and storage medium
CN109751973B (en) * 2017-11-01 2020-12-11 欧姆龙株式会社 Three-dimensional measuring device, three-dimensional measuring method, and storage medium
US12079980B2 (en) 2018-07-24 2024-09-03 Glasstech, Inc. System and method for measuring a surface in contoured glass sheets
US11176708B2 (en) * 2019-11-21 2021-11-16 Ifm Electronic Gmbh Camera and method for checking an alignment of such a camera
US11867630B1 (en) 2022-08-09 2024-01-09 Glasstech, Inc. Fixture and method for optical alignment in a system for measuring a surface in contoured glass sheets

Also Published As

Publication number Publication date
DE102014104903A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
EP3278302B1 (en) Motion-measuring system of a machine and method for operating the motion-measuring system
DE102012112322B4 (en) Method for optically scanning and measuring an environment
DE102012112321B4 (en) Device for optically scanning and measuring an environment
WO2015155070A1 (en) Method and sensor for generating and detecting patterns on a surface
DE102008002730B4 (en) Method and device for 3D reconstruction
DE19983341B4 (en) Method and device for acquiring stereoscopic images using image sensors
DE102013013791B4 (en) Method and device for non-contact measurement of surface contours
DE202012104890U1 (en) Device for optically scanning and measuring an environment
DE19637682B4 (en) Method for determining the spatial coordinates of objects and / or their temporal change and device for applying this method
WO2010094658A1 (en) Monitoring of tiltable mirrors
WO2017220598A1 (en) Method for the three dimensional measurement of moving objects during a known movement
DE102008002725B4 (en) Method and device for 3D reconstruction
EP0449859B1 (en) Process and device for observing moire patterns on test surfaces by moireing with phase shifts
DE2210681C3 (en) Device for non-contact measurement
DE102017112976B4 (en) Method for calibrating an optical arrangement of a coordinate measuring machine
EP1485670A2 (en) Method and device for determining the absolute coordinates of an object
EP2799810A1 (en) Apparatus and method for simultaneous three-dimensional measuring of surfaces with multiple wavelengths
EP3158285B1 (en) Method for determining a spatial displacement vector field
DE102015208087A1 (en) Method for generating a reflection-reduced contrast image and related devices
DE102009018464A1 (en) Optical sensor for use in automation engineering for quality control in production process, has evaluation unit to evaluate output signals of flat camera, where information of surface and form detection are brought together in unit
DE19626889A1 (en) Procedure for determining object geometry via multi=position 3d=sensor
DE102009017465B4 (en) A method and apparatus for optically inspecting an at least partially reflective surface on an article
EP3274652B1 (en) Fringe projection method, fringe projection device, and computer program product
DE102006061712A1 (en) Distance image generating method for use in e.g. robotics, involves illuminating scene with random- or pseudo random pattern i.e. stripe pattern, and modulating pattern in displacement direction and in direction of epipolar lines
EP3089105A1 (en) Method for generating a contrast image of an object quality and related devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15713880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15713880

Country of ref document: EP

Kind code of ref document: A1