WO2023099568A1 - Photometrisches stereoverfahren zum abtasten einer oberfläche, verfahren zum normieren einer abtastvorrichtung für ein photometrisches stereoverfahren und abtastvorrichtung für ein photometrisches stereoverfahren - Google Patents

Photometrisches stereoverfahren zum abtasten einer oberfläche, verfahren zum normieren einer abtastvorrichtung für ein photometrisches stereoverfahren und abtastvorrichtung für ein photometrisches stereoverfahren Download PDF

Info

Publication number
WO2023099568A1
WO2023099568A1 PCT/EP2022/083856 EP2022083856W WO2023099568A1 WO 2023099568 A1 WO2023099568 A1 WO 2023099568A1 EP 2022083856 W EP2022083856 W EP 2022083856W WO 2023099568 A1 WO2023099568 A1 WO 2023099568A1
Authority
WO
WIPO (PCT)
Prior art keywords
scanning
line
pixel
normalization
illumination
Prior art date
Application number
PCT/EP2022/083856
Other languages
English (en)
French (fr)
Inventor
Sebastian Georgi
Timo ECKHARD
Original Assignee
Chromasens Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chromasens Gmbh filed Critical Chromasens Gmbh
Publication of WO2023099568A1 publication Critical patent/WO2023099568A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Definitions

  • Photometric stereo method for scanning a surface method for normalizing a scanning device for a photometric stereo method and scanning device for a photometric stereo method
  • the present invention relates to a photometric stereo method for scanning a surface with a line camera and several lighting devices that illuminate a line-shaped scanning area from different directions, a method for normalizing a scanning device for a photometric stereo method, and a scanning device for a photometric stereo method.
  • a photometric stereo method is derived from [1], with which the local curvature of a surface is determined from several images that have been recorded with different lighting conditions. With this method, the surface topology can be recorded very precisely, whereby even small features can be reliably measured. Small features such as holes, protrusions, scratches or the like can be detected much more specifically and reliably with this method than is possible with other 3D systems such as stereo cameras, methods with structured light, etc. with the same optical resolution.
  • the object to be scanned is illuminated from different directions and recorded with a camera. Since the light intensity depends on the respective angle of inclination of the scanned image point of the object and the angle of incidence of the light shining on the object, different brightness values result depending on the inclination of the image point.
  • the normal vector of the respective pixel can be determined from these different brightness values.
  • the entire surface structure or surface topology can be generated by integrating the measured inclination of the individual pixels, with errors adding up during the integration, which is why this is practically only suitable for displaying local curvatures.
  • the invention is based on the object of further developing this known method in such a way that the surface of an object can be scanned quickly and reliably with a simple scanning device, with even small structures being recorded accurately and precisely.
  • a further object of the invention is to provide a scanning device suitable for this purpose.
  • a surface is illuminated with a line camera and several lighting devices, which illuminate a line-shaped scanning area from different directions, with several line images being recorded of an object located in the scanning area, in which the lighting directions are aligned differently to the object , and for each pixel of the scanned surface a surface normal n e is determined with the following steps:
  • a line camera is used to scan the surface of an object.
  • a line scan camera compared to an area scan camera is that objects can be continuously monitored on production lines or the like, and the objects can be scanned with very high resolution. At the same time, the number of computing operations required for the reconstruction is small compared to other known methods. Because a line sensor only scans pixels in a single dimension, the total number of pixels is small compared to an area scan camera, but the resolution along the line is very high. Higher scanning rates can thus be achieved with a line camera than with an area camera, which is particularly advantageous for monitoring moving goods along production lines or the like.
  • line cameras are generally operated at a high scanning frequency in order to generate a large number of line images from the surface of an object to be scanned, which is moved with respect to the line camera, and these images can be combined to form a surface image.
  • a high sampling frequency or sampling rate means that the exposure time for each individual line is very short. This requires that the surface to be scanned be performed with an illuminator that emits high intensity light. A point light source is generally not suitable for this.
  • an extended light source for example a linear light source or a planar light source
  • the formulas on which the photometric stereo method is based do not produce correct results because they assume a point light source.
  • extended light sources can also be used, for example by dividing the extended light source into small segments, which could be regarded as point light sources, from which the respective intensities are calculated and then the several calculations are superimposed. This would work in principle, since the principle of superposition applies. In practice, however, this is an immense computing effort during operation, which can possibly be managed by a high-performance computer, but is not suitable for everyday industrial use.
  • an extended illumination device is used.
  • An extended illuminator is an illuminator that cannot be considered point-like for the purposes of the mathematics underlying the photometric method.
  • Extensive lighting devices are generally linear or flat lighting devices. In this way, higher light intensities can be achieved in a simple manner than with punctiform lighting devices.
  • the extended illumination device is reduced to a virtual illumination point in order to calculate the surface normal of a specific pixel x.
  • These virtual illumination points of an illumination device can differ for the individual pixels x to be scanned.
  • the inventors have recognized that there is not a single "focus" of the extended lighting device with which the surface to be scanned is illuminated, but that depending on the illuminated pixel of the surface to be scanned, the individual areas of the lighting device emit light of different strengths to this pixel of the surface radiate and, from the point of view of the image point of the surface, the “centre of gravity” of the incident light shifts away from the lighting device.
  • directional vectors that describe the direction in which the light is radiated to the respective pixel x are calculated using an approximation function, with the approximation function describing the direction from the respective virtual illumination point to the pixel to be scanned.
  • the well-known mathematics for photometric stereo methods can also be used for extended lighting devices.
  • a number of line images are recorded with a line camera and a number of illumination devices, in which the illumination devices are aligned differently from the line-shaped scanning area.
  • line images are obtained in which the illumination direction and the scanning direction are aligned differently to one another, so that the individual line images contain the necessary information for determining the normal vectors of the individual pixels.
  • This stereo photometric method can be easily performed with high resolution and in real time. With this, the smallest deviations on a surface of an object to be scanned can be reliably detected.
  • the multiple differently illuminated images can be captured and then evaluated accordingly with a single relative movement between the object to be scanned and the scanning device.
  • the normalization factors can be read from a look-up table. This greatly simplifies the calculation of the surface normals.
  • the approximation function can have one or more polynomials, with which one or more coordinates of the direction vectors are calculated, with a separate approximation function and a separate set of normalization factors being provided for all combinations of line cameras and illumination device.
  • the preferred method uses a single line scan camera and a plurality of illuminators which independently and sequentially alternately illuminate a scanning area with flashlight, producing a set of line images which have each been sequentially recorded with a different illuminator.
  • the line images of an object area, which are recorded with different lighting devices, are initially slightly offset from one another, which is also referred to as "interleaved". This entanglement can be eliminated by the line images of such a set of line images being interpolated or registered with one another in such a way that a particular pixel of the line images of the set of line images has the corresponding brightness information from the same location, ie that the line images of such a set of line images lie exactly one on top of the other.
  • a further aspect of the invention relates to a method for normalizing a scanning device for a photometric stereo method for scanning a surface with a line camera and a number of lighting devices which illuminate a line-shaped scanning area from different directions, with a number of line images being recorded of an object located in the scanning area .
  • the procedure includes the following steps:
  • a scanning device which has several lighting devices and a line camera, can be standardized in such a way that the scanning device can be used in a simple manner in a photometric stereo method.
  • the photometric evaluation of the line images can take place in real time.
  • steps a) to c) can be repeated at least once, with the normalization factors qx) being recalculated using the optimized approximation function.
  • a further aspect of the present invention relates to a scanning device for a photometric stereo method for scanning a surface with a line camera and a plurality of extended lighting devices which are arranged in such a way that they illuminate a line-shaped scanning area from different directions, with a control device being provided and designed in such a way that several line images of the same object area are recorded from an object located in the scanning area, and a surface normal n e is determined for each pixel with the following steps:
  • the extended lighting devices are preferably linear lighting devices.
  • FIG. 1 shows a schematic perspective view of a scanning device for carrying out the photometric stereo method according to the invention.
  • FIG. 1 An exemplary embodiment of a scanning device 1 according to the invention is shown schematically in FIG.
  • This scanning device 1 has a line camera 2 and 4 lighting devices 3/1 to 3/4.
  • the line camera 2 is a color camera which has 3 sensor lines for the colors red, green and blue.
  • a suitable color line camera is, for example, the allPIXA evo 15k from the applicant, which has 15,063 pixels and can scan at a line rate of up to 49 kHz.
  • the lighting devices 3/1 -3/4 are line-shaped lighting devices which are all arranged with their light cones directed towards a common scanning area 4 .
  • the lighting devices 3 have a large number of light-emitting diodes, which are arranged along a line. With this, the line-shaped scanning area 4 can be completely illuminated with high light intensity.
  • a movement device (not shown) is provided, which moves an object s to be scanned with respect to the scanning device 1 along a transport direction 6 .
  • a coordinate system is defined, with the X axis running parallel to the scanning area 4, the Y axis parallel to the transport direction 6 and the Z axis perpendicular to the X and Y axes.
  • the expression “pixel x” designates a point of the object 5 to be scanned which has the X coordinate “x”. This point is sampled with camera 2, which is why this point is referred to as a "pixel”.
  • the line camera 2 is arranged with its optical axis 7 perpendicular to the transport direction 6 .
  • the linear scanning area 4, which is determined by the field of view of the line camera 2, runs transversely to the transport direction 6.
  • the optical axis 7 of the line camera 2 can also be arranged at an angle deviating from 90° with respect to the transport direction 6, the angle being as small as possible is not less than 30° or not more than 150° or not less than 45° and not more than 135°.
  • Two of the lighting devices 3/1 and 3/2 are slightly above the scanning area 4 and in the transport direction 6 in front of the scanning area 4 and two of the lighting devices 3/3 and 3/4 are in the transport direction 6 behind the scanning area 4 and a little above the scanning area 4 arranged. All lighting devices 3/1 -3/4 are aligned so that they illuminate the scanning area 4, ie that the line-shaped lighting devices 3 parallel to the line-shaped Scanning area 4 are arranged. With respect to a center point of the scanning area 4, the line-shaped illumination devices 3 are each laterally offset by a piece.
  • the lighting devices 3 are aligned with mirror symmetry to a plane which runs perpendicularly to the transport direction 6 and in which the linear scanning area 4 is contained. Furthermore, the lighting devices 3 are arranged mirror-symmetrically to a plane which runs through the center point of the scanning area 4 and is perpendicular to the scanning area 4 .
  • a transport plane 8 is defined by the transport direction 6 and the scanning area 4 .
  • the radiation directions d of the individual lighting devices 3 each enclose the same angle a with the transport plane 8 .
  • Lighting that is too flat should be avoided, because then contours create very long shadows that impair the evaluation. Therefore, the angle a should be at least 30° or at least 45° and not more than 150° or 135°.
  • Illumination that is too steep should also be avoided, because then the shadows produced thereby are very small, reducing the accuracy of the method if all illuminators are directed very steeply towards the object..
  • the angle a of at least one of the illuminators preferably not in the range from 75° to 105° or not in the range from 60° to 120°. It can also be expedient that at least two of the lighting devices or all of the lighting devices are arranged at an angle a which is not in the range of 75° to 105° or not in the range of 60° to 120°.
  • the lighting devices 3/1 to 3/4 are arranged symmetrically to each other.
  • the lighting devices 3/1 -3/4 and the line camera 2 are connected to a central control device 9 . Furthermore, an instrument transmitter 10 is provided, which measures the transport speed and is connected to the central control device 9 . Depending on the transport speed, the central control device 9 sets the scanning rate at which the camera captures the objects 5 to be scanned.
  • a central control device 9 has an FPGA in order to process the image data stream generated by the line camera in real time.
  • the central control device has a processor device (for example from the Xilinx Zynq UltraScale+ MPSoC series) with which the photometric stereo method is carried out in real time.
  • the general basic principle of the photometric stereo method is based on the fact that different illuminations with point light sources of a certain point of an object to be scanned result in different brightness values for this point, which depend exclusively on the light incidence direction d of the point light sources and the normal vector n of the point to be scanned. This results in the following equation for the light intensities J of the scanned point of the object.:
  • This equation applies to Lambertian surfaces, i.e. surfaces that diffusely reflect light.
  • the angle of the sensor's line of sight, with which the scanning area 4 of the scanned object is scanned, is therefore irrelevant, provided it lies within a certain angular range in which the surface to be scanned has an almost Lambertian reflection property.
  • This approximation function can be as follows for an area sensor:
  • the X and Y coordinates of the illumination direction are each third by a polynomial
  • Grades are shown with the parameters a to d or e to h and the Z coordinate is set to "1".
  • a suitable approximation function for the linear lighting devices 3/1 -3/4 is:
  • the X coordinate of the illumination direction d is represented by a third degree polynomial with the parameters a to d.
  • the Y-coordinate is a constant that results from the angle of incidence a in relation to the value "1" of the Z-coordinate.
  • the parameter ei...m can thus be measured on the scanning device 1 and defined once.
  • the parameters a to d are determined using an optimization method, as explained in more detail below.
  • the parameters a to d can be selected as desired, it being advantageous for rapid optimization to select the parameters in such a way that they are as similar as possible to the optimized parameters.
  • other directions can also be initially set, it being at least expedient for the direction to point from a point on the lighting device in the direction of the respective pixel x.
  • the measured exposure values are normalized.
  • This normalization can also be referred to as calibration, because corresponding exposure values are first measured using a normalization template for different tilt and tilt angles.
  • a planar, white normalization template with an albedo of almost one is used as the normalization template. This means that the normalized template reflects light diffusely and has an almost perfect Lambertian surface.
  • This normalization template is arranged in the scanning device 1 in the scanning area 4 . In this case, it is arranged with different tilt angles, with the normalization original being tilted about the scanning area 4 or about the X-axis.
  • the normalization template is also arranged at different angles of inclination, the normalization template here being inclined about an axis parallel to the transport direction 6 or parallel to the Y-axis.
  • the respective exposure values Ji(x) for the different image points x are measured.
  • the exposure values can also be referred to as image intensities, since they indicate the light intensity or brightness at the respective pixel. Since the normalization template is planar, the normal vector of the normalization template is identical for all pixels and results from the respective tilt and tilt angle.
  • simulated exposure values l(x) of the pixels x are calculated using the following formula, with the illumination direction vectors d(x) being determined using the above-mentioned approximation function for the linear illumination devices 3/1-3/4.
  • Preliminary normalization factors q : (x) are calculated from these ideal exposure values (x) by dividing the ideal exposure values by the respectively measured exposure values Ji(x). These normalization factors are calculated separately for the different tilt and tilt angles and for the respective pixel x.
  • the photometric stereo method is precise above all in a limited range of altitudes in which the intensity of the illumination is approximately constant (scanning range).
  • care is taken to ensure that only pixels that are in the scanning area are used.
  • the normalization template is tilted, the usable area of the template is therefore reduced to a short area.
  • the data from several images can be combined, with the tilted original being varied in height or shifted along the scanning area.
  • the template can be tilted and tilted at the same time so that there is a line of equal height that can be used for calibration.
  • tilt and tilt angles for which the scanning device is normalized depend on which objects are to be monitored with it. If, for example, deviations in essentially flat objects, such as foils or banknotes, are to be examined, then it is advisable to use small tilt and tilt angles (e.g. from 0° to ⁇ 3° in steps of 0.1° and of ⁇ 3° up to ⁇ 30° in steps of 2° to 5°). In the case of coarser structures, larger angular ranges (e.g. 0° to ⁇ 90°) and generally coarse increments (e.g. from 3° to 10°) can be useful.
  • small tilt and tilt angles e.g. from 0° to ⁇ 3° in steps of 0.1° and of ⁇ 3° up to ⁇ 30° in steps of 2° to 5°.
  • coarser structures larger angular ranges (e.g. 0° to ⁇ 90°) and generally coarse increments (e.g. from 3° to 10°) can be useful.
  • the final normalization factors are determined from these preliminary normalization factors by averaging all preliminary normalization factors for a specific pixel x over all tilt and tilt angles according to the following formula:
  • the normal vectors n e (x) can be determined using the illumination direction vectors given by the approximation function:
  • the calculated normal vectors n e (x) initially deviate from the specified normal vectors rik x that were generated with the normalization template arranged at different tilt and tilt angles.
  • the deviation or the error between the calculated and the ideal normal vectors is used as a measure for the optimization, with the coefficients of the approximation function for the illumination direction vectors being adjusted during the optimization and the normalization factors being recalculated with the correspondingly adjusted illumination direction vectors.
  • a simplex method is used as the optimization method.
  • the simplex method is described, for example, in the following publication:
  • This optimization is preferably repeated until the error e is less than 0.05 and in particular less than 0.01 for all pixels X.
  • the photometric stereo method can then also be carried out with a line camera with little computing power, as will be explained in more detail below.
  • the object 5 to be monitored is moved in the direction of transport 6 through the line-shaped scanning area 4 , being scanned successively with the line camera 2 .
  • the central control device 9 controls the line camera 2 in such a way that the individual line images scan the object 5 at the same spatial distance, so that the individual line images can be combined to form a surface image that does not show the object distorted.
  • the lighting devices 3/1 -3/4 are controlled by the central control device 9 in such a way that a single one of the lighting devices 3/1 -3/4 lights up when a line image is scanned.
  • the lighting devices 3/1-3/4 are thus controlled to generate a flash light, with the individual lighting devices 3/1-3/4 always flashing in the same order. This produces interleaved line images, since the line images that are recorded with the illumination of the different illumination devices are somewhat offset in relation to one another.
  • a set of line images each containing a line image illuminated with one of the different illuminators 3/1 -3/4, is captured within a very short time interval per image line (or flash pulse) and only the time interval of capturing the individual lines controlled according to the transport speed of the object.
  • This makes it possible to record the n different line images of a set of line images (n 4 in the present exemplary embodiment) with a minimum time interval.
  • a number of interlaced images corresponding to the number of illumination devices are thus obtained, which are initially stored in a buffer memory. The entanglement of the images is then removed in a further step (English: deinterleaved).
  • the normal vectors n for each pixel x can be calculated using the illumination direction vectors d i (x) and the measured exposure values Ji(x).
  • the lighting direction vectors of the individual lighting devices can be stored in a look-up table beforehand.
  • the lighting direction vectors are multiplied by the corresponding normalization factors q,(x) and the resulting matrix is already inverted in the look-up table, so that it only needs to be multiplied by the measured exposure values Ji(x) in order to obtain the corresponding to calculate the normal vector n e (x).
  • Colors can be assigned to the individual normal vectors in a color coding step, so that the scanned object is output as a false color image, with changes in the normal vectors being clearly visible as color changes in the image. This means that small bumps, holes, dents or scratches can be reliably detected.
  • the photometric stereo method according to the invention can also be used in combination with a conventional stereo method with which a 3D contour of an object is generated, the method according to the invention then being used primarily for correction in the fine structure.
  • the computing effort of the method is so low that it can be executed directly in a control device integrated in the housing of a line camera.
  • the exemplary embodiment explained above has four linear illumination devices. In principle, it is also possible within the scope of the invention to use planar lighting devices.
  • the symmetrical arrangement used in the above exemplary embodiment with respect to a plane that is perpendicular to the transport direction 6 and in which the scanning area 4 is contained has the advantage that the parameters to be optimized of the illumination devices arranged with mirror symmetry now differ in sign. This reduces the optimization effort.
  • a planar, white normalization template with an albedo of almost 1 is used.
  • other standardization templates can also be used, in particular those with a predetermined contour, which during standardization are then only moved in a straight line with respect to the scanning device without tilting or tilting.
  • the contour and thus the inclination of the individual pixels of the normalization template must be taken into account.
  • interlaced line images of the same object area are recorded with one line camera, i.e. the individual line images are recorded with a time offset and then the interlacing is repeated by interpolation with other line images that have been recorded with the same lighting situation will be annulled.
  • the line images simultaneously with a number of cameras.
  • the lighting of the object must be designed so that it can be clearly assigned to one of the cameras. This can be done, for example, with different color filters, which are only transparent to one spectral range. Corresponding color filters are each arranged on the lighting devices and cameras assigned to one another, so that the individual line images can be recorded simultaneously.
  • the cameras can be represented by a single physical line scan camera, which has multiple lenses, each imaging the scan area onto a portion of the physical line scan camera.

Abstract

Die Erfindung betrifft ein Photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und eine Abtastvorrichtung mit einer solchen Zeilenkamera und ausgedehnten Beleuch-tungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werden, und für einen jeden Bildpunkt eine Oberflächennormale ne mit folgenden Schritten bestimmt wird: Berechnen für einen jeden Bildpunkt x den Normalenvektor ne(x), anhand von i Beleuchtungs-Richtungsvektoren di(x) und normierten, gemessenen Belichtungswerten INi(x) wobei die gemessenen Belichtungswerte Ji(x) mit Normierungsfaktoren qi(x) folgendermaßen normiert werden und die Richtungsvektoren d1 bis dm, welche die Richtung von einer virtuell auf einen Beleuchtungs-punkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bzgl. bekannter Oberflächennormalen einer Normierungsvorlage minimal sind.

Description

Photometrisches Stere overfahren zum Abtasten einer Oberfläche, Verfahren zum Normieren einer Abtastvorrichtunq für ein photometrisches Stereoverfahren und Abtastvorrichtunq für ein photometrisches Stereoverfahren
Die vorliegende Erfindung betrifft ein photometrisches Stere overfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, ein Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren sowie eine Abtastvorrichtung für ein photometrisches Stereoverfahren.
Im Anhang sind Dokumente aufgeführt, die den technischen Hintergrund zur vorliegenden Erfindung wiedergeben.
Aus [1] geht ein photometrisches Stereoverfahren hervor, mit welchem die lokale Krümmung einer Oberfläche aus mehreren Bildern bestimmt wird, die mit unterschiedlichen Beleuchtungsbedingungen aufgenommen worden sind. Mit diesem Verfahren kann die die Oberflächentopologie sehr genau erfasst werden, wobei selbst kleine Merkmale zuverlässig gemessen werden können. Kleine Merkmale, wie Löcher, Vorsprünge, Kratzer oder dergleichen, können mit diesem Verfahren wesentlich gezielter und zuverlässiger festgestellt werden, als dies mit anderen 3D-Systemen, wie zum Beispiel Stereokameras, Verfahren mit strukturiertem Licht, etc. bei gleicher optischer Auflösung möglich ist.
Bei diesem Verfahren wird das abzutastende Objekt aus unterschiedlichen Richtungen beleuchtet und mit einer Kamera aufgenommen. Da die Lichtintensität vom jeweiligen Neigungswinkel des abgetasteten Bildpunktes des Objektes und dem Einfallswinkel des auf das Objekt gestrahlten Lichtes abhängt, ergeben sich je nach Neigung des Bildpunktes unterschiedliche Helligkeitswerte. Aus diesen unterschiedlichen Helligkeitswerten kann der Normalenvektor des jeweiligen Bildpunktes bestimmt werden. Durch Integrieren der gemessenen Neigung der einzelne Bildpunkte kann grundsätzlich die gesamte Oberflächenstruktur bzw. Oberflächentopologie erzeugt werden, wobei sich Fehler bei der Integration aufsummieren, weshalb dies praktisch nur für die Darstellung lokaler Krümmungen geeignet ist.
Das Verfahren gemäß [1] wurde für Oberflächen angewandt, welche einfallende Strahlung nach dem Lambertschen Gesetz reflektieren. In [2] wird dieses Verfahren auch für nicht-Lambert'sche Strahler und in [3] für weitere Lichtquellen weiter entwickelt.
Diese bekannten Verfahren tasten die Objekte jeweils mit einer Flächenkamera ab. Als Lichtquellen werden punktförmige Lichtquellen verwendet, da dies für die Berechnung der Oberflächennormalen notwendig ist.
Der Erfindung liegt die Aufgabe zugrunde, dieses bekannte Verfahren dahingehend weiterzuentwickeln, dass mit einer einfachen Abtastvorrichtung schnell und zuverlässig die Oberfläche eines Objektes abgetastet werden kann, wobei selbst kleine Strukturen genau und präzise erfasst werden.
Eine weitere Aufgabe der Erfindung liegt darin, eine hierfür geeignete Abtastvorrichtung zu schaffen.
Eine oder mehrere der Aufgaben werden durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den jeweiligen Unteransprüchen angegeben.
Mit dem erfindungsgemäßen photometrisches Stereoverfahren wird eine Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder aufgenommen werden, bei welchen jeweils die Beleuchtungsrichtungen unterschiedlich zum Objekt ausgerichtet sind, und für einen jeden Bildpunkt der abgetasteten Oberfläche eine Oberflächennormale ne mit folgenden Schritten bestimmt wird:
Berechnen für jeden Bildpunkt x den Normalenvektor ne(x), anhand von i Beleuchtungsrichtungsvektoren di(x) und normierten, gemessenen Belichtungswerten INi(x),
Figure imgf000004_0001
wobei die gemessenen Belichtungswerte J.(x) mit Normierungsfaktoren q:(x) folgendermaßen normiert werden
Figure imgf000004_0002
und die Beleuchtungsrichtungsvektoren di bis dm, welche die Richtung von einer virtuell auf einem Punkt reduzierten Lichtquellen zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunkti- on in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, und die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichung von derart bestimmten Oberflächennormalen bezüglich bekannter Oberflächennormalen einer Normierungsvorlage minimal ist.
Bei diesem photometrischen Stereoverfahren wird zum Abtasten einer Oberfläche eines Objektes eine Zeilenkamera verwendet.
Der Vorteil einer Zeilenkamera gegenüber einer Flächenkamera ist, dass an Produktionsstraßen oder dergleichen Objekte kontinuierlich überwacht werden können, wobei die Objekte mit sehr hoher Auflösung abgetastet werden können. Gleichzeitig ist die Zahl der benötigten Rechenoperationen für die Rekonstruktion gegenüber anderen bekannten Verfahren gering. Dadurch, dass ein Zeilensensor Bildpunkte lediglich in einer einzigen Dimension abtastet, ist die Gesamtzahl der Bildpunkte im Vergleich zu einer Flächenkamera gering, jedoch die Auflösung entlang der Zeile sehr groß. Mit einer Zeilenkamera lassen sich somit höhere Abtastraten als mit einer Flächenkamera erzielen, was insbesondere zum Überwachen von bewegten Gütern entlang von Produktionsstraßen oder dgl. von Vorteil ist.
Daher werden Zeilenkameras in der Regel mit einer hohen Abtastfrequenz betrieben, um von der Oberfläche eines abzutastenden Objektes, das bezüglich der Zeilenkamera bewegt wird, eine Vielzahl von Zeilenbildern zu erzeugen, die zu einem Flächenbild zusammengefügt werden können. Eine hohe Abtastfrequenz bzw. Abtastrate bedeutet jedoch, dass die Belichtungszeit für jede einzelne Zeile sehr kurz ist. Dies erfordert, dass die abzutastende Oberfläche mit einer Beleuchtungseinrichtung ausgeführt wird, die Licht mit hoher Intensität abgibt. Eine punktförmige Lichtquelle ist in der Regel hierzu nicht geeignet.
Die Eingangs erläuterten bekannten photometrisches Stereoverfahren benötigen jedoch punktförmige Lichtquellen. Mit herkömmlichen punktförmige Lichtquellen ist die Lichtintensität zu gering, um ein photometrisches Stereoverfahren praktisch sinnvoll durchzuführen. Wenn man die Belichtungszeit entsprechend verlängern würde, dann ist die Abtastfrequenz so gering, dass keine sinnvolle Abtastung möglich ist.
Wird hingegen eine ausgedehnte Lichtquelle, beispielsweise eine zeilenförmigen Lichtquelle oder eine flächige Lichtquelle verwendet, dann ergeben die den photometrisches Stereoverfahren zugrunde liegenden Formeln keine korrekten Ergebnisse, denn sie setzen eine punktförmige Lichtquelle voraus. Prinzipiell könnte man die Formeln derart verallgemeinern, dass ausgedehnte Lichtquellen auch verwendet werden können, indem man beispielsweise die ausgedehnte Lichtquelle in kleine Segmente unterteilt, die als punktförmige Lichtquellen betrachtet werden könnten, anhand derer die jeweiligen Intensitäten berechnet werden und dann die mehrere Berechnungen überlagert werden. Dies würde prinzipiell funktionieren, da das Superpositionsprinzip gilt. Praktisch ist dies im laufenden Betrieb hingegen ein immenser Rechenaufwand, der eventuell von einem Hochleistungsrechner bewältigt werden kann, aber für den industriellen Alltag nicht geeignet ist.
Die Erfinder der vorliegenden Erfindung haben zur Lösung dieser Probleme einen anderen Weg eingeschlagen. Bei dem erfindungsgemäßen Verfahren wird eine ausgedehnte Beleuchtungseinrichtung verwendet. Eine ausgedehnte Beleuchtungseinrichtung ist eine Beleuchtungseinrichtung, die im Sinne der dem photometrischen Verfahren zugrunde liegenden Mathematik nicht als punktförmige betrachtet werden kann. Ausgedehnte Beleuchtungseinrichtungen sind in der Regel zeilenförmige oder flächige Beleuchtungseinrichtungen. Hiermit können auf einfache Weise höhere Lichtintensitäten als mit punktförmigen Beleuchtungseinrichtungen erzielt werden.
Die ausgedehnte Beleuchtungseinrichtung wird zur Berechnung der Oberflächennormalen eines bestimmten Bildpunktes x auf einen virtuellen Beleuchtungspunkt reduziert. Diese virtuellen Beleuchtungspunkte einer Beleuchtungseinrichtung können sich für die einzelnen abzutastenden Bildpunkte x unterscheiden. Die Erfinder haben erkannt, dass es nicht einen einzigen „Schwerpunkt“ der ausgedehnten Beleuchtungseinrichtung gibt, mit der die abzutastende Oberfläche ausgeleuchtet wird, sondern dass in Abhängigkeit von dem ausgeleuchteten Bildpunkt der abzutastenden Oberfläche die einzelnen Bereiche der Beleuchtungseinrichtung unterschiedlich starkes Licht zu diesem Bildpunkt der Oberfläche abstrahlen und sich aus Sicht des Bildpunktes der Oberfläche der „Schwerpunkt“ der Lichteinstrahlung von der Beleuchtungseinrichtung verschiebt. Dementsprechend werden erfindungsgemäß Richtungsvektoren, welche die Richtung beschreiben, mit welcher das Licht zu dem jeweiligen Bildpunkt x gestrahlt wird, mittels einer Näherungsfunktion berechnet, wobei die Näherungsfunktion jeweils die Richtung von dem jeweiligen virtuellen Beleuchtungspunkt zu dem abzutastenden Bildpunkt beschreibt. Hierdurch kann die bekannte Mathematik für photometrische Stereoverfahren auch für ausgedehnte Beleuchtungseinrichtungen verwendet werden.
Es hat sich jedoch gezeigt, dass dieser Ansatz allein insbesondere bei größeren ausgedehnten Beleuchtungseinrichtungen unzureichend ist. Betrachtet man eine ausgedehnte Lichtquelle wiederum in kleine Segmente aufgeteilt, so werden Bildpunkte, welche zentral einer ausgedehnten Beleuchtungseinrichtung gegenüberliegend angeordnet sind, von vielen Segmenten gleichzeitig mit hoher Intensität angestrahlt, während Bildpunkte, die am seitlichen Rand angeordnet sind, deutlich weniger intensiv ausgeleuchtet werden. Dies ist grundsätzlich auch bei einer punktförmigen Lichtquelle der Fall, jedoch ergibt sich bei einer ausgedehnten Beleuchtungseinrichtung durch die Überlagerung der mehreren Lichtquellensegmente eine wesentlich komplexere Situation. Um dem Rechnung zu tragen, werden die gemessenen Belichtungswerte mit Normierungsfaktoren normiert. Sowohl die Normierungsfaktoren als auch die Parameter der Näherungsfunktion können vorab bestimmt werden, wie es unten erläutert ist. Hierdurch ergibt sich eine einfache Berechnung der Normalenvektoren der einzelnen Bild- punkte, der abzutastenden Oberfläche eines Objektes, welche mit einer einfachen Prozessoreinrichtung ausführbar ist. Die Prozessoreinrichtung selbst kann in eine Kamera integriert werden, sodass zur Bestimmung der Normalenvektoren der einzelnen Bildpunkte kein separates Computersystem notwendig ist.
Mit dem erfindungsgemäßen Verfahren werden mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen mehrere Zeilenbilder aufgenommen, bei welchen jeweils die Beleuchtungseinrichtungen unterschiedlich zum zeilenförmigen Abtastbereich ausgerichtet sind. Hierbei erhält man Zeilenbilder, bei welchen jeweils die Beleuchtungsrichtung und die Abtastrichtung unterschiedlich zueinander ausgerichtet sind, sodass die einzelnen Zeilenbilder die notwendigen Informationen zur Bestimmung der Normalenvektoren der einzelnen Bildpunkte enthalten.
Dieses photometrisches Stereoverfahren kann auf einfache Art und Weise mit hoher Auflösung und in Echtzeit ausgeführt werden. Hiermit können kleinste Abweichungen an einer Oberfläche eines Abzutastenden Objektes zuverlässig festgestellt werden.
Bei diesem Verfahren können mit einer einzigen Relativbewegung zwischen dem abzutastenden Objekt und der Abtastvorrichtung die mehreren unterschiedlich beleuchteten Bilder erfasst und dann entsprechend ausgewertet werden.
Die Normierungsfaktoren können aus einer Look-Up-Tabelle ausgelesen werden. Dies vereinfacht die Berechnung der Oberflächennormalen erheblich.
Die Näherungsfunktion kann ein oder mehrere Polynome aufweisen, mit welchen eine oder mehrere Koordinaten der Richtungsvektoren berechnet werden, wobei für alle Kombinationen aus Zeilenkameras und Beleuchtungseinrichtung jeweils eine separate Näherungsfunktion und ein separater Satz Normierungsfaktoren vorgesehen sind.
Beim bevorzugten Verfahren werden eine einzige Zeilenkamera und mehrere Beleuchtungseinrichtungen verwendet, welche unabhängig voneinander und aufeinanderfolgen abwechselnd jeweils einen Abtastbereich mit Blitzlicht ausleuchten, wobei ein Satz Zeilenbilder erzeugt wird, welche mit jeweils einer unterschiedlichen der Beleuchtungseinrichtungen aufeinanderfolgend aufgenommen worden sind. Die Zeilenbilder eines Objektbereichs, die mit unterschiedlichen Beleuchtungseinrichtungen aufgenommen werden, sind zunächst etwas zueinander versetzt, was auch als „verschränkt“ (engl.: interleaved) bezeichnet wird. Diese Verschränkung kann aufgehoben werden, indem die Zeilenbilder eines solchen Satzes Zeilenbilder so interpoliert oder miteinander registriert werden, dass jeweils ein bestimmter Bildpunkt der Zeilenbilder des Satzes Zeilenbilder die entsprechende Helligkeitsinformation von dem gleichen Ort aufweist, d.h. dass die Zeilenbilder eines solchen Satzes Zeilenbilder exakt übereinander liegen.
Mit der Aufhebung der Verschränkung wird die Präzision der Bestimmung der Normalenvektoren erhöht.
Bei der Interpolation werden mehrere jeweils mit der gleichen Beleuchtungseinrichtung aufgenommen Zeilenbilder interpoliert. Es wird somit über die Zeilenbilder eines Flächenbildes interpoliert, das mit einer bestimmten Beleuchtungseinrichtung aufgenommen worden ist. Es macht keinen Sinn, Zeilenbilder, welche mit unterschiedlichen Beleuchtungseinrichtung aufgenommen worden sind, miteinander zu interpolieren, da sie prinzipbedingt eine andere Helligkeitsinformation aufweisen.
Ein weiterer Aspekt der Erfindung betrifft Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder aufgenommen werden. Das Verfahren umfasst folgende Schritte:
- Abtasten einer Normierungsvorlage, wobei Zeilenbilder der Normierungsvorlage erzeugt werden, die hierbei mit unterschiedlichen Neigungen und/oder Kippungen gegenüber der Abtastvorrichtung angeordnet ist, so dass der jeweilige Normalenvektor nk aller Punkte der Normierungsvorlage bekannt ist, a) Bestimmen von Normierungsfaktoren q,(x) anhand der gemessenen Belichtungswerte Ji(x) und anhand von simulierten Belichtungswerten li(x), welche anhand einer idealen Normierungsvorlage und den jeweiligen Normalenvektoren berechnet werden, wobei vorläufige Normierungsfaktoren jeweils aus dem Quotienten aus simulierten Belichtungswerten und korrespondierenden gemessenen Belichtungswerten berechnet werden und die vorläufigen Normierungsfaktoren für einen jeden Bildpunkt x gemittelt werden, welche die Normierungsfaktoren bilden, b) Bestimmen von Oberflächennormalen ne der Bildpunkte x anhand der erfassten Zeilenbilder der abgetasteten Normierungsvorlage, wobei zur Berechnung der Oberflächennormalen eine mehrere Parameter enthaltende Näherungsfunktion verwendet wird, mit welcher Richtungsvektoren di bis dm,, welche die Richtung von einer virtuell auf einen Punkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, verwendet werden, c) Optimieren der Parameter der Näherungsfunktion mit einem Optimierungsverfahren.
Mit diesem Verfahren kann eine Abtastvorrichtung, welche mehrere Beleuchtungseinrichtungen und eine Zeilenkamera aufweist, so normiert werden, dass auf einfache Art und Weise die Abtastvorrichtung in einem photometrischen Stereoverfahren eingesetzt werden kann. Hierbei kann die photometrische Auswertung der Zeilenbilder in Echtzeit erfolgen. Bei diesem Normierungsverfahren können die Schritte a) bis c) zumindest einmal wiederholt werden, wobei die Normierungsfaktoren q x) mit Hilfe der optimierten Näherungsfunktion erneut berechnet werden.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft eine Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren ausgedehnten Beleuchtungseinrichtungen, welche derart angeordnet sind, dass sie einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei eine Steuereinrichtung vorgesehen und derart ausgebildet ist, dass von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werden, und für einen jeden Bildpunkt eine Oberflächennormale ne mit folgenden Schritten bestimmt wird:
Berechnen für einen jeden Bildpunkt x den Normalenvektor ne(x), anhand von i Beleuchtungs- Richtungsvektoren di(x) und normierten, gemessenen Belichtungswerten INi(x)
Figure imgf000009_0001
wobei die gemessenen Belichtungswerte J.(x) mit Normierungsfaktoren q:(x) folgendermaßen normiert werden
Figure imgf000009_0002
und die Richtungsvektoren di bis dm, welche die Richtung von einer virtuell auf einen Beleuchtungspunkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bzgl. bekannter Oberflächennormalen einer Normierungsvorlage minimal sind.
Mit einer solchen Abtastvorrichtung kann schnell und zuverlässig die Oberfläche eines Objektes abgetastet werden, wobei selbst kleinste Strukturen genau und präzise erkannt werden.
Die ausgedehnten Beleuchtungseinrichtungen sind vorzugsweise zeilenförmige Beleuchtungseinrichtungen.
Die Erfindung wird nachfolgend beispielhaft näher anhand der Zeichnungen erläutert. Die Zeichnung zeigt in: Figur 1 schematisch eine Abtastvorrichtung zum Ausführen des erfindungsgemäßen photometrischen Stereoverfahrens in perspektivischer Ansicht.
Ein Ausführungsbeispiel einer erfindungsgemäßen Abtastvorrichtung 1 ist in Figur 1 schematisch gezeigt. Diese Abtastvorrichtung 1 weist eine Zeilenkamera 2 und 4 Beleuchtungseinrichtungen 3/1 bis 3/4 auf.
Die Zeilenkamera 2 ist eine Farbkamera, welche 3 Sensorzeilen für die Farben rot, grün und blau aufweist. Eine geeignete Farbzeilenkamera ist beispielsweise die allPIXA evo 15k von der Anmelderin, welche 15.063 Bildpunkte aufweist und mit einer Zeilenrate von bis zu 49 kHz abtasten kann.
Die Beleuchtungseinrichtungen 3/1 -3/4 sind zeilenförmige Beleuchtungseinrichtungen, welche mit ihren Lichtkegeln alle auf einen gemeinsamen Abtastbereich 4 gerichtet angeordnet sind. Die Beleuchtungseinrichtungen 3 weisen eine Vielzahl von Leuchtdioden auf, welche entlang einer Linie angeordnet sind. Hiermit kann der zeilenförmigen Abtastbereich 4 mit hoher Lichtintensität vollständig ausgeleuchtet werden.
Weiterhin ist eine Bewegungseinrichtung (nicht dargestellt) vorgesehen, welche ein abzutastendes Objekt s bezüglich der Abtastvorrichtung 1 entlang einer Transportrichtung 6 bewegt.
Zur einfacheren Beschreibung der Erfindung wird ein Koordinatensystem festgelegt, wobei die X- Achse parallel zum Abtastbereich 4, die Y-Achse parallel zur Transportrichtung 6 und die Z-Achse senkrecht zu der X- und Y-Achse verläuft. Mit dem Ausdruck „Bildpunkt x“ wird ein Punkt des abzutastenden Objektes 5 bezeichnet, der die X-Koordinate „x“ aufweist. Dieser Punkt wird mit der Kamera 2 abgetastet, weshalb dieser Punkt als „Bildpunkt“ bezeichnet wird.
Im vorliegenden Ausführungsbeispiel ist die Zeilenkamera 2 mit ihrer optischen Achse 7 senkrecht zur Transportrichtung 6 angeordnet. Der zeilenförmige Abtastbereich 4, der durch das Blickfeld der Zeilenkamera 2 bestimmt wird, verläuft quer zur Transportrichtung 6. Die Zeilenkamera 2 kann mit ihrer optischen Achse 7 jedoch auch unter einem von 90° abweichenden Winkel bezüglich der Transportrichtung 6 angeordnet sein, wobei der Winkel möglichst nicht kleiner als 30° bzw. nicht größer als 150° bzw. nicht kleiner als 45° und nicht größer als 135° ist.
Zwei der Beleuchtungseinrichtungen 3/1 und 3/2 sind etwas oberhalb des Abtastbereichs 4 und in Transportrichtung 6 vor dem Abtastbereich 4 und zwei der Beleuchtungseinrichtungen 3/3 und 3/4 sind in Transportrichtung 6 hinter dem Abtastbereich 4 und ein Stück oberhalb des Abtastbereichs 4 angeordnet. Alle Beleuchtungseinrichtungen 3/1 -3/4 sind so ausgerichtet, dass sie den Abtastbereich 4 ausleuchten, d.h., dass die zeilenförmigen Beleuchtungseinrichtungen 3 parallel zum zeilenförmigen Abtastbereich 4 angeordnet sind. Bezüglich eines Mittelpunktes des Abtastbereichs 4 sind die zeilenförmigen Beleuchtungseinrichtung 3 jeweils um ein Stück seitlich versetzt.
Im vorliegenden Ausführungsbeispiel sind die Beleuchtungseinrichtungen 3 spiegelsymmetrisch zu einer Ebene, die senkrecht zur Transportrichtung 6 verläuft und in der der zeilenförmigen Abtastbereich 4 enthalten ist, ausgerichtet. Weiterhin sind die Beleuchtungseinrichtungen 3 spiegelsymmetrisch zu einer Ebene angeordnet, die durch den Mittelpunkt des Abtastbereich 4 verläuft und senkrecht zum Abtastbereich 4 steht.
Eine Transportebene 8 ist durch die Transportrichtung 6 und den Abtastbereich 4 definiert. Im vorliegenden Ausführungsbeispiel schließen die Abstrahlungsrichtungen d der einzelnen Beleuchtungseinrichtungen 3 jeweils den gleichen Winkel a mit der Transportebene 8 ein. Eine zu flache Beleuchtung sollte vermieden werden, denn dann erzeugen Konturen sehr lange Schatten, welche die Auswertung beeinträchtigen. Daher sollte der Winkel a zumindest 30° bzw. zumindest 45° und nicht mehr als 150° bzw. 135° betragen. Es sollte auch eine zu steile Beleuchtung vermieden werden, denn dann sind die hierdurch erzeugten Schatten sehr gering, wodurch die Genauigkeit des Verfahrens verringert wird, wenn alle Beleuchtungseinrichtungen sehr steil auf das Objekt gerichtet sind.. Daher sollte der Winkel a von zumindest einer der Beleuchtungseinrichtungen vorzugsweise nicht im Bereich von 75° bis 105° bzw. nicht im Bereich von 60° bis 120° liegen. Es kann auch zweckmäßig sein, dass zumindest zwei der Beleuchtungseinrichtungen bzw. alle Beleuchtungseinrichtungen mit einem Winkel a angeordnet sind, der nicht im Bereich von 75° bis 105° bzw. nicht im Bereich von 60° bis 120° liegt.
Bei dem vorliegenden Ausführungsbeispiel sind, wie es oben erläutert ist, die Beleuchtungseinrichtungen 3/1 bis 3/4 symmetrisch zueinander angeordnet. Es kann jedoch auch zweckmäßig sein, die einzelnen Beleuchtungseinrichtungen mit unterschiedlichen Neigungen gegenüber der Transportebene 8 anzuordnen, um unterschiedliche Empfindlichkeiten bezüglich der Neigung der einzelne Bildpunkte zu erzielen, wie es unten näher erläutert wird.
Die Beleuchtungseinrichtungen 3/1 -3/4 und die Zeilenkamera 2 sind mit einer zentralen Steuereinrichtung 9 verbunden. Weiterhin ist ein Instrumentalgeber 10 vorgesehen, der die Transportgeschwindigkeit misst und mit der zentralen Steuereinrichtung 9 verbunden ist. In Abhängigkeit von der Transportgeschwindigkeit wird von der zentralen Steuereinrichtung 9 die Abtastrate eingestellt, mit welcher die Kamera die abzutastenden Objekte 5 erfasst.
Im vorliegenden Ausführungsbeispiel weist eine zentrale Steuervorrichtung 9 einen FPGA auf, um den von der Zeilenkamera erzeugten Bilddatenstrom in Echtzeit aufzu bereiten. Zudem weist die zentrale Steuereinrichtung eine Prozessoreinrichtung (zum Beispiel aus der Xilinx Zynq UltraScale+ MPSoC Baureihe ) auf, mit welcher das photometrische Stereoverfahren in Echtzeit ausgeführt wird. Das allgemeine Grundprinzip des photo metrisches Stereoverfahren beruht darauf, dass bei unterschiedlichen Ausleuchtungen mit Punktlichtquellen eines bestimmten Punktes eines abzutastenden Objektes sich unterschiedliche Helligkeitswerte für diesen Punkt ergeben, die ausschließlich von der Lichteinfallsrichtung d der punktförmigen Lichtquellen und dem Normalenvektor n des abzutastenden Punktes abhängen. Somit ergibt sich folgende Gleichung für die Lichtintensitäten J des abgetasteten Punktes des Objektes.:
Figure imgf000012_0001
Diese Gleichung gilt für Lambert'sche Oberflächen, d.h. Oberflächen, die Licht diffus reflektieren. Der Winkel der Blickrichtung des Sensors, mit dem der Abtastbereich 4 des abgetasteten Objektes abgetastet wird, ist daher nicht relevant, sofern er innerhalb eines gewissen Winkelbereichs liegt, in dem die abzutastende Oberfläche eine nahezu Lambert'sche Reflexionseigenschaft besitzt.
Da die Beleuchtungseinrichtungen 3/1-3/4 keine Punktlichtquellen sind, kann diese Gleichung nicht unmittelbar angewendet werden.
Daher wird die Beleuchtungsrichtung der ausgedehnten Lichtquellen 3/1 -3/4 auf einen Bildpunkt x des abzutastenden Objektes mit einer Näherungsfunktion dargestellt. Diese Näherungsfunktion kann für einen Flächensensor folgendermaßen lauten:
Figure imgf000012_0002
Hierbei werden die X- und Y-Koordinaten der Beleuchtungsrichtung jeweils durch ein Polynom dritten
Grades mit den Parametern a bis d bzw. e bis h dargestellt und die Z-Koordinate ist auf „1 “ gesetzt.
Eine geeignete Näherungsfunktion für die zeilenförmigen Beleuchtungseinrichtungen 3/1 -3/4 lautet:
Figure imgf000013_0001
Hierbei wird die X-Koordinate der Beleuchtungsrichtung d durch ein Polynom dritten Grades mit den Parametern a bis d dargestellt. Die Y-Koordinate ist eine Konstante, die sich aus dem Einfallswinkel a im Bezug zum Wert „1“ der Z-Koordinate ergibt. Der Parameter ei ...m kann somit an der Abtastvor- richtung 1 abgemessen und einmal festgelegt werden.
Die Parameter a bis d werden mit einem Optimierungsverfahren bestimmt, wie es unten näher erläutert wird. Zu Beginn des Optimierungsverfahren können die Parameter a bis d an sich beliebig gewählt werden, wobei es für eine schnelle Optimierung vorteilhaft ist, die Parameter so zu wählen, dass sie den optimierten Parameter möglichst ähnlich sind. Hierzu kann es zweckmäßig sein, beispielsweise für jeden Bildpunkt x des Abtastbereiches, die Richtung d so zu wählen, dass sie an dem Punkt der Beleuchtungseinrichtungen 3/1-3/4 beginnt, der dem jeweiligen Bildpunkt x am nächsten liegt. Es können jedoch auch andere Richtungen zunächst eingestellt werden, wobei es zumindest zweckmäßig ist, dass die Richtung jeweils von einem Punkt der Beleuchtungseinrichtung in Richtung zu dem jeweiligen Bildpunkt x zeigen.
Da die tatsächlich gemessenen Helligkeitswerte etwas von den mit der oben aufgeführten Formel (1) aufgrund der räumlichen Ausdehnung der Beleuchtungseinrichtungen abweichen, werden die gemessenen Belichtungswerte normiert. Diese Normierung kann auch als Kalibrierung bezeichnet werden, denn zunächst werden mittels einer Normierungsvorlage für unterschiedliche Kipp- und Neigewinkel entsprechende Belichtungswerte gemessen. Im vorliegenden Ausführungsbeispiel wird als Normierungsvorlage eine ebenflächige, weiße Normierungsvorlage mit einem Albedo von nahezu eins verwendet. Dies bedeutet, dass die normierte Vorlage Licht diffus reflektiert und nahezu eine perfekte Lambert'sche Oberfläche besitzt.
Diese Normierungsvorlage wird in der Abtastvorrichtung 1 im Abtastbereich 4 angeordnet. Sie wird hierbei mit unterschiedlichen Kippwinkeln angeordnet, wobei die Normierungsvorlage um den Abtastbereich 4 bzw. um die X-Achse gekippt wird. Die Normierungsvorlage wird auch in unterschiedlichen Neigungswinkel angeordnet, wobei die Normierungsvorlage hier um eine Achse parallel zur Transportrichtung 6 bzw. parallel zur Y-Achse geneigt wird. Bei diesen unterschiedlichen Anordnungen der Normierungsvorlage mit unterschiedlichen Kipp- und Neigewinkel werden jeweils die Belichtungswerte Ji(x) für die unterschiedlichen Bildpunkte x gemessen. Die Belichtungswerte können, auch als Bildintensitäten bezeichnet werden, da sie die Lichtintensität bzw. Helligkeit an dem jeweiligen Bildpunkt angeben. Da die Normierungsvorlage ebenflächig ist, ist der Normalenvektor der Normierungsvorlage für alle Bildpunkte identisch und ergibt sich aus dem jeweiligen Kipp- und Neigewinkel.
Für die unterschiedliche Anordnungen, der Normierungsvorlage werden mit folgender Formel jeweils simulierte Belichtungswerte l(x) der Bildpunkte x berechnet, wobei die Beleuchtungsrichtungsvektoren d(x) mittels der oben aufgeführten Näherungsfunktion für die zeilenförmigen Beleuchtungseinrichtungen 3/1-3/4 bestimmt werden.
Figure imgf000014_0001
Aus diesen idealen Belichtungswerten (x) werden vorläufige Normierungsfaktoren q:(x) berechnet, indem die idealen Belichtungswerte durch die jeweils gemessenen Belichtungswerte Ji(x) dividiert werden. Diese Normierungsfaktoren werden für die unterschiedlichen Kipp- und Neigewinkel und für den jeweiligen Bildpunkt x separat berechnet.
Das photometrische Stereoverfahren ist vor allem in einem begrenzten Höhenbereich präzise, in dem die Intensität der Beleuchtungen in etwa konstant ist (Abtastbereich). Beim Erstellen der Normierbilder wird möglichst darauf geachtet, dass nur Bildpunkte benutzt werden, die im Abtastbereich liegen. Bei Kippung der Normiervorlage wird daher der nutzbare Bereich der Vorlage auf einen kurzen Bereich reduziert. Bei größeren Neigewinkeln kann man die Daten von mehreren Bildern kombinieren, wobei die geneigte Vorlage in der Höhe variiert bzw. entlang dem Abtastbereich verschoben wird. Alternativ kann die Vorlage gleichzeitig gekippt und geneigt werden, so dass es eine Linie gleicher Höhe gibt, die für die Kalibrierung verwendet werden kann.
Die unterschiedlichen Neige- und Kippwinkel, für welche die Abtastvorrichtung normiert wird, hängen davon ab, welche Objekte hiermit überwacht werden sollen. Sollen bspw. Abweichungen in im Wesentlichen ebenflächigen Objekten, wie z.B. Folien bzw. Geldscheinen, untersucht werden, dann ist es zweckmäßig geringe Kipp- und Neigungswinkel (z.B. von 0° bis ±3° in Schritten von 0,1 ° und von ±3° bis ±30° in Schritten von 2° bis 5°) zu verwenden. Bei gröberen Strukturen können größere Winkelbereich (z.B. 0° bis ±90°) und grundsätzlich grobe Schrittweiten (z.B. von 3° bis 10°) sinnvoll sein.
Aus diesen vorläufigen Normierungsfaktoren werden die endgültigen Normierungsfaktoren ermittelt, indem alle vorläufigen Normierungsfaktoren jeweils einen bestimmten Bildpunktes x über alle Kipp- und Neigewinkel gemäß folgender Formel gemittelt werden:
Figure imgf000015_0001
Diese Normierungsfaktoren q können auf die gemessenen Bilder J angewendet werden, um so normierte Belichtungswerte IN zu bestimmen:
Figure imgf000015_0002
Mit diesen normierten Belichtungswerten IN können die Normalenvektoren ne(x) mithilfe der Beleuchtungsrichtungsvektoren, die durch die Näherungsfunktion vorgegeben sind, bestimmt werden:
Figure imgf000015_0003
Die berechneten Normalenvektoren ne(x) weichen zunächst von den vorgegebenen Normalenvektoren rik x die mit der in unterschiedlichen Kipp- und Neigewinkeln angeordneten Normierungsvorlage erzeugt worden sind, ab. Die Abweichung bzw. der Fehler zwischen den berechneten und den idealen Normalenvektoren wird als Maß für die Optimierung genutzt, wobei bei der Optimierung die Koeffizienten der Näherungsfunktion für die Beleuchtungsrichtungsvektoren angepasst und mit den entsprechend angepassten Beleuchtungsrichtungsvektoren werden die Normierungsfaktoren erneut berechnet.
Als Optimierungsverfahren wird im vorliegenden Ausführungsbeispiel ein Simplex-Verfahren verwendet. Das Simplex-Verfahren ist beispielsweise folgender Veröffentlichung beschrieben:
Lagarias, J. C., J. A. Reeds, M. H. Wright, and P. E. Wright. “Convergence Properties of the Nelder- Mead Simplex Method in Low Dimensions.” SIAM Journal of Optimization. Vol. 9, Number 1 , 1998, pp. 112-147.
Da es sich um ein lineares Optimierungsproblem handelt, können auch andere hierfür geeignete Optimierungsverfahren verwendet werden. Zum Beispiel kann auch ein quasi-Newtonverfahren eingesetzt werden, wie es in folgenden Dokumenten offenbart ist:
• Broyden, C. G. “The Convergence of a Class of Double-Rank Minimization Algorithms.” Journal Inst. Math. Applic., Vol. 6, 1970, pp. 76-90.
• Fletcher, R. “A New Approach to Variable Metrie Algorithms.” Computer Journal, Vol. 13, 1970, pp. 317-322.
• Goldfarb, D. “A Family of Variable Metrie Updates Derived by Variational Means.” Mathematics of Computing, Vol. 24, 1970, pp. 23-26.
• Shanno, D. F. “Conditioning of Quasi-Newton Methods for Function Minimization.” Mathematics of Computing, Vol. 24, 1970, pp. 647-656.
Diese Optimierung wird vorzugsweise so oft wiederholt, bis der Fehler e kleiner als 0,05 und insbesondere kleiner als 0,01 für alle Bildpunkte X ist.
Mit den derart optimierten Parametern und Normierungsfaktoren kann dann mit geringer Rechenleistung das photometrische Stereoverfahren auch mit einer Zeilenkamera ausgeführt werden, wie es nachfolgend näher erläutert wird.
Das zu überwachende Objekt 5 wird in Transportrichtung 6 durch den zeilenförmigen Abtastbereich 4 hindurch bewegt, wobei es mit der Zeilenkamera 2 aufeinanderfolgend abgetastet wird. Hierbei steuert die zentrale Steuereinrichtung 9 die Zeilenkamera 2 derart an, dass die einzelnen Zeilenbilder mit dem gleichen örtlichen Abstand das Objekt 5 abtasten, sodass die einzelnen Zeilenbilder zu einem Flächenbild zusammengesetzt werden können, das das Objekt nicht verzerrt zeigt.
Hierbei werden die Beleuchtungseinrichtungen 3/1 -3/4 mit der zentralen Steuereinrichtung 9 derart angesteuert, dass beim Abtasten eines Zeilenbildes jeweils eine einzige der Beleuchtungseinrichtungen 3/1 -3/4 leuchtet. Die Beleuchtungseinrichtungen 3/1 -3/4 werden somit zur Erzeugung eines Blitzlichtes angesteuert, wobei die einzelnen Beleuchtungseinrichtungen 3/1 -3/4 immer in der gleichen Reihenfolge blitzen. Hierdurch erzeugt man verschränkte (englisch: interleaved) Zeilenbilder, da die Zeilenbilder, die mit den Beleuchtungen der unterschiedlichen Beleuchtungseinrichtungen aufgenommen werden, zueinander etwas versetzt sind.
Vorzugsweise wird ein Satz Zeilenbilder, der jeweils ein Zeilen bild enthält, das mit einer der unterschiedlichen Beleuchtungseinrichtung 3/1 -3/4 beleuchtet ist, innerhalb eines sehr kurzen Zeitintervalls pro Bildzeile (oder Blitzimpuls) aufgenommen und lediglich der zeitliche Abstand des Aufnehmens der einzelnenZeilen entsprechend der Transportgeschwindigkeit des Objektes gesteuert. Hierdurch ist es möglich, die n verschiedenen Zeilenbilder eines Satzes Zeilenbilder (im vorliegenden Ausführungsbeispiel n=4) mit minimalen zeitlichen Abstand aufzunehmen. Man erhält somit der Anzahl der Beleuchtungseinrichtungen entsprechend viele verschränkte Bilder, die zunächst in einem Pufferspeicher gespeichert werden. Die Verschränkung der Bilder wird dann in einem weiteren Schritt aufgehoben (englisch: deinterleaved). Dies kann beispielsweise durch eine Interpolation der Bilder erfolgen, sodass sich die einzelnen Zeilen eines Zeilensatzes exakt überlagern. Vorzugsweise wird gleichzeitig eine Korrektur der unterschiedlichen Farbebenen durchgeführt, da die Zeilenkamera drei separate und geringfügig voneinander beabstandete Farbzeilen aufweist.
Aus den so aufbereiteten Bildern können die Normalenvektoren n für einen jeden Bildpunkt x anhand der Beleuchtungs-Richtungsvektoren d,(x) und den gemessenen Belichtungswerten Ji(x) berechnet werden.
Hierzu können die Beleuchtungs-Richtungsvektoren der einzelnen Beleuchtungseinrichtung vorab in einer Look-Up-Tabelle abgelegt werden. Vorzugsweise werden die Beleuchtungs-Richtungsvektoren multipliziert mit den entsprechenden Normierungsfaktoren q,(x) und die resultierende Matrix bereits invertiert in der Look-Up-Tabelle gespeichert, sodass diese nur noch mit den gemessenen Belichtungswerten Ji(x) multipliziert werden muss, um den entsprechenden Normalenvektor ne(x) zu berechnen.
In einem Farbcodierschritt können den einzelnen Normalenvektoren Farben zugeordnet werden, sodass das abgetastete Objekt als Falschfarbenbild ausgeben wird, wobei Änderungen der Normalenvektoren als Farbänderung im Bild gut sichtbar sind. Hierdurch können kleine Unebenheiten, Löcher, Dellen oder Kratzer zuverlässig erkannt werden.
Grundsätzlich ist es auch möglich, die durch die Normalenvektoren definierten Neigungen zu integrieren, um eine vollständige 3D-Darstellung bzw. 3D-Topologie des Objektes zu erzeugen.
Erste Versuche haben gezeigt, dass mit dieser Abtastvorrichtung 1 Objekte, welche ein glatte, ebenflächige Oberfläche aufweisen sollen, zuverlässig und schnell überwacht werden können, wobei entsprechende Fehler wie Vorsprünge, Löcher oder Kratzer zuverlässig festgestellt werden. Hiermit können beispielsweise Fehler in Kunststofffolien sichtbar gemacht werden, welche für eine Batterieproduktion verwendet werden. Es ist auch möglich, gewünschte Oberflächenstrukturen in Geldscheinen sichtbar zu machen.
Das erfindungsgemäße photometrische Stereoverfahren kann auch in Kombination mit einem herkömmlichen Stereoverfahren verwendet werden, mit dem eine 3D-Kontur eines Objektes erzeugt wird, wobei das erfindungsgemäße Verfahren dann vor allem zur Korrektur in der Feinstruktur verwendet wird. Der Rechenaufwand des Verfahrens ist so gering, dass es unmittelbar in einer in ihrem Gehäuse einer Zeilenkamera integrierten Steuereinrichtung ausgeführt werden kann.
Das oben erläuterte Ausführungsbeispiel weist vier zeilenförmige Beleuchtungseinrichtungen auf. Im Rahmen der Erfindung ist es grundsätzlich auch möglich flächenförmige Beleuchtungseinrichtungen zu verwenden.
Die im obigen Ausführungsbeispiel verwendete symmetrische Anordnung bezüglich einer zur Transportrichtung 6 senkrechten Ebene, in welcher der Abtastbereich 4 enthalten ist, hat den Vorteil, dass sich die zu optimierenden Parameter der spiegelsymmetrisch angeordneten Beleuchtungseinrichtungen sich nun im Vorzeichen unterscheiden. Hierdurch wird der Optimierungsaufwand reduziert.
Bei obigem Ausführungsbeispiel wird eine ebenflächige, weiße Normierungsvorlage mit einem Albedo von nahezu 1 verwendet. Grundsätzlich können auch andere Normierungsvorlagen verwendet werden, insbesondere welche mit einer vorbestimmten Kontur, die beim Normieren dann lediglich ohne zu kippen oder zu neigen geradlinig bzgl. der Abtastvorrichtung bewegt werden. Hierbei muss aber bei der Berechnung der idealen Belichtungswerten die Kontur und damit die Neigung der einzelnen Bildpunkte der Normierungsvorlage berücksichtigt werden.
Beim oben erläuterten Ausführungsbeispiel werden mit der einen Zeilenkamera verschränkte Zeilenbilder des gleichen Objektbereichs aufgenommen, d.h., dass die einzelnen Zeilenbilder mit einem zeitlichen Versatz aufgenommen werden und dann die Verschränkung durch eine Interpolation mit weiteren Zeilenbildern, die mit der der gleichen Beleuchtungssituation aufgenommen worden sind, wieder aufgehoben wird. Im Rahmen der Erfindung ist es auch möglich, mit mehreren Kameras gleichzeitig die Zeilenbilder aufzunehmen. Hierbei sind jedoch die Beleuchtungen des Objektes jeweils einer der Kameras eindeutig zuordbar auszubilden. Dies kann bspw. mit unterschiedlichen Farbfiltern geschehen, welche nur jeweils für einen Spektralbereich durchlässig sind. Korrespondierende Farbfilter sind jeweils auf den einander zugeordneten Beleuchtungseinrichtungen und Kameras angeordnet, so dass die einzelnen Zeilenbilder gleichzeitig aufgenommen werden können. Diese Zeilenbilder sind von Haus aus nicht verschränkt, weshalb es auch nicht notwendig ist, eine solche Verschränkung mittels einer Interpolation aufzuheben,
Die Kameras könne durch eine einzige physische Zeilenkamera dargestellt werden, welche mehrere Objektive aufweist, die jeweils den Abtastbereich auf einen Abschnitt der physischen Zeilenkamera abbilden. Die einzelnen Abschnitte, welchen jeweils ein Objektiv zugeordnet ist, bilden eine logische Zeilenkamera im Sinne der vorliegenden Erfindung. Bezugszeichenliste:
1 Abtastvorrichtung
2 Zeilenkamera
3 Beleuchtungseinrichtung
4 Abtastbereich
5 Objekt
6 Transportrichtung
7 optische Achse
8 Transportebene
9 zentrale Steuereinrichtung
10 Inkrementalgeber
Anhang - Referenzen:
[1] Woodham, R. J. (1994). Gradient and curvature from the photometric-stereo method, including local confidence estimation. JOSA A, 1 1 (11), 3050-3068.
[2]: Sun, J., Smith, M., Smith, L, Midha, S., & Bamber, J. (2007). Object surface recovery using a multi-light photometric stereo technique for non-Lambertian surfaces subject to shadows and specu- larities. Image and Vision Computing, 25(7), 1050-1057.
[3]: Basri, R., Jacobs, D., & Kemelmacher, I. (2007). Photometric stereo with general, unknown lighting. International Journal of computer vision, 72(3), 239-257.
[4]: Queau, Y., Durou, J. D., & Aujol, J. F. (2018). Normal integration: a survey. Journal of Mathematical Imaging and Vision, 60(4), 576-593.
[5] Antensteiner, D., Stoic, S., Valentin, K., Blaschitz, B., Huber-Mörk, R., & Pock, T. (2017). High- precision 3d sensing with hybrid light field & photometric stereo approach in multi-line scan framework. Electronic Imaging, 2017(9), 52-60.
[6]: Scharstein, D., Taniai, T., & Sinha, S. N. (2017, October). Semi-global stereo matching with surface orientation priors. In 2017 International Conference on 3D Vision (3DV) (pp. 215-224). IEEE.
[7] Du, H., Goldman, D. B., & Seitz, S. M. (2011). Binocular Photometric Stereo. In BMVC (Vol. 4, p.
8).

Claims

Ansprüche Photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und ausgedehnte Beleuchtungseinrichtungen, welchen einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werden, und für einen jeden Bildpunkt eine Oberflächennormale ne mit folgenden Schritten bestimmt wird: Berechnen für einen jeden Bildpunkt x den Normalenvektor ne(x), anhand von i Beleuchtungs- Richtungsvektoren di(x) und normierten, gemessenen Belichtungswerten INi(x)
Figure imgf000020_0001
wobei die gemessenen Belichtungswerte J.(x) mit Normierungsfaktoren q:(x) folgendermaßen normiert werden
Figure imgf000020_0002
und die Richtungsvektoren di bis dm, welche die Richtung von einer virtuell auf einen Beleuchtungspunkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bzgl. bekannter Oberflächennormalen einer Normierungsvorlage minimal sind. Photometrisches Stereoverfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Normierungsfaktoren q x) aus einer Look-Up-Tabelle (LUT) ausgelesen werden. Photometrisches Stereoverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Näherungsfunktion ein oder mehrere Polynome aufweist, mit welchen eine oder mehrere Koordinaten der Richtungsvektoren di bis dm, berechnet werden, wobei für alle Kombinationen aus Zeilenkameras und Beleuchtungseinrichtungen jeweils eine separate Näherungsfunktion und ein separater Satz Normierungsfaktoren q x) vorgesehen sind. Photometrisches Stereoverfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine einzige Zeilenkamera und mehrere Beleuchtungseinrichtungen verwendet werden, welche unabhängig voneinander und aufeinanderfolgend abwechselnd jeweils mit einem Blitzlicht den Abtastbereich ausleuchten, wobei ein Satz Zeilenbilder, welche mit jeweils einer unterschiedlichen der Beleuchtungseinrichtungen aufeinanderfolgend aufgenommen worden sind, zueinander interpoliert oder miteinander registriert werden, so dass jeweils ein bestimmter Bildpunkt der Zeilenbilder des Satzes Zeilenbilder die entsprechende Helligkeitsinformation von dem gleichen Ort aufweisen. Photometrisches Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei der Interpolation mehrere jeweils mit der gleichen Beleuchtungseinrichtung aufgenommenen Zeilenbilder interpoliert werden. Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stere overfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder aufgenommen werden, wobei das Verfahren folgende Schritte umfasst:
- Abtasten einer Normierungsvorlage, wobei Zeilenbilder der Normierungsvorlage erzeugt werden, die hierbei mit unterschiedlichen Neigungen und/oder Kippungen gegenüber der Abtastvorrichtung angeordnet ist, so dass der jeweilige Normalenvektor nk aller Punkte der Normierungsvorlage bekannt ist, a) Bestimmen von Normierungsfaktoren q x) anhand der gemessenen Belichtungswerte Ji(x) und anhand von simulierten Belichtungswerten li(x), welche anhand einer idealen Normierungsvorlage und den jeweiligen Normalenvektoren berechnet werden, wobei vorläufige Normierungsfaktoren jeweils aus dem Quotienten aus simulierten Belichtungswerten und korrespondierenden gemessenen Belichtungswerten berechnet werden und die vorläufigen Normierungsfaktoren für einen jeden Bildpunkt x gemittelt werden, welche die Normierungsfaktoren bilden, b) Bestimmen von Oberflächennormalen ne der Bildpunkte x anhand der erfassten Zeilenbilder der abgetasteten Normierungsvorlage, wobei zur Berechnung der Oberflächennormalen eine mehrere Parameter enthaltende Näherungsfunktion verwendet wird, mit welcher Richtungsvekto- ren di bis dm, welche die Richtung von einer virtuell auf einen Punkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, verwendet werden, c) Optimieren der Parameter der Näherungsfunktion mit einem Optimierungsverfahren.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass a) bis c) zumindest einmal wiederholt werden, wobei die Normierungsfaktoren q x) mit Hilfe der optimierten Näherungsfunktion erneut berechnet werden.
8. Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren ausgedehnten Beleuchtungseinrichtungen, welche derart angeordnet sind, dass sie einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei eine Steuereinrichtung vorgesehen und derart ausgebildet ist, dass von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werden, bei welchen sich jeweils die relative Ausrichtung von Beleuchtungsrichtung relativ zur Abtastrichtung unterscheiden, und für einen jeden Bildpunkt eine Oberflächennormale ne mit folgenden Schritten bestimmt wird:
Berechnen für einen jeden Bildpunkt x den Normalenvektor ne(x), anhand von i Beleuchtungs- Richtungsvektoren di(x) und normierten, gemessenen Belichtungswerten INi(x)
Figure imgf000022_0001
wobei die gemessenen Belichtungswerte J.(x) mit Normierungsfaktoren q:(x) folgendermaßen normiert werden
Figure imgf000022_0002
und die Richtungsvektoren di bis dm, welche die Richtung von einer virtuell auf einen Beleuchtungspunkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bzgl. bekannter Oberflächennormalen einer Normierungsvorlage minimal sind. Abtastvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die ausgedehnten Beleuchtungseinrichtungen zeilenförmige Beleuchtungseinrichtungen sind. Abtastvorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Abtastvorrichtung zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgebildet ist. Abtastvorrichtung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Abtastvorrichtung gemäß einem der Ansprüche 6 oder 7 normiert ist.
PCT/EP2022/083856 2021-12-01 2022-11-30 Photometrisches stereoverfahren zum abtasten einer oberfläche, verfahren zum normieren einer abtastvorrichtung für ein photometrisches stereoverfahren und abtastvorrichtung für ein photometrisches stereoverfahren WO2023099568A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021131620.0A DE102021131620B4 (de) 2021-12-01 2021-12-01 Photometrisches Stereoverfahren zum Abtasten einer Oberfläche, Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren und Abtastvorrichtung für ein photometrisches Stereoverfahren
DE102021131620.0 2021-12-01

Publications (1)

Publication Number Publication Date
WO2023099568A1 true WO2023099568A1 (de) 2023-06-08

Family

ID=84488485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/083856 WO2023099568A1 (de) 2021-12-01 2022-11-30 Photometrisches stereoverfahren zum abtasten einer oberfläche, verfahren zum normieren einer abtastvorrichtung für ein photometrisches stereoverfahren und abtastvorrichtung für ein photometrisches stereoverfahren

Country Status (2)

Country Link
DE (1) DE102021131620B4 (de)
WO (1) WO2023099568A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2589926A1 (de) * 2011-11-04 2013-05-08 OBE Ohnmacht & Baumgärtner GmbH & Co. KG Vorrichtung und Verfahren zur optischen Formerfassung von bewegten Gegenständen
DE102018008154A1 (de) * 2018-10-16 2018-12-13 I-Mation Gmbh Verfahren zur optischen Erfassung der Form eines Gegenstandes
DE102019103519A1 (de) * 2019-02-12 2020-08-13 Carl Zeiss Industrielle Messtechnik Gmbh Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258130A1 (de) 2002-11-29 2004-06-17 Christoph Wagner Verfahren und Vorrichtung zur optischen Formerfassung von Gegenständen und Oberflächen
DE102007021964B4 (de) 2007-05-10 2013-02-21 In-Situ Gmbh Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen
DE102013212827B4 (de) 2013-07-01 2015-03-26 Sac Sirius Advanced Cybernetics Gmbh Verfahren und Vorrichtung zur optischen Formerfassung und/oder Prüfen eines Gegenstandes
JP7222796B2 (ja) 2019-04-05 2023-02-15 株式会社キーエンス 画像検査システム及び画像検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2589926A1 (de) * 2011-11-04 2013-05-08 OBE Ohnmacht & Baumgärtner GmbH & Co. KG Vorrichtung und Verfahren zur optischen Formerfassung von bewegten Gegenständen
DE102018008154A1 (de) * 2018-10-16 2018-12-13 I-Mation Gmbh Verfahren zur optischen Erfassung der Form eines Gegenstandes
DE102019103519A1 (de) * 2019-02-12 2020-08-13 Carl Zeiss Industrielle Messtechnik Gmbh Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
ANTENSTEINER, D.STOLC, S.VALENTIN, K.BLASCHITZ, B.HUBER-MÖRK, RPOCK, T.: "Highprecision 3d sensing with hybrid light field & photometric stereo approach in multi-line scan framework", ELECTRONIC IMAGING, vol. 2017, no. 9, 2017, pages 52 - 60, XP055641605, DOI: 10.2352/ISSN.2470-1173.2017.9.IRIACV-268
BASRI, R.JACOBS, D.KEMELMACHER, I.: "Photometric stereo with general, unknown lighting", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 72, no. 3, 2007, pages 239 - 257, XP019468624
DU, H.GOLDMAN, D. B.SEITZ, S. M.: "Binocular Photometric Stereo", BMVC, vol. 4, 2011, pages 8
FLETCHER, R: "A New Approach to Variable Metric Algorithms", COMPUTER JOURNAL, vol. 13, 1970, pages 317 - 322
FODOR BÁLINT ET AL: "Normal map recovery using bundle adjustment", IET COMPUTER VISION, THE INSTITUTION OF ENGINEERING AND TECHNOLOGY, MICHAEL FARADAY HOUSE, SIX HILLS WAY, STEVENAGE, HERTS. SG1 2AY, UK, vol. 8, no. 1, February 2014 (2014-02-01), pages 66 - 75, XP006047030, ISSN: 1751-9632, DOI: 10.1049/IET-CVI.2010.0149 *
GOLDFARB, D.: "A Family of Variable Metric Updates Derived by Variational Means", MATHEMATICS OF COMPUTING, vol. 24, 1970, pages 23 - 26
JOURNAL INST. MATH. APPLIC., vol. 6, 1970, pages 76 - 90
LAGARIAS, J. C.J. A. REEDSM. H. WRIGHTP. E. WRIGHT: "Convergence Properties of the Nelder-Mead Simplex Method in Low Dimensions", SIAM JOURNAL OF OPTIMIZATION, vol. 9, no. 1, 1998, pages 112 - 147
QUEAU, Y.DUROU, J. D.AUJOL, J. F.: "Normal integration: a survey", JOURNAL OF MATHEMATICAL IMAGING AND VISION, vol. 60, no. 4, 2018, pages 576 - 593, XP036467602, DOI: 10.1007/s10851-017-0773-x
RAJARSHI RAY ET AL: "Error Analysis of Surface Normals Determined by Radiometry", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 30, no. 6, November 1983 (1983-11-01), pages 631 - 645, XP011242705, ISSN: 0162-8828 *
SCHARSTEIN, D.TANIAI, T.SINHA, S. N.: "2017 International Conference on 3D Vision (3DV", October 2017, IEEE, article "Semi-global stereo matching with surface orientation priors", pages: 215 - 224
SHANNO, D. F.: "Conditioning of Quasi-Newton Methods for Function Minimization", MATHEMATICS OF COMPUTING, vol. 24, 1970, pages 647 - 656
SUN, J.SMITH, M.SMITH, L.MIDHA, S.BAMBER, J.: "Object surface recovery using a multi-light photometric stereo technique for non-Lambertian surfaces subject to shadows and specularities", IMAGE AND VISION COMPUTING, vol. 25, no. 7, 2007, pages 1050 - 1057, XP022062607, DOI: 10.1016/j.imavis.2006.04.025

Also Published As

Publication number Publication date
DE102021131620A1 (de) 2023-06-01
DE102021131620B4 (de) 2024-02-08

Similar Documents

Publication Publication Date Title
EP3557523B1 (de) Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
EP2002203B1 (de) Verfahren und system zur formmessung einer spiegelnden oberfläche
DE112013002321B4 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem
DE102017118767B4 (de) Verfahren und Vorrichtung zum Bestimmen von dimensionellen und/oder geometrischen Eigenschaften eines Messobjekts
DE102012108567A1 (de) Verfahren und Vorrichtung zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
WO2015117905A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
EP2511648B1 (de) Messanordnung und Verfahren zur Bestimmung mindestens der Crimphöhe eines Leitercrimps
DE102017109039A1 (de) Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
DE102019105358B4 (de) Erstellung eines Abstandsbildes
DE102017116758B4 (de) Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
DE102004041115A1 (de) Verfahren und Anordnung zur Erfassung biometrischer Daten
DE60132551T2 (de) Verfahren und apparat zur messung der geometrischen struktur eines optischen bauteils durch lichtübertragung
DE102017115136A1 (de) Vorrichtung und Verfahren zur Erfassung von biometrischen Merkmalen eines Gesichts einer Person
DE102018222231A1 (de) Vorrichtung und Verfahren zur optischen Vermessung einer Innenkontur einer Brillenfassung
DE102018125422A1 (de) Prüfvorrichtung für eine Stereo-Bilderfassungsvorrichtung
DE102021131620B4 (de) Photometrisches Stereoverfahren zum Abtasten einer Oberfläche, Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren und Abtastvorrichtung für ein photometrisches Stereoverfahren
DE102015106837B4 (de) Verfahren zur Steuerung einer 3D-Messvorrichtung mittels Gesten und Vorrichtung hierzu
DE102013114687A1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
DE102018105794A1 (de) Abbildung eines Objektes mittels Schattenwurf
DE102015203396A1 (de) Verfahren und Vorrichtung zur Bestimmung der Topografie einer Oberflache
CH702255A1 (de) Vorrichtung zur räumlichen Erfassung eines Objekts mittels optischer Abtastung.
EP3049757B1 (de) Fahrwerksvermessung bei umgebungslicht
DE102005052044A1 (de) Verfahren und Vorrichtung zur Vermessung eines transparenten Objekts
EP3433669A1 (de) Verfahren und vorrichtung zur ermittlung von 3d-koordinaten zumindest eines vorbestimmten punktes eines objekts
DE102019121613A1 (de) Koordinatenmessvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22822571

Country of ref document: EP

Kind code of ref document: A1