WO2019170591A1 - Erstellung eines abstandsbildes - Google Patents

Erstellung eines abstandsbildes Download PDF

Info

Publication number
WO2019170591A1
WO2019170591A1 PCT/EP2019/055285 EP2019055285W WO2019170591A1 WO 2019170591 A1 WO2019170591 A1 WO 2019170591A1 EP 2019055285 W EP2019055285 W EP 2019055285W WO 2019170591 A1 WO2019170591 A1 WO 2019170591A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
lighting
image
camera
angle
Prior art date
Application number
PCT/EP2019/055285
Other languages
English (en)
French (fr)
Inventor
Hermann Tropf
Original Assignee
Vision Tools Hard- Und Software Entwicklungs-Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Tools Hard- Und Software Entwicklungs-Gmbh filed Critical Vision Tools Hard- Und Software Entwicklungs-Gmbh
Publication of WO2019170591A1 publication Critical patent/WO2019170591A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a method and a device for obtaining a
  • Distance images unlike conventional images that encode grayscale or surface colors, encode the points of the surface of the scene (object points or background points) from the sensor (generally a camera) or the height of those points relative to a plane.
  • the pixels of a distance image thus contain removal information (for example distance or height) of the respective associated imaged object point. It is a classic computer vision problem; technical applications can be found i.a. in mechanical engineering, robotics including service robotics, electronics production, archeology, clothing industry, biometrics, medicine and reverse engineering.
  • the invention is applied to scenes with a variety of
  • BRDF Bidirectional Reflectance Distribution Function
  • the methods and arrangements described in the present application relate to triangulation with stereo cameras to obtain a distance image.
  • stereophonic methods pictures taken from different positions due to the system are shifted and / or distorted differently in relation to each other, in which ultimately the one to be found
  • Distance information is inserted.
  • the most difficult problem now is to establish the correspondence of the pixels, i. the assignment of the pixels of one camera to those of the other camera. If the correspondence is known, then a distance image can be calculated by triangulation using a known acquisition geometry.
  • Triangulation is a well-known state of the art, there is a detailed, old and new literature for finding a correspondence, the correspondence finding is in numerous
  • Reflection properties including color, printing, roughness, dirt, processing marks ..
  • the slope dependency is particularly strong in applications with glossy objects or rough machined metallic surfaces.
  • the method presented in DE 10 2006 001 634 B3 is based on structured light with a random pattern; the effect a) is substantially eliminated. This is accomplished by having for each camera at least two image captures with different illuminations, at least one of which is a random or pseudo-random pattern, and pixel-by-pixel dividing the two images for each camera. The ratio (quotient) of two measured
  • Brightness values for each object point visible from both cameras are determined only by the projection and independent of the color, the brightness, the surface roughness and the surface slope and also independent of the viewing angle, and thus the same for both cameras.
  • a disadvantage of this method is that each camera at least two images (in practice often three) must be recorded and, above all, that a special projection device is required, which is able to realize at least two different lights, of which at least is a random or pseudo-random pattern.
  • Other methods based on structured light also require a very special projection device and usually more still images than in the above mentioned. Patent.
  • US 5,933,240 relates to the determination of the distance of a planar, specular
  • Brightness impression depends on the illumination angle and not on the viewing angle (justification see section A)). So one exchanges lighting and
  • the invention has for its object to avoid these disadvantages, at least partially.
  • a separate distance image can be created for each camera pair; a plurality of distance images can be fused using known methods to form a common distance image, thereby increasing the accuracy and / or increasing the accuracy
  • the invention relates to both halftone image cameras and color cameras.
  • gray-scale image cameras are assumed; the generalization to color cameras is stated at the end.
  • To solve the o.g. Task is a lighting and camera assembly for creating a distance image in the working space of a scene with at least partially not
  • each lighting set having a
  • Lighting Ll and a lighting L2 includes, where Ll consists of lighting points LP1 and L2 is made
  • illumination points LP2 Composed of illumination points LP2, it being possible to take an image with illumination L2 in the case of illumination L1 deactivated and to record an image with illumination L1 when the illumination L2 is deactivated; characterized in that the illuminations are designed and arranged such that for at least two predetermined surface elements which are located in a respective predetermined point Q in the working space of the scene with predetermined normals N, a ray from an illumination point LP1 is applied to the surface element in Point Q with the first angle of incidence and the same first angle of reflection with respect to the normal N to C2 is reflected, and a beam from an illumination point LP2 becomes at the same
  • Reflectance angle with respect to the normal N to C 1 reflected wherein at least two of these illumination points LP1 are separated from each other with at least 1/15 of the distance of the projection centers of Cl and C2, and at least two of these illumination points LP2 are spaced apart by at least 1/15 of the distance Projection centers of Cl and C2.
  • Different lighting sets may share parts of lights.
  • the narrower the reflection lobes, the denser the points Q should be selected.
  • Correspondence method correspondence are produced and calculated due to the correspondences produced by means of a triangulation method, the distance image.
  • deactivated lighting typically means that the relevant lighting is switched off, but it can also be operated or operated only to that extent, e.g.
  • a method according to claim 2 is proposed with for at least one pair of camera sets of lighting, with each of the lighting sets each with Cl an image is recorded with lighting set L2 and C2 with an image with lighting set Ll.
  • the procedure according to claim 3 thus arises for each lighting set a pair of images of Cl and C2.
  • the satanically published methods of correspondence finding work on the basis either with a comparison of the gray values of individual pixels or with a comparison of small image details.
  • the correspondence determination can here be modified, starting from known methods, insofar as the comparisons for each lighting set are realized and in each case the better comparison result is selected.
  • Claim 8 according to one of the aforementioned device claims, is characterized
  • Ll and L2 for at least one lighting set are at least approximately on straight lines passing through the projection centers of Cl and C2 respectively perpendicular to the connecting line of Cl and C2 and parallel at least approximately to the main plane of the scene, using as principal plane a Level is designated, which is positioned and inclined so that the maximum distance
  • the BRDF Bidirectional Reflectance Distribution Function
  • the BRDF can take on complicated forms.
  • the Helmholtz reciprocity is satisfied, which states that the ratio of radiation density and irradiance is identical forwards and backwards. If the light source and viewer are swapped, the BRDF remains unchanged. Here is a perfect exchange of viewing and observation angle over the
  • Brightness impression is namely not the radiation density, but the luminance, and this is dependent on the radiation angle at the same radiation density.
  • the reflection lobe assumes a circular shape, the circle is perpendicular to the surface, resulting in a cos dependence on the emission angle, on the other hand, however, the luminance at the same radiance with cos-law of the emission angle depends compensate for both effects.
  • the Lambertian reflection of the brightness impression is independent of the viewing angle.
  • Angle of incidence and the same first angle of reflection with respect to the normal N to C2 is reflected is also a beam from an illumination point LP2 on the same surface element in point Q with a second angle of incidence and the same second
  • Reflected angle of reflection (gloss angle).
  • the first angle of incidence and the first angle of deflection are the same here and denoted by gl in FIG. 2a.
  • the second angle of incidence and the second angle of reflection are the same and referenced g2 in FIG. 2a.
  • Failure angle is scattered to a camera, this is not a glare angle. If, with this scattered reflection at the point, the angle of incidence of the light source and the angle of reflection from the camera are the same, then this angle is called the glancing angle, even if the surface does not shine.
  • the condition can be fulfilled at least approximately by the procedure described below over a larger scene area and tilt range to be evaluated. Please note: “If, ... then .. that does not mean that light is reflected in the gloss angle from L1 to C2 all over the scene area - or vice versa.
  • Fulfillment of the glittering condition does not necessarily mean fulfillment of the Helmholtz reciprocity, because here there is not necessarily an exchange of lighting and lighting
  • the gloss condition is met with the illumination arrangement according to the invention at the points Q selected in the claims, at other points it does not necessarily have to be fulfilled. Given a suitable distribution (most easily: to distribute the points homogeneously over possible positions and surface normals), one can achieve that the gloss condition at least everywhere in the parameter space of interest (location-surface slope)
  • condition d> D / 15 applies only to such
  • Fig. 1 shows a scene to be scanned 1, shown simplified as a ground plane 4 with lying on cuboid with uneven surface.
  • the scene area to be evaluated is limited therein (not shown).
  • the illuminations L1 and L2, here point light sources, are schematically represented by
  • Lightbulb symbols are shown, which are located in the center of Cl or C2 according to the classical approach.
  • the Helmholtz reciprocity can be exploited throughout the scene area. And it applies everywhere in the scene area, the gloss condition, because IF
  • rays of surface elements of L1 are reflected on a surface point P at the glancing angle to C2, and conversely, rays of surface elements of L2 are also reflected at the same surface point P at the glancing angle to Cl.
  • Fig. 2 shows a - according to the procedure proposed here - wrong (though pleasing, symmetrical) arrangement of the lights. Rays of Ll land in the
  • FIGs. 3 and 4 show a - according to the procedure proposed here - right
  • FIGS. 5 and 6 the basic mode of operation of the classical approach is illustrated with FIGS. 5 and 6.
  • FIG. 5 we consider an object point P. As indicated by arrows, it is illuminated by L2. The light emitted by L2 is reflected at point P. The reverse situation is shown in FIG. 6. The reflection characteristic is represented by reflection lobe 2. The lighting and viewing angles are different each time, but the brightness impression at C1 and C2 is the same (here: no Lambertian reflection):
  • FIG. 5 Corresponding to the aperture of Cl, in FIG. 5 a portion 3 is cut out of the reflection lobe. This share lands in the lens of Cl.
  • Fig. 6 the point P is illuminated by L1. The light emanating from Ll is reflected at the point P, corresponding to the aperture of C2, a portion 3 is cut out of the reflection lobe. This share 3 lands in the lens of C2.
  • the illuminations as point light sources must be real or virtual in the projection center of the respective camera, or alternatively as punctiform or small-area illuminations in the immediate vicinity of the projection centers.
  • the Helmholtz angle change is generally not applicable for all points P and all surface slopes everywhere, but the images are evaluable even in narrow reflection lobes in contrast to known arrangements in a large scene area and in a large angular range of the surface normal.
  • the lighting can be large or consist of several discrete lighting elements - or both.
  • Lighting arrangement Fig. 3 and Fig. 4 is reached the readability in a larger Angle range. This also applies to a larger position range in the scene. In contrast to FIG. 3, in FIG. 4 the surface element is inclined outwards. This should make it clear that with a majority, occupying a larger space
  • the illuminations must be in the projection centers of the cameras or, alternatively, as close as possible and approximately point-shaped.
  • the evaluation is problematic under these conditions in narrow reflection lobes in the experience of the inventor; the lights need a certain amount
  • Fig. 7 comparatively shows a purely material-related, i.e. when illuminated with a single beam (point light source) applicable reflection lobe (here reflection lobe) and right for the same material a wider, effective
  • Reflection lobe as it results in illumination with a widespread illumination.
  • mental superimposition of such illumination points thus result in lighting forms and -fagen invention.
  • FP1 illumination points to Fl
  • FP2 illumination points to F2.
  • Lighting points are points from which the lights are structurally assembled.
  • the gloss condition is not made here by the movement first, but the illumination points are moved so that the gloss condition is maintained.
  • LP1 and LP2 are located at the center of C1 and C2, respectively.
  • the illumination points move in a symmetrical way from there, symmetrically with respect to the viewing direction of the camera in question, in the concrete example moves LP1 in camera viewing direction of Cl to the right - this is in the direction of the viewer of the figure - and LP2 in camera-facing direction from C2 to the left, - this is also in the direction of the viewer of the figure! ("bottom-top" see figure, in which case the facing sides of the cameras as above.)
  • Both illumination points are thus moved in the direction of the viewer of the figure, the amount of (not shown here) rotation angle to the point Q equal is.
  • FIG. 9 LP1 and LP2 are located at the center of C1 and C2, respectively.
  • Both illumination points LP1 and LP2 are located next to the cameras, both facing the viewer of the figure, while maintaining the gloss condition at a point near Q (slightly shifted toward the viewer of the figure, therefore not shown), with the same surface inclination.
  • the conditions lt. Claim 1 then apply to this point.
  • a result satisfying the gloss condition is obtained in the same way for reasons of symmetry, if one moves accordingly not the illumination points but the cameras.
  • the illumination points starting from the situation in FIG. 10, were rotated about the optical axis of the cameras, viewed in the viewing direction in each case in the clockwise direction at a rotation angle of 90 degrees. This works for all angles of rotation.
  • FIGS. 14 and 15 show the situation analogous to FIGS. 9 and 12, where LP1 and C2 are displaced in the same direction by shifting to the right as seen from situation FIG. 9 LP1 as viewed from C1 and C2 in the direction of C2 seen to the right - and in each case with the same angle of rotation amount w.
  • the illumination spots along the rays may reach point Q, see e.g. 11 and 12 in Figures 3,4,11, in principle, be moved, because this does not change the lighting directions, however, this can significantly change the illumination or the luminance at small distances.
  • Fig. 16 shows such an arrangement in perspective view.
  • Fig. 16 is only very roughly indicated in the lamps with the parallel lines, that the main direction of illumination of the lamps can be quite different, and advantageously just in the direction of the scene. It is not important for the main lighting direction from the perspective of the lamps, but for the direction with which the rays impinge on the surface in the scene, which ultimately results from the position of the discrete lighting elements or the surface elements of the areal illuminations (cf. End of the previous section).
  • FIGS. 17 and 18 examples are shown schematically in plan view, in FIG. 17 with large-area illuminations, in FIG. 18 with a plurality of discrete ones
  • Lighting element can also use twice.
  • An arrangement according to Fig. L7e is favorable when the cameras face obliquely on the scene located under the lamps.
  • Fig. 19 shows an application of the arrangement according to Fig. L7b for the 3D scene detection of a vehicle 8: below the headlights or additionally mounted lights Ll and L2 are the cameras Cl and C2. Of course, only the area covered by both L1 and L2 can be evaluated. According to the above considerations, the cameras can also be located above the lamps or also laterally (both left or both right of the lamps); Ll and L2 can consist of several discrete illuminations, also several such camera arrangements can be used to obtain a more accurate evaluation.
  • the procedure of claim 3 may be beneficial.
  • the procedure realizes inclination and location-specific optimal lighting constellations, which facilitates the finding of correspondence.
  • Fl and F2 for at least one illumination set are at least approximately on a straight line passing through the projection centers of C1 and C2, respectively, which are perpendicular to the connecting line of C1 and C2 and parallel to the main plane of the scene, the principal plane being one Level is called, which goes through the center of the scene area to be evaluated and is inclined so that the maximum distance of evaluating scene points from this level is minimal.
  • the main plane is parallel to the ground plane 4 shown in FIG.
  • grayscale values of the images of C1 and C2 are at least approximately the same over the entire scene range for the same scene points.
  • Light sources are ideally real or virtual in the projection center of the cameras, which is solved according to several known proposals with a complex arrangement with semi-transparent mirrors. Approximately, according to known proposals, the light sources can be located in the immediate vicinity of the projection centers. In the methods and arrangements proposed by the present invention, the illuminations may well be far from the projection centers. It finds i.A. However, no direct Helmholtz angle exchange, angle of incidence and angle of reflection are changed from image acquisition with Cl to image with C2 so that here (in contrast to the Helmholtz law) the ratio of light intensity lighting to viewing can change greatly, but on the other hand Ratio of
  • Mirror images of point light sources can appear at slightly displaced points.
  • Scene areas with structure object edges, locally changing surface slopes, strongly structured or curved surface areas such as ripples, vaults,
  • Reflection properties by processing traces, etc. is the correspondence finding according to the method presented much easier even in places only approximately fulfilled gloss condition. Precisely in such scenes, although there is no perfect angle exchange depending on the scene, the highlights appear in the same images on the same surface locations in the two images, in contrast to the classical methods, in a larger scene area and angle range of the surface normals - a significant advantage of the one presented here approach.
  • Ll and L2 are at least approximately on straight lines passing through the projection centers of Cl and C2 and perpendicular to the connecting line of Cl and C2 and at least approximately parallel to the main plane of the scene, a plane being called a plane, passing through the center of the
  • FIG. 23 schematically shows a gray scale profile, as it is realized from the perspective of C2.
  • the shadow areas from C2's point of view when illuminated with Ll can be identified in advance by means of uncritical threshold value procedures and can be excluded from the search for correspondence; the same applies in reverse to the drop shadow areas from the point of view of Cl when illuminated with L2.
  • Ll and L2 are at least approximately on straight lines passing through the projection centers of Cl and C2 respectively perpendicular to the connecting line of Cl and C2 and parallel at least approximately to the main plane of the scene, a plane being called a plane which is positioned and inclined so that the maximum distance of scene points to be evaluated from that plane is minimal.
  • the surface is somehow structured (indicated by the drawn "wild" brightness curve); Due to the structuring, the correspondences Cl can be produced with C2, omitting the shadow areas of C2, and vice versa.
  • the correspondences Cl can be produced with C2, omitting the shadow areas of C2, and vice versa.
  • Illuminations can be achieved that the drop shadow boundaries on the opposite side (in Cl in the example Fig. 23) for homogeneous surfaces, although only hinted, but reliably recognizable, regardless of the edge shape. This need not be extra lighting, it is sufficient according to experience, even a small extent of the lights after Claim 8 in the above directions. With a small extent Ll and L2 are still approximately on the lines mentioned in claim 8.
  • a camera for several camera pairs can be used.
  • Fig. 24 view from above on the scene
  • Cameras 11 to 14 (towards the scene - ie away from the viewer - tilted) and up to six pairs 21 to 26.
  • the lights are offset from the center according to the design rules listed above.
  • the described methods and arrangements also work with color cameras. Instead of comparing individual gray values or contents of gray value windows in the correspondence search, one only needs to compare the color values or contents of color value windows, e.g. the red-green-blue values. In colorful scenes, this simplifies the evaluation compared to pure intensity evaluation and improves the result.
  • each L2 or Ll is turned on. This is no problem with today's image acquisition technology even with very short time differences. It is also possible to realize the recordings at the same time and otherwise separate them, e.g. spectral or via polarization.
  • Image evaluation can take place in an evaluation unit separate from the cameras, such as a PC, or in one of the two cameras (“intelligent cameras”) or in an evaluation unit to which only the image sensors are connected.
  • Brightness calibration is possible in a straightforward, simple way: lamp brightness and / or camera enhancements are conveniently set so that a centrally located scene point in both cameras appears as bright as possible.
  • the best way to do this is to first calibrate the two cameras using a Lambertian surface while keeping the illumination the same, and then pair the lights with a glossy surface. After that, by moving the surface (s), it is possible to realize a site-specific normalization for the image evaluation.
  • Image recording and / or evaluation can take place in the style stand or in motion (camera or scene).
  • An example of changing scenes is security surveillance in the workspace of a conventional or cooperative robot.
  • Workspace of the scene here are the points on surface in the scene, from which a distance image is to be created.
  • Reflection lobe results in a widespread illumination.
  • P point on surface in the scene from which a distance image is to be created.
  • Center of a camera short for projection center of the camera.
  • the lights Ll and L2 can be large or consist of several discrete lighting elements - or both.
  • a lighting kit consists of lighting Ll and lighting L2.
  • Different lighting sets may share parts of lights.
  • LP1, LP2 illumination points a luminous point of L1 or L2

Abstract

Zum Erstellen eines Abstandsbildes einer Szene (1) mittels Stereoverfahren mit zwei Kameras C1 und C2 werden mit einer speziellen Beleuchtungsanordnung das Bild von Kamera C1 mit einer Beleuchtung L2 und umgekehrt das Bild von Kamera C2 mit einer Beleuchtung L aufgenommen. Konstruktionsregeln für Positionierung, Gestaltung und Form der Beleuchtungen werden angegeben. Aufgrund der beschriebenen Beleuchtungsanordnung und Auswerteverfahren wird erreicht, dass auch bei schmalen Reflexionskeulen die Auswertbarkeit in einem großen Szenenbereich gegeben ist, und es wird zusätzlich erreicht, dass mit derselben Einrichtung und ohne zusätzlichen Zeitaufwand bei der Bildaufnahme auch der Fall Lambert'scher Oberflächenreflexion behandelt wird, auch wenn unbekannt ist, ob und an welchen Stellen Lambert'sche Oberflächenreflexion vorliegt.

Description

Erstellung eines Abstandsbildes
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Gewinnen eines
Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben der Oberfläche codieren, die Entfernung der Punkte der Oberfläche der Szene (Objektpunkte oder Hintergrundpunkte) vom Sensor (im Allgemeinen einer Kamera) oder die Höhe dieser Punkte relativ zu einer Ebene. Die Bildpunkte eines Abstands- bildes enthalten also eine Entfemungsinformation (z.B. Abstand oder Höhe) des jeweils zugehörigen abgebildeten Objektpunktes. Es handelt sich um ein klassisches Computer- Vision Problem; technische Anwendungen finden sich u.a. in Maschinenbau, Robotik einschließlich Servicerobotik, Elektronik-Produktion, Archäologie, Bekleidungsindustrie, Biometrie, Medizin und Reverse Engineering.
Die Erfindung wird angewandt auf Szenen mit unterschiedlichsten
Oberflächencharakteristiken, auch gemischt, von voll diffus (Lambert' sehe Reflexion), über matt, schwach glänzend (z.B. Papier), glänzend (z.B. metallisch glänzend in verschiedenen Rauigkeitstufen), bis teilspiegelnd. Kenntnis der bidirektionalen
Reflexionsverteilungsfünktion, BRDF (Bidirectional Reflectance Distribution Function), wird nicht als bekannt vorausgesetzt.
Die in der vorliegenden Anmeldung beschriebenen Verfahren und Anordnungen betreffen die Triangulation mit Stereo -Kameras zur Gewinnung eines Abstandsbildes. Bei Stereoverfahren sind systembedingt aus verschiedener Position aufgenommene Bilder gegeneinander örtlich unterschiedlich verschoben und/oder verzerrt, worin letztlich die zu findende
Abstandsinformation steckt. Bei Stereo- Verfahren ist nun das schwierigste Problem die Herstellung der Korrespondenz der Bildpunkte, d.h. die Zuordnung der Bildpunkte der einen Kamera zu denen der anderen Kamera. Ist die Korrespondenz bekannt, so kann bei bekannter Aufnahmegeometrie über Triangulation ein Abstandsbild berechnet werden.
Die Triangulation ist bekannter Stand der Technik, zur Korrespondenzfindung gibt es eine ausführliche, alte und neue Literatur, die Korrespondenzfindung ist in zahlreichen
Anwendungen bis heute nicht zufriedenstellend gelöst. Die Beschreibung zu dieser Erfindung konzentriert sich auf Maßnahmen zur Vereinfachung der Korrespondenzfindung. Im Gegensatz zu natürlichen Szenen, die typischerweise bei kleinen Konvergenzwinkeln aufgenommen werden und die daher großteils, abgesehen von Glanzstellen mit geringer Oberflächenkrümmung, annähernd gleiche Grauwerte oder Farbwerte aufweisen für den gleichen, von beiden Kameras sichtbaren Szenenpunkt, ist für technische Anwendungen die Korrespondenzfindung erschwert durch die folgenden Effekte: a) Bei konventionellem Stereo kann gerade bei Industrieszenen die Darstellung von
Objektpartien in den beiden Kameras sehr unterschiedlich sein. Dieser Effekt ist abhängig von der Oberflächen-Neigung und den speziell in Industrieszenen oft stark variierenden
Reflexionseigenschaften (einschließlich Farbe, Bedruckung, Rauigkeit, Verschmutzung, Bearbeitungsspuren ..) am jeweiligen Objektpunkt. Die Neigungsabhängigkeit ist besonders stark bei Anwendungen mit glänzenden Objekten oder grob bearbeiteten metallischen Oberflächen. b) Die Objektpartien, die nur von einer Kamera gesehen werden, von der anderen nicht, können bei Industrieszenen (kleine Kamera-Objekt Abstände und damit große
Konvergenzwinkel) sehr groß sein. Bei der Korrespondenz- Suche können daher Partien, die in einer Kamera sichtbar, in der anderen aber durch Objekte verdeckt sind, leicht
fälschlicherweise ähnlichen sichtbaren Partien dieser anderen Kamera zugewiesen werden. c) Konventionelles Stereo wird durch Schlagschattenbildung wesentlich erschwert, wenn die Schlagschatten in den beiden Kamerabildem unterschiedliche Formen aufweisen; auch dieser Effekt tritt bei Industrieszenen mit ihren typisch großen Konvergenzwinkeln gehäuft auf.
Um die Korrespondenzfindung zu erleichtern, sind verschiedene Verfahren bekannt, die auf strukturiertem Licht basieren.
Das in DE 10 2006 001 634 B3 vorgestellte Verfahren basiert auf strukturiertem Licht mit einem Zufallsmuster; der Effekt a) im Wesentlichen eliminiert. Dies wird erreicht durch für jede Kamera mindestens zwei Bildaufnahmen mit unterschiedlichen Beleuchtungen, von denen mindestens eine ein Zufalls- oder Pseudo-Zufallsmuster ist, und pixelweises Dividieren der beiden Bilder für jede Kamera. Das Verhältnis (Quotient) von zwei gemessenen
Helligkeitswerten ist für jeden von beiden Kameras sichtbaren Objektpunkt nur durch die Projektion bestimmt und unabhängig von der Farbe, der Helligkeit, der Oberflächenrauigkeit und der Oberflächenneigung und auch unabhängig vom Betrachtungswinkel, und damit für beide Kameras gleich.
Nachteilig an diesem Verfahren ist, dass je Kamera mindestens zwei Bilder (in der Praxis oft drei) aufgenommen werden müssen und, vor allem, dass eine spezielle Projektionseinrichtung erforderlich ist, die in der Lage ist, mindestens zwei verschiedene Beleuchtungen zu realisieren, von denen mindestens eine ein Zufalls- oder Pseudo-Zufallsmuster ist. Andere Verfahren, die auf strukturiertem Licht basieren, benötigen ebenso eine sehr spezielle Projektionseinrichtung und zumeist noch mehr Bildaufnahmen als in der o.g. Patentschrift.
In US 7 623 701 B2 werden mit einer Punkt lichtquelle Bildaufhahmen gemacht, und zwar eine erste Bildaufhahme in einer ersten Kameraposition und eine zweite Bildaufnahme mit mechanisch vertauschter Position von Kamera und Punktlichtquelle. (Um die Ergebnisse zu verbessern, wird das Gleiche nochmal mit um 90 Grad verdrehten Positionen realisiert). Bei Vertauschen von Sender und Empfänger bleibt nach dem Helmholtzschen Gesetz die BRDF erhalten. Ein Nachteil einer solchen Anordnung ist der mechanische Aufwand und insbesondere der Zeitaufwand für das Vertauschen (Kamera und Punktlichtquelle sind auf einer Dreheinrichtung montiert).
Leider weisen bei solchen, auf Austausch von Beleuchtungs- und Betrachtungswinkel beruhenden Verfahren die beiden Bilder am gleichen Objektpunkt nicht immer die gleiche Helligkeit auf; Gleichheit gilt nicht für Oberflächen mit Lambert' scher Reflexion. (Wieso, wird hier eingehender weiter unten in Abschnitt A) erläutert.) Dies geht aus vielen
Veröffentlichungen zu dem Thema nicht hervor.
Der beim o.g. Patent erforderliche Zeitaufwand wird nach US 7 769 205 B2 dadurch vermieden, dass die Punktlichtquelle über einen halbdurchlässigen Spiegel in den
Betrachtungsstrahlengang eingeblendet wird, so dass sich die Lichtquelle virtuell auf der optischen Achse (idealerweise im Projektionszentrum) der Kamera befindet. Nachteilig ist hier der optisch-technische Aufwand. Ersatzweise werden nach Fig. 3B dieser Patentschrift, anstelle einer Einspiegelungseinrichtung, in Richtung der Verbindungslinie zwischen den Kameras, beidseitig, symmetrisch, nah an den Kameras befindliche Beleuchtungen verwendet, was den optisch-technischen Aufwand verringert. Nach US 7 574 067 B2 werden anstelle symmetrisch in Richtung der optischen Achse positionierter Lichtquellen, einseitig, nahe an den Kameras befindliche Beleuchtungen vorgeschlagen, und zwar nicht entlang, sondern senkrecht zur Verbindungslinie der beiden Kameras verschoben. Die Verschiebung ist allerdings aus Sicht der hier vorliegenden Anmeldung bei einer der beiden Kameras in die falsche Richtung realisiert: Würde man stattdessen eine der Beleuchtungen auf der gegenüberliegenden Seite platzieren, wäre die Gleichheit der Grauwerte für denselben Szenepunkt besser erfüllt. Die genauere Erklärung dafür ergibt sich weiter unten bei der Beschreibung der hier vorgeschlagenen Lösung (Abschnitt Dl).
Die US 5 933 240 betrifft die Bestimmung des Abstandes einer ebenen, spiegelnden
Oberfläche. Es wird kein Höhenbild erzeugt. Es wird die Position des Spiegelbildes einer Punktlichtquelle vermessen. Auch hier wird die Punktlichtquelle mittels halbdurchlässigem Spiegel in den Betrachtungsstrahlengang eingeblendet. Ersatzweise wird (nach Fig. 3) mit seitlich, entlang der Verbindungslinie der beiden Kameras, in einem möglichst kleinen Abstand k von den Kameras positionierten Punktlichtquellen gearbeitet, wobei k für beide Seiten exakt gleich sein muss. Es wird allerdings aufgezeigt, diese letztgenannte Technik nur bei spiegelnden Ebenen funktioniert, die parallel zur Verbindungslinie der Kameras liegen, denn bei schräg zur Verbindungslinie der Kameras liegender Spiegelebene entstehen systematische Messfehler. Nach Ansicht des Erfinders der hier vorgestellten Erfindung liegt das daran, dass das Augenmerk auf dem o.g. Abstand k entlang der o.g. Verbindungslinie liegt, und nicht auf dem hier weiter unten eingeführten Winkel w (siehe ab Fig. 3,4,12). Außerdem gelten die in US 5 933 240 zu findenden Überlegungen nur für spiegelnde, ebene Oberflächen und nicht wie hier für praktisch beliebige Szenen.
In US 2015/0281676 Al wird für allgemeine 3D-Szenenerfassung mittels Helmholtz- Reziprozität mit möglichst nah an den Kameras montierten Punktlichtquellen gearbeitet, wobei zum Zweck der Vereinfachung der Korrespondenzfindung der Abstrahlwinkel der Lichtquellen klein gegen den Erfassungswinkel der Kameras ist. ("light cone defined by the solid angle at the apex at the Illumination unit" [0035]). Die Lösungen, die das Helmholtz-Gesetz nutzbar machen, arbeiten entweder mit Punktlichtquellen oder nahezu punktförmigen Lichtquellen, die sich entweder reell oder virtuell in der optischen Achse der der aufhehmenden Kamera Cl gegenüber liegenden Kamera C2 liegen, oder sie arbeiten ersatzweise mit Punktlichtquellen oder nahezu punktförmigen Lichtquellen, die sich in unmittelbarer Nähe von C2 befinden - und
entsprechend umgekehrt. Es ist richtig, dass die Gleichheit der Grauwerte für den gleichen Szenepunkt umso besser erfüllt ist, je näher diese Lichtquellen bei den Kameras liegen. Für glänzende Oberflächenbereiche haben diese Anordnungen jedoch den Nachteil, dass an Punkten starken Unterschiedes zwischen Beleuchtungs- und Betrachtungswinkel nahezu kein Licht zur aufnehmenden Kamera gelangt. Siehe dazu auch weiter unten Text zu Fig. 7.
Zudem gilt: Diese Lösungen haben den Nachteil, dass sie für Lambert' sehe oder nahezu Lambert’ sehe Reflexion nicht funktionieren können. Dies geht aus vielen Veröffentlichungen zum Thema nicht klar hervor; meist wird nur der Fall teilweise oder hauptsächlich spiegelnder Oberflächen behandelt. Bei Lambert’ scher Reflexion gilt nämlich, dass der
Helligkeitseindruck vom Beleuchtungswinkel und nicht vom Betrachtungswinkel abhängt (Begründung siehe Abschnitt A) ). Vertauscht man also Beleuchtungs- und
Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man hier einen unterschiedlichen Helligkeitseindruck.
Die auf strukturiertem Licht basierenden Ansätze sind also technisch aufwendig, die bekannten, auf der Helmholtz-Reziprozität basierenden Ansätze funktionieren bei glänzenden Oberflächenbereichen an Stellen eines größeren Unterschiedes zwischen Beleuchtungs- und Betrachtungswinkel nicht wirklich, und sie funktionieren nicht bei Lambert’ scher oder nahezu Lambert’ scher Reflexion.
Der Erfindung liegt die Aufgabe zugrunde, diese Nachteile zumindest teilweise zu vermeiden.
Die Aufgabe wird erfindungsgemäß gelöst durch Verfahren und Vorrichtungen mit den Merkmalen der beigefugten unabhängigen Patentansprüche. Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den beigefügten abhängigen
Patentansprüchen und der nachfolgenden Beschreibung mit zugehörigen Zeichnungen. Die Figuren sind als nicht maßstäbliche Prinzipdarstellungen zu verstehen. Am Ende der Beschreibung findet sich eine Zusammenstellung von hier verwendeten Bezugszeichen und Begriffen.
Die folgenden Betrachtungen beziehen sich, wenn nichts Weiteres erwähnt, auf jeweils nur ein einzelnes Stereo-Kamerapaar. Pro Kamerapaar kann ein eigenes Abstandsbild erstellt werden, mehrere Abstandsbilder können mit bekannten Methoden zu einem gemeinsamen Abstandsbild fusioniert werden, wodurch eine Genauigkeitserhöhung und/oder eine
Auswertebereichs- Vergrößerung ("Stitching") erreicht wird. Anordnungen mit mehreren Kamerapaaren werden weiter unten diskutiert.
Die Erfindung betrifft sowohl Grauwertbild-Kameras als auch Farbkameras. Um die Beschreibung einfacher und verständlicher zu machen, wird in den Beispielen zunächst von Grauwertbild-Kameras ausgegangen, die Verallgemeinerung auf Farbkameras wird am Ende angegeben.
I
Zur Lösung der o.g. Aufgabe wird eine Beleuchtungs- und Kameraanordnung zur Erstellung eines Abstandsbildes im Arbeitsraum einer Szene mit zumindest teilweise nicht
vollspiegelnden Oberflächen vorgeschlagen, mit mindestens einem Paar von Kameras in Stereo- Anordnung, jedes Kamerapaar eine Kamera Cl und eine Kamera C2 und
mindestens einen Beleuchtungssatz umfassend, wobei jeder Beleuchtungssatz eine
Beleuchtung Ll und eine Beleuchtung L2 umfasst, wobei Ll sich aus Beleuchtungspunkten LP1 zusammensetzt und L2 sich aus
Beleuchtungspunkten LP2 zusammensetzt, wobei mit Cl ein Bild mit Beleuchtung L2 bei deaktivierter Beleuchtung Ll aufgenommen werden kann und mit C2 ein Bild mit Beleuchtung Ll bei deaktivierter Beleuchtung L2 aufgenommen werden kann, dadurch gekennzeichnet, dass die Beleuchtungen so gestaltet und angeordnet sind, dass für mindestens zwei vorgegebene Flächenelemente, die sich in jeweils einem vorgegebenen Punkt Q im Arbeitsraum der Szene mit vorgegebener Normalen N befinden, gilt: Ein Strahl von einem Beleuchtungspunkt LP1 wird an dem Flächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert, und ein Strahl von einem Beleuchtungspunkt LP2 wird an demselben
Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten
Ausfallswinkel bezüglich der Normalen N zu C 1 reflektiert, wobei mindestens zwei dieser Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2, und mindestens zwei dieser Beleuchtungspunkte LP2 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2.
Verschiedene Beleuchtungssätze können Teile von Beleuchtungen gemeinsam haben.
Je schmaler die Reflexionskeulen, desto dichter sollten die Punkte Q gewählt werden.
Nach Anspruch 2 wird unter Verwendung der Anordnung Anspruch 1 zur Erstellung eines Abstandsbildes mit Cl ein Bild mit Beleuchtung L2 bei deaktivierter Beleuchtung Ll aufgenommen und mit C2 ein Bild mit Beleuchtung Ll bei deaktivierter Beleuchtung L2 aufgenommen, wobei auf Basis der aufgenommenen Bilder mittels eines
Korrespondenzfindungsverfahrens Korrespondenzen hergestellt werden und aufgrund der hergestellten Korrespondenzen mittels eines Triangulationsverfahrens das Abstandsbild berechnet wird.
Deaktivierte Beleuchtung bedeutet dabei typischerweise, dass die betreffende Beleuchtung ausgeschaltet ist, sie kann aber auch nur insoweit betreibbar bzw. betrieben sein, z.B.
heruntergedimmt, dass sie keinen oder kaum Einfluss auf die Bildinhalte hat.
Nach Anspruch 3 wird ein Verfahren gemäß Anspruch 2 vorgeschlagen mit für zumindest ein Kamerapaar mehreren Beleuchtungssätzen, wobei mit jedem der Beleuchtungssätze jeweils mit Cl ein Bild mit Beleuchtungssatz L2 aufgenommen wird und mit C2 ein Bild mit Beleuchtungssatz Ll. Beim Vorgehen nach Anspruch 3 entsteht also für jeden Beleuchtungssatz ein Bildpaar von Cl und C2. Die sattsam veröffentlichten Methoden der Korrespondenzfindung arbeiten an der Basis entweder mit einem Vergleich der Grauwerte einzelner Pixel oder mit einem Vergleich kleiner Bildausschnitte. Die Korrespondenzfindung kann hier, ausgehend von bekannten Verfahren, insofern modifiziert werden, als die Vergleiche für jeden Beleuchtungssatz realisiert werden und jeweils das bessere Vergleichsergebnis ausgewählt wird.
Nach Verfahrensanspruch 4 wird, basierend auf einem der vorgenannten
Verfahrensansprüche, zusätzlich mit Cl und mit C2 ein Bild mit einer weiteren Beleuchtung LX aufgenommen.
Nach Anspruch 5 gilt, auf Basis von Anspruch 4, LX = Ll oder LX = L2, also LX ist die Beleuchtung Ll, oder LX ist die Beleuchtung L2.
Mit Anspruch 6 wird eine Anordnung zur Realisierung von Anspruch 4 beansprucht.
Mit Anspruch 7 wird eine Anordnung zur Realisierung von Anspruch 5 beansprucht.
Anspruch 8, nach einem der vorgenannten Vorrichtungsansprüche, ist dadurch
gekennzeichnet, dass sich Ll und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden befinden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand
auszuwertender Szenenpunkte von dieser Ebene minimal ist.
A) Vorbemerkungen und Feststellungen im Zusammenhang mit der Helmholtz- Reziprozität.
Die BRDF (Bidirectional Reflectance Distribution Function) beschreibt das
Reflexionsverhalten an Oberflächen eines Materials und liefert für jeden austretenden Lichtstrahl das Verhältnis von Strahlungsdichte und Bestrahlungsstärke. Die BRDF kann komplizierte Formen annehmen.
Bei zumindest teilweise spiegelnder Reflexion wird die BRDF durch eine sogenannte Reflexionskeule (symmetrisch um den Totalreflexionswinkel, Einfallswinkel =
Ausfallswinkel) gut angenähert; sie nimmt je nach Oberflächenbeschaffenheit
unterschiedliche Breite an.
Grundsätzlich ist die Helmholtz-Reziprozität erfüllt, die besagt, dass das Verhältnis von Strahlungsdichte und Bestrahlungsstärke vorwärts wie rückwärts identisch ist. Werden Lichtquelle und Betrachter vertauscht, so bleibt die BRDF unverändert. Hier wird ein perfekter Austausch von Betrachtungs- und Beobachtungswinkel gegenüber der
Oberflächennormalen vorausgesetzt, im Folgenden kurz "Winkeltausch". Dieses Gesetz gilt unabhängig von der Oberflächencharakteristik. Es folgt allerdings nicht in jedem Fall daraus, dass bei Vertauschung von Lichtquelle und Kamera in der Kamera jedesmal die gleiche Helligkeit entsteht. Bei Lambert'scher Reflexion gilt nämlich, dass der Helligkeitseindruck vom Beleuchtungswinkel und nicht vom Betrachtungswinkel abhängt. Vertauscht man also Beleuchtungs- und Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man hier einen unterschiedlichen Helligkeitseindruck. Das ändert nichts an der Gültigkeit des Helmholtz-Gesetzes. Entscheidend für den
Helligkeitseindruck ist nämlich nicht die Strahlungsdichte, sondern die Leuchtdichte, und diese ist bei gleicher Strahlungsdichte vom Abstrahlwinkel abhängig. Bei Lambert' scher Reflexion nimmt einerseits die Reflexionskeule eine Kreisform an, wobei der Kreis senkrecht auf der Oberfläche steht, woraus sich eine cos- Abhängigkeit vom Abstrahlwinkel ergibt, andererseits ist aber auch die Leuchtdichte bei gleicher Strahldichte mit cos-Gesetz vom Abstrahlwinkel abhängig, wobei sich beide Effekte kompensieren. Daraus resultiert, dass bei Lambert'scher Reflexion der Helligkeitseindruck unabhängig vom Betrachtungswinkel ist.
Im Folgenden wird die folgende Bedingung als Glanzbedingung bezeichnet: Wenn ein Strahl von einem Beleuchtungspunkt LP1 an dem Flächenelement in Punkt Q mit erstem
Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert wird, wird auch ein Strahl von einem Beleuchtungspunkt LP2 an demselben Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten
Ausfallswinkel bezüglich der Normalen N zu C 1 reflektiert. Siehe hierzu Anspruch 1. Die Bedingung heißt Glanzbedingung, weil sich eine Punktlichtquelle auf einer glänzenden Ebene an nur einem Punkt in einem bestimmten Winkel, und zwar mit Einfallswinkel =
Ausfallswinkel (Glanzwinkel) spiegelt. Zur Veranschaulichung wird die Situation in Fig. 2a dargestellt. Erster Einfallswinkel und erster Ausfallswinkel sind hierbei gleich und in Fig. 2a mit gl bezeichnet. Zweiter Einfallswinkel und zweiter Ausfallswinkel sind gleich und in Fig. 2a mit g2 bezeichnet. Zur Verdeutlichung: Wenn auf einer rauen Oberfläche, also bei gestreuter Reflexion, ein Strahl an einem Punkt mit ungleichem Einfallswinkel und
Ausfallswinkel zu einer Kamera gestreut wird, ist das kein Glanzwinkel. Sind bei dieser gestreuten Reflexion an dem Punkt Einfallswinkel von Lichtquelle und Ausfallswinkel zur Kamera gleich, dann wird dieser Winkel Glanzwinkel genannt, wenn auch die Oberfläche nicht glänzt.
Der eingezeichnete Winkel w wird weiter unten bei Fig. 12 erläutert.
Die Bedingung ist nach dem im Folgenden beschriebenen Vorgehen über einen größeren auszuwertenden Szenenbereich und Neigungsbereich zumindest näherungsweise erfüllbar. Man beachte hierbei:„Wenn,... dann.. das heißt nicht, dass überall im Szenenbereich Licht im Glanzwinkel von Ll zu C2 reflektiert wird - oder umgekehrt.
Erfüllung der Glanzbedingung bedeutet nicht unbedingt Erfüllung der Helmholtz- Reziprozität, denn hier findet nicht unbedingt ein Austausch von Beleuchtungs- und
Betrachtungswinkel statt.
Die Glanzbedingung ist mit der erfindungsgemäßen Beleuchtungsanordnung an den in den Ansprüchen gewählten Punkten Q erfüllt, an anderen Punkten muss sie nicht unbedingt erfüllt sein. Bei geeigneter Verteilung (am einfachsten: die Punkte homogen über mögliche Positionen und Oberflächennormalen verteilen) kann man erreichen, dass die Glanzbedingung überall im interessierenden Parameterraum (Ort-Oberflächenneigung) zumindest
näherungsweise erfüllt ist.
Die Bedingung von Anspruch 1, dass mindestens zwei der Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2, ist in Fig. 2b veranschaulicht, mit Beleuchtungen Ll und L2, an deren unterem Ende mit je einem dicken Balken die Leuchtflächen dargestellt werden. Es sind in der Figur für Ll als Beleuchtungspunkte die zwei am weitesten voneinander entfernten Punkte gewählt; sie liegen im Abstand d voneinander entfernt. D ist der Abstand der Projektionszentren der Kameras. Es muss hier also gelten d > D/15.
Bevorzugt, aber nicht notwendigerweise gilt die Bedingung d > D/15 nur für solche
Beleuchtungspunktepaare derselben Beleuchtung im Abstand d, bei denen die zugehörigen Flächenelemente örtlich nicht zu weit auseinander liegen und nicht zu verschiedene
Normalenvektoren haben (empfohlene Werte: Ortsunterschied < 1/3 des Arbeitsraums der Szene in der am weitesten ausgedehnten Dimension des Arbeitsraums, Richtungsunterschied < 30 Grad). Dann funktioniert die weiter unten beschriebene Erweiterung von
Reflexionskeule zu effektiver Reflexionskeule besser.
Um die weiter unten gezeigten Figuren 3,4, 7 - 15 nicht unnötig zu verkomplizieren, werden dort nur Beleuchtungspunkte und nicht ganze Beleuchtungen eingezeichnet. Die letztgenannte Bedingung d > D/15 wird erst wichtig, sobald man dann konstruktiv die Beleuchtungen aus Beleuchtungspunkten zusammensetzt.
B) Ausgangspunkt: Beleuchtung reell oder virtuell im Projektionszentrum der gegenüberliegenden Kamera.
Fig. 1 zeigt eine abzutastende Szene 1, vereinfacht als Grundebene 4 mit darauf liegendem Quader mit unebener Oberfläche dargestellt. Der auszuwertende Szenenbereich ist darin begrenzt (nicht eingezeichnet).
Die Beleuchtungen Ll und L2, hier Punktlichtquellen, sind schematisch durch
Glühlampensymbole dargestellt, die sich nach klassischem Ansatz im Zentrum von Cl bzw. C2 befinden. Hier kann im ganzen Szenenbereich die Helmholtz-Reziprozität ausgenutzt werden. Und es gilt auch überall im Szenenbereich die Glanzbedingung, denn WENN
Strahlen von Oberflächenelementen von Ll auf einem Oberflächenpunkt P im Glanzwinkel zu C2 reflektiert werden, werden umgekehrt auch Strahlen von Oberflächenelementen von L2 an demselben Oberflächenpunkt P im Glanzwinkel zu Cl reflektiert. Fig. 2 zeigt eine - nach der hier vorgeschlagenen Vorgehens weise - falsche (obwohl gefällige, symmetrische) Anordnung der Beleuchtungen. Strahlen von Ll landen im
Glanzwinkel in C2, aber Strahlen von L2 weitab von Cl .
Fig. 3 und 4 zeigen eine - nach der hier vorgeschlagenen Vorgehens weise - richtige
Anordnung der Beleuchtungen für einen speziellen Punkt P der Objektoberfläche: WENN Strahlen von einem Beleuchtungspunkt LP1 im Glanzwinkel in C2 landen, landen Strahlen von einem Beleuchtungspunkt LP2 in Cl. Der dort eingezeichnete Winkel w wird weiter unten bei Fig. 12 erläutert.
Im Folgenden wird mit Fig. 5 und 6 die grundsätzliche Funktionsweise beim klassischen Ansatz veranschaulicht.
In Fig. 5 betrachten wir einen Objektpunkt P. Wie mit Pfeilen angedeutet, werde er von L2 beleuchtet. Das von L2 ausgehende Licht wird am Punkt P reflektiert. Die umgekehrte Situation zeigt Fig. 6. Die Reflexionscharakteristik wird mit der Reflexionskeule 2 repräsentiert. Beleuchtungs- und Betrachtungswinkel sind jedesmal unterschiedlich, dennoch ist der Helligkeitseindruck bei Cl und C2 gleich (hier: keine Lambert’sche Reflexion):
Entsprechend der Blendenöffnung von Cl wird in Fig. 5 ein Anteil 3 aus der Reflexionskeule herausgeschnitten. Dieser Anteil landet im Objektiv von Cl . In Fig. 6 wird der Punkt P von Ll beleuchtet. Das von Ll ausgehende Licht wird am Punkt P reflektiert, entsprechend der Blendenöffnung von C2 wird ein Anteil 3 aus der Reflexionskeule herausgeschnitten. Dieser Anteil 3 landet im Objektiv von C2.
Auch wenn die Blendenöffnungen der beiden Kameras gleich sind, werden am Punkt P bei unterschiedlicher Entfernung zu Cl und C2 leicht unterschiedlich breite Bereiche aus den Reflexionskeulen herausgeschnitten. Dieser Effekt ist vemachlässigbar, denn mit in Fig. 5 kleiner werdendem Abstand von P zu Cl (Ausschnitt größer) wird der Abstand von P zu Ll größer, wodurch der Licht- Ausschnitt von L2, der von einem Flächenelement bei P herausgeschnitten wird, kleiner wird. Das kompensiert sich gegenseitig näherungsweise. Eine Höhenvariation (und damit Verkürzung oder Verlängerung beider Abstände) von P spielt dabei keine Rolle, denn bei der Korrespondenzfindung geht es ja nur um einen Vergleich der Grauwerte, nicht um deren absolute Werte. C) Ein Nachteil des klassischen Ansatzes.
Für Oberflächenbereiche mit sehr schmaler Reflexionskeule haben die klassischen
Anordnungen jedoch den Nachteil, dass an sehr zahlreichen Punkten das Licht nicht im Glanzwinkel zur aufnehmenden Kamera gelangt. Dies wird mit Fig. 7 veranschaulicht, wo im Vergleich zu Fig. 6 bei schmaler Reflexionskeule kein Licht zur Kamera C2 gelangt. Meist ist in solchen Situationen noch eine kleine Resthelligkeit festzustellen, diese dürfte aufgrund von Fremdlicht, indirektem Licht oder einer noch zusätzlich vorliegenden, schwachen diffusen Reflexion zustande kommen. Jedenfalls sind die beiden Bilder in Cl und C2 für eine
Korrespondenzfindung kaum geeignet. Oder beide Bilder sind an solchen Objektbereichen schlichtweg schwarz, was die Korrespondenzfindung dort völlig unmöglich macht.
D) Vermeidung des Nachteils nach Anspruch 1 bis 3
Dieser Nachteil wird durch die erfindungsgemäße Positionierung, Gestaltung und Form der Beleuchtungen und Bildaufhahmen beseitigt.
Nach klassischem Urteil müssen sich die Beleuchtungen als Punktlichtquellen reell oder virtuell im Projektionszentrum der betreffenden Kamera befinden, oder ersatzweise als punktförmige oder kleinflächige Beleuchtungen in unmittelbarer Nähe der Projektionszentren. Im Gegensatz zu dieser Lehre sind hier die Beleuchtungen in einer speziellen, unten beschriebenen Weise über einen größeren Raum verteilt.
Der Helmholtz’sche Winkeltausch ist dabei im Allgemeinen nicht für alle Punkte P und alle Oberflächenneigungen überall anwendbar, dafür sind die Bilder aber auch bei schmalen Reflexionskeulen im Gegensatz zu bekannten Anordnungen in einem großen Szenenbereich und in einem großen Winkelbereich der Oberflächennormalen auswertbar.
Die Beleuchtungen können dabei großflächig sein oder aus jeweils mehreren diskreten Beleuchtungselementen bestehen - oder beides.
Man vergleiche hierzu die Figur 1 mit den Figuren 3 und 4. Durch Superposition der
Beleuchtungsanordnung Fig. 3 und Fig. 4 erreicht man die Auswertbarkeit in einem größeren Winkelbereich. Dies gilt dies auch für einen größeren Positionsbereich in der Szene. Im Unterschied zu Fig. 3 ist bei Fig. 4 das Oberflächenelement nach außen geneigt. Dadurch soll verdeutlicht werden, dass mit einer Mehrzahl, einen größeren Raum einnehmenden
Beleuchtungskomponenten die Auswertbarkeit in einem größeren Winke lbereich erreichbar ist.
Nach klassischem Urteil müssen die Beleuchtungen in den Projektionszentren der Kameras liegen oder ersatzweise möglichst nah daran und näherungsweise punktförmig sein. Die Auswertung ist unter diesen Bedingungen bei schmalen Reflexionskeulen nach Erfahrungen des Erfinders jedoch problematisch; die Beleuchtungen müssen eine gewisse
Mindestausdehnung haben, wobei die Oberflächenelemente in Ll bzw. L2 mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2 voneinander entfernt sein müssen, vorzugsweise sogar 1/10, und bevorzugt in 2 Dimensionen. Grundsätzlich können die zur Abstandsbetrachtung herangezogenen Oberflächenelemente verschiedenen
Beleuchtungssätzen angehören. Mit mehr ausgedehnten Beleuchtungen werden die effektiven Reflexionskeulen breiter, was die oben angesprochenen Nachteile der rein materialbezogen (d.h. bei Beleuchtung mit einem einzelnen Strahl geltenden) schmalen Reflexionskeulen entschärft, s.a. Fig. 7. Fig. 8 zeigt vergleichend links eine rein materialbezogene, d.h. bei Beleuchtung mit einem einzelnen Strahl (Punktlichtquelle) geltende Reflexionskeule (hier kurz Reflexionskeule) und rechts für das gleiche Material eine breitere, effektive
Reflexionskeule, wie sie sich bei Beleuchtung mit einer flächig ausgedehnten Beleuchtung ergibt.
Im Folgenden werden zunächst Konstruktionsregeln beschrieben, wie Beleuchtungspunkte positioniert werden können, um, ausgehend von einer gedachten Position der
Beleuchtungspunkte in den Projektionszentren der Kameras, die Glanzbedingung herzustellen oder beizubehalten, vorzugsweise für einen zentral gelegenen Szenenpunkt. Durch gedankliche Überlagerung solcher Beleuchtungspunkte ergeben sich damit erfindungsgemäße Beleuchtungs-Formen und -Fagen. Anschließend werden einige Beispiele solcher
erfindungsgemäßen Beleuchtungs-Formen und Beleuchtungslagen angegeben.
Dl) Konstruktionshinweise
Bezeichnungen:
FP1 = Beleuchtungspunkte zu Fl, FP2 = Beleuchtungspunkte zu F2. Beleuchtungspunkte sind Punkte, aus denen die Beleuchtungen konstruktiv zusammengesetzt werden.
Gefunden werden können die folgenden Lösungen dadurch, dass man gedanklich, ausgehend von LP1 im Projektionszentrum von Cl und LP2 in Projektionszentrum von C2, für einen Punkt Q entweder beide Beleuchtungspunkte oder einen Beleuchtungspunkt mit einer Kamera (Ll mit C2 oder L2 mit Cl) oder beide Kameras derart bewegt, dass sich die Glanzbedingung einstellt. Oder, falls die Glanzbedingung schon bei Lage von LP1 und LP2 in den
Projektionszentren gegeben ist, dass die Glanzbedingung erhalten bleibt. Vorteilhafterweise, aber nicht notwendigerweise, wählt man die Position und die Richtung der
Oberflächennormalen der Punkte Q gleichmäßig im Arbeitsraum verteilt Dann sind auch die Abweichungen von den idealen Reflexionsbedingungen gleichmäßig und symmetrisch über den Arbeitsraum verteilt.
Die folgenden Beispiele Fig. 9 bis 15 liefern eine allgemeine Lehre für dieses Vorgehen. In diesen Figuren ist die Glanzbedingung schon bei Lage von LP1 und LP2 in den
Projektionszentren gegeben, die Glanzbedingung wird hier also nicht durch die Bewegung erst hergestellt, sondern die Beleuchtungspunkte werden so bewegt, dass die Glanzbedingung erhalten bleibt.
In Fig. 9 befinden sich LP1 und LP2 gedacht im Zentrum von Cl bzw. C2. Man stelle sich nun vor, dass sich die Beleuchtungspunkte in symmetrischer Weise von dort fortbewegen, und zwar symmetrisch bezüglich der Blickrichtung der betreffenden Kamera, im konkreten Beispiel bewegt sich LP1 in Kamera-Blickrichtung von Cl nach rechts - das ist in Richtung zum Betrachter der Figur - und LP2 in Kamera-Blickrichtung von C2 nach links, - das ist ebenso in Richtung des Betrachters der Figur! ("unten-oben" s. Figur, wobei hier die einander zugewandten Seiten der Kameras als oben gelten.) Beide Beleuchtungspunkte werden also in Richtung des Betrachters der Figur bewegt, wobei der Betrag des (hier nicht eingezeichneten) Drehwinkels um den Punkt Q gleich ist. Das Ergebnis ist die Situation in Fig. 10: Beide Beleuchtungspunkte LP1 und LP2 befinden sich neben den Kameras, beide zum Betrachter der Figur hin, unter Beibehaltung der Glanzbedingung an einem Punkt in der Nähe von Q (leicht in Richtung zum Betrachter der Figur verschoben, daher nicht eingezeichnet), bei gleicher Oberflächenneigung. Die Bedingungen lt. Anspruch 1 gelten dann für diesen Punkt. Ein der Glanzbedingung genügendes Ergebnis erhält man aus Symmetriegründen genauso, wenn man dementsprechend nicht die Beleuchtungspunkte, sondern die Kameras bewegt.
Anmerkung: Vergleicht man die Figuren 5 und 6 mit der Fig. 1 der oben erwähnten US 7 574 067 B2, so erkennt man, dass dort die Anordnung der Punktlichtquellen ungünstig ist: Würde man stattdessen eine der Beleuchtungen auf der gegenüberliegenden Seite platzieren, wären die beiden Bilder für den gleichen Szenepunkt ähnlicher. Im Sinne der hier vorliegenden Erfindung ist die Anordnung nach US 7 574 067 B2 falsch.
In den folgenden Figuren 11 bis 17 wird jeweils die Ausgangssituation einer gedachten Bewegung mit durchgezogenen Linien gekennzeichnet, und die nach symmetrischer
Bewegung sich ergebenden Änderungen gestrichelt dargestellt.
In Fig. 11 wurden die Beleuchtungspunkte ausgehend von der Situation Fig. 10 um die optische Achse der Kameras gedreht, in Blickrichtung gesehen jeweils rechts herum in einem Drehwinkel von 90 Grad. Das funktioniert bei allen Drehwinkeln.
Gemäß Fig. 12 kann man die prinzipiell gleiche Anordnung erreichen, indem man, ausgehend von der Situation Fig. 9, LP1 und C2 symmetrisch jeweils um den Winkel w um den Punkt Q nach unten ("unten-oben" s. Figur, wobei hier die einander zugewandten Seiten der Kameras als oben gelten) dreht.
Das Ganze funktioniert gemäß Fig. 13 auch bei flachen Beleuchtungs- und
Betrachtungswinkeln.
Fig. 14 und 15 zeigen die Situation analog zu Fig. 9 und 12, wo LP1 und C2 in die gleiche Richtung verschoben werden, indem ausgehend von Situation Fig. 9 LP1 in Blickrichtung von Cl gesehen nach rechts verschoben wurde und C2 in Blickrichtung von C2 gesehen nach rechts - und zwar jeweils mit dem gleichen Drehwinkelbetrag w.
Aus den Beispielen ist eine Lehre zum Erreichen der Glanzbedingung ersichtlich an einem Punkt Q: - LP1 und LP2 in gegensätzliche Richtung verschieben, gesehen in Kamerarichtung, mit gleichem Betrag des sich ergebenden Drehwinkels um den Punkt Q, wobei die einander zugewandten Seiten der Kameras als oben gelten (s. Fig. 9); daraus ergeben sich die
Richtungen "nach links“, "rechts“, ""oben", "unten".
- LP1 und LP2 drehen in gleicher Drehrichtung um Cl bzw. C2, gesehen in Kamera- Blickrichtung.
- LP1/C2 (oder LP2/C1) in gleicher Richtung verschieben, gesehen in Kamerarichtung, mit gleichem Betrag des sich ergebenden Drehwinkels um den Punkt Q, wobei die einander zugewandten Seiten der Kameras als oben gelten (s. Fig. 9); daraus ergeben sich die
Richtungen "nach links“, "rechts“, ""oben", "unten".
Und ohne Figur, aufgrund von Symmetrieüberlegungen:
- Cl und C2 entsprechend in gegensätzliche Richtung verschieben, gesehen in
Kamerarichtung, wobei die einander zugewandten Seiten der Kameras als oben gelten.
- Cl und C2 entsprechend drehen in gleicher Drehrichtung um LP1 bzw. LP2, gesehen in Kamera-Blickrichtung.
Danach können die Beleuchtungspunkte entlang der Strahlen zum Punkt Q, siehe z.B. 11 und 12 in den Figuren 3,4,11, prinzipiell verschoben werden, denn dadurch ändert sich nichts an den Beleuchtungsrichtungen, allerdings kann sich dadurch bei kleinen Entfernungen die Beleuchtungsstärke bzw. die Leuchtdichte merklich verändern.
D2) Beispiele
Durch Superposition von jeweils mehreren Beleuchtungspunkten LP1 und LP2 nach den o.g. Vorschriften erhält man erfindungsgemäße Beleuchtungen Ll bzw. L2.
Fig. 16 zeigt eine solche Anordnung in perspektivischer Darstellung. In Fig. 16 ist bei den Lampen mit den parallelen Strichen nur sehr grob angedeutet, dass die Haupt-Leuchtrichtung der Lampen durchaus unterschiedlich sein kann, und zwar vorteilhaft einfach in Richtung Szene. Auf die Haupt-Leuchtrichtung aus Sicht der Lampen kommt es nicht an, sondern auf die Richtung, mit der die Strahlen in der Szene auf die Oberfläche auftreffen, was sich letztlich aus der Position der diskreten Beleuchtungselemente bzw. der Oberflächenelemente der flächigen Beleuchtungen ergibt (vgl. Ende des vorigen Abschnitts). In den Figuren 17 und 18 sind schematisch gezeichnet Beispiele in Draufsicht gezeigt, in Fig. 17 mit großflächigen Beleuchtungen, in Fig. 18 mit mehreren diskreten
Beleuchtungselementen, letztere symbolisch mit Lampensymbolen dargestellt. Das Schema Fig. l7a entspricht dem Beispiel Fig. 16. Natürlich kann man auch großflächige
Beleuchtungen mit diskreten Beleuchtungselementen kombinieren. Mit Varianten Fig. l7d und l8a wird gezeigt, dass man eine großflächige Lampe bzw. ein diskretes
Beleuchtungselement auch zweifach nutzen kann. Eine Anordnung nach Fig. l7e ist günstig, wenn die Kameras schräg auf die unter den Lampen befindliche Szene blicken.
Je nach Anwendungsfall kann man eine passende Konfiguration nach den hier beschriebenen Konstruktionsvorschriften realisieren. So zeigt z.B. Fig. 19 eine Anwendung der Anordnung nach Fig. l7b für die 3D-Szenenerfassung eines Fahrzeugs 8: unterhalb der Frontscheinwerfer oder zusätzlich angebrachter Beleuchtungen Ll und L2 befinden sich die Kameras Cl und C2. Natürlich kann so nur der Bereich ausgewertet werden, der sowohl mit Ll als auch mit L2 abgedeckt wird. Entsprechend den obigen Überlegungen können sich die Kameras auch oberhalb der Lampen befinden oder auch seitlich (beide links oder beide rechts der Lampen); Ll und L2 können aus mehreren diskreten Beleuchtungen bestehen, auch können mehrere solche Kameraanordnungen verwendet werden, um eine genauere Auswertung zu erreichen.
Bei umfangreichen Szenen mit großem Oberflächen-Neigungsbereich kann das Vorgehen nach Anspruch 3 von Vorteil sein. In Lig. 20 wird in Draufsicht ein Beispiel angegeben, mit i=l..l, j=l..2. Durch die Vorgehensweise werden neigungs- und auch ortsspezifisch optimale Beleuchtungskonstellationen realisiert, was die Korrespondenzfindung erleichtert.
IL
Nach Ansprüchen 4 - 7 kann man auch den Fall von Oberflächenpartien mit Lambert'scher Reflexion bzw. nahezu Lambert'scher Reflexion bearbeiten. Wie oben begründet, ist bei Lambert'scher Reflexion der Helligkeitseindruck nur von der Beleuchtungsrichtung, aber nicht von der Betrachtungsrichtung abhängig. Für diesen Fall werden die beiden Bilder von Cl und C2 mit der gleichen Beleuchtung aufgenommen. Diese Beleuchtung kann eine separat realisierte Beleuchtung sein (Ansprüche 4 und 6); elegant ist die Verwendung der ohnehin vorhandenen Beleuchtungen Ll oder L2 (Ansprüche 5 und 7). Für Oberflächenpartien mit Lambert'scher Reflexion wird nach den Ansprüchen 6 und 8 wahlweise das Cl-Bild, aufgenommen mit L2, verglichen mit dem C2-Bild, aufgenommen mit L2 - oder es wird das Cl-Bild, aufgenommen mit Ll, verglichen mit dem C2-Bild, aufgenommen mit Ll. Dies ist möglich ohne zusätzlichen apparativen Aufwand. Im praktischen Betrieb werden alle vier Bilder ohne zusätzlichen Zeitaufwand aufgenommen, denn die Parallelisierung der
Bildaufnahme von 2 Kameras (bei gleicher Beleuchtung) ist Stand der Technik. Für den Zusatz nach den Ansprüchen 5 und 7 ist für die Bildaufnahme also keine zusätzliche Zeit erforderlich.
Die zahlreichen veröffentlichten Methoden der Korrespondenzfindung arbeiten an der Basis entweder mit einem - im weitesten Sinne - Vergleich der Grauwerte einzelner Pixel oder mit einem Vergleich kleiner Bildausschnitte. Erfindungsgemäß werden hier jeweils zwei solche Vergleiche (je nach Grundverfahren Bildpunkt- oder Bildausschnitt) realisiert, und zwar 1) Vergleich des C1-F2 Bilds mit dem C2-F1 Bild (für den Fall überwiegend glänzender Oberfläche) und 2) Vergleich des Cl-Fl Bilds mit dem C2-F1 Bild (für den Fall
Famberfscher Oberfläche); von diesen beiden Vergleichen wird jeweils das bessere
Vergleichsergebnis ausgewählt, wobei sich anbietet, bezüglich dieser Auswahl Glänzend vs. Fambert einen "Smoothness Constraint" zu realisieren. Natürlich kann hier bei 2) wahlweise oder zusätzlich das C1-F2 Bild mit dem C2-F2 Bild verglichen werden.
III.
Nach Anspruch 8 befinden sich Fl und F2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf einer Geraden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und die senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die durch das Zentrum des auszuwertenden Szenenbereichs geht und so geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist. Typischerweise ist die Hauptebene parallel mit der in Fig. 1 eingezeichneten Grundebene 4.
Eine solche Anordnung wird in Fig. 18b gezeigt. Vorteile:
Durch die erfindungsgemäßen Lösungen werden die oben geschilderten Probleme gelöst.
Mit den erfindungsgemäßen Beleuchtungen ist erreichbar, dass auch über den ganzen Szenenbereich Grauwerte der Bilder von Cl und C2 für gleiche Szenenpunkte zumindest ungefähr gleich sind.
Die das Helmholtz-Gesetz nutzenden klassischen Verfahren basieren auf dem Austausch von Beleuchtungs- und Betrachtungswinkel (kurz Winkeltausch), dabei müssen sich die
Lichtquellen idealerweise reell oder virtuell im Projektionszentrum der Kameras befinden, was entsprechend mehreren bekannten Vorschlägen mit einer aufwendigen Anordnung mit halbdurchlässigen Spiegeln gelöst wird. Näherungsweise können sich nach bekannten Vorschlägen die Lichtquellen in direkter Nähe der Projektionszentren befinden. Bei den mit der vorliegenden Erfindung vorgeschlagenen Verfahren und Anordnungen können sich die Beleuchtungen durchaus weitab der Projektionszentren befinden. Dabei findet i.A. kein direkter Helmholtz'scher Winkeltausch statt, Einfallswinkel und Ausfallswinkel werden jedoch von Bildaufhahme mit Cl zu Bildaufhahme mit C2 so geändert, dass sich hier zwar (im Gegensatz zum Helmholtz-Gesetz) das Verhältnis der Lichtstärke Beleuchtung zu Betrachtung stark verändern kann, aber andererseits das Verhältnis der
Betrachtungslichtstärken Cl zu C2 tendenziell erhalten bleibt, und darauf kommt es hier an. Das Verhältnis der Betrachtungslichtstärke gesehen in Cl und beleuchtet mit L2, zur Betrachtungslichtstärke gesehen in C2 und beleuchtet mit Ll bleibt tendenziell erhalten. Dies gilt auch außerhalb der Punkte Q, wo die Glanzbedingung nicht erfüllt sein muss, sich also Einfallswinkel und Ausfallswinkel unterscheiden können.
Dies wird mit den Figuren 21 und 22 veranschaulicht: In beiden Figuren wird die Situation vor einer gedachten Bewegung (s. Konstruktionsvorschriften) mit durchgezogenen Strichen gezeichnet und nach der Bewegung mit gestrichelten Linien. Einfallswinkel und
Ausfallswinkel sind deutlich unterschiedlich. In Fig. 22 sind im Vergleich zu Fig. 21 an den durchgezogenen Linien Einfalls- und Ausfallswinkel vertauscht, es gilt dort also die
Helmholtz-Reziprozität, daher sind hier die beiden Reflexionskeulen gleich groß gezeichnet. In Fig. 21 wird der Effekt der Bewegung von Ll gezeigt: Durch eine Drehung des Beleuchtungswinkels von Ll nach rechts wird die Reflexionskeule um den gleichen Betrag nach links gedreht. Dadurch wird von C2 weniger Licht aus der Reflexionskeule
herausgeschnitten. In Lig. 22 wird der Effekt der lt. Konstruktionsvorschriften zugehörigen Bewegung von L2 gezeigt: Durch eine Drehung des Beleuchtungswinkels L2 ebenso nach rechts wird die Reflexionskeule um den gleichen Betrag nach links (!) gedreht. Dadurch wird ebenso von C 1 weniger Licht aus der Reflexionskeule herausgeschnitten. In beiden Kameras erscheint also der betrachtete Punkt P nach der (gedachten) Bewegung dunkler, und nur diese Bedingung ist für eine zuverlässige Stereoanalyse wichtig, ein Helmholtz'scher Winke ltausch ist nicht unbedingt erforderlich!
Randbemerkung: Drehung jedesmal in die gleiche Richtung hier übrigens gegen die Intuition, siehe hierzu auch die gemäß der o.g. US 7 574 067 B2 vorgeschlagene, im Sinne der hier vorliegenden Erfindung falschen Anordnung (mit nach klassischem Vorgehen Lichtquellen ganz in der Nähe der Kamerazentren).
Dass Grauwerte der Bilder von Cl und C2 für gleiche Szenenpunkte über die ganze Szene zumindest ungefähr gleich sind, ist ein ganz besonderer Vorteil auch deshalb, weil die obige Betrachtung auch für lokal spiegelnde Glanzstellen gilt. Bei konventionellem Stereo, also Beleuchtung aus irgendeiner Raumrichtung, sind lokale Glanzstellen äußerst störend. Sie entstehen ja dort, wo "Einfallswinkel von Beleuchtung = Ausfallswinkel zu Kamera" gilt, bei einer einzigen Beleuchtungsrichtung, für beide Kameras - außer in speziellen symmetrischen Situationen - an einem Szenenpunkt nur entweder für die eine oder für die andere Kamera. Daher sind lokale Glanzstellen in der einen Kamera bei konventionellem Stereo so gut wie nie identisch mit lokalen Glanzstellen in der anderen Kamera, und das erschwert die
Stereoauswertung bei konventioneller Anordnung ganz erheblich.
Bei dem hier vorgestellten Verfahren hingegen sind lokale Glanzstellen systembedingt in beiden Bildern gleich oder fast gleich. Da sie zudem naturgemäß einen hohen Kontrast aufweisen, ermöglichen sie eine besonders zuverlässige Korrespondenzfindung auch gerade an den ansonsten problematischen Stellen. Ein gravierender Nachteil des konventionellen Stereo wird also durch die hier vorgestellte Beleuchtungsanordnung und Vorgehensweise in einen wichtigen Vorteil verwandelt. Dies gilt überraschenderweise, obwohl echte
Spiegelbilder von Punktlichtquellen an etwas verschobenen Punkten auftauchen können. Für Szenenbereiche mit Struktur (Objektkanten, sich lokal ändernde Oberflächenneigungen, stark strukturierte oder gekrümmte Oberflächenbereiche wie Welligkeiten, Wölbungen,
Helligkeitsunterschiede durch Bedruckung, Verschmutzung, variierende
Reflexionseigenschaften durch Bearbeitungsspuren, etc.) ist die Korrespondenzfindung nach dem vorgestellten Verfahren auch an Stellen nur näherungsweise erfüllter Glanzbedingung wesentlich erleichtert. Gerade bei solchen Szenen treten die Glanzstellen, obwohl je nach Szenepunkt kein perfekter Winkeltausch stattfindet, in den beiden Bildern an denselben Oberflächenstellen auf, und zwar im Gegensatz zu den klassischen Verfahren, in einem größeren Szenenbereich und Winkelbereich der Oberflächennormalen - ein wesentlicher Vorteil des hier vorgestellten Ansatzes.
Durch erfindungsgemäßes Vorgehen können zahlreiche solche (hier!) hilfreiche Glanzstellen hervorgerufen werden und durch Vorgehen nach Anspruch 3 auch leicht in Cl und C2 einander zugeordnet werden.
Mit der Vorgehensweise nach Ansprüchen 4 bis 7 wird erreicht, dass mit derselben
Einrichtung und ohne zusätzlichen apparativen Aufwand und ohne zusätzlichen Zeitaufwand bei der Bildaufnahme auch der Fall Lambert'scher Oberflächenreflexion behandelt wird, auch wenn unbekannt ist, ob und an welchen Stellen Lambert'sche Oberflächenreflexion vorliegt.
Nach Anspruch 8 befinden sich Ll und L2 zumindest näherungsweise auf Geraden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die durch das Zentrum des
auszuwertenden Szenenbereichs geht und so geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.
Diese Anordnung hat den Vorteil, dass mit der hier vorgestellten Erfindung die Lösung die oben unter "Effekt b)" und„Effekt c)“ angesprochenen Probleme wesentlich erleichtert wird: Szenenpartien, die von einer ersten Kamera eingesehen werden, von der zweiten aber nicht, befinden sich bei einer Anordnung nach Anspruch 8 im Dunkeln (Schlagschatten). Dies wird mit Fig. 23 der Einfachheit halber veranschaulicht anhand der klassischen Situation mit im Projektionszentrum der Kamera liegenden Beleuchtungen; die Überlegung aber gilt ähnlich, wenn sich die Beleuchtungen auf der in Anspruch 8 beschriebenen Geraden befinden. Bei Beleuchtung mit Ll sind von C2 aus die Schlagschattenbereiche S einsehbar. Der Sichtbarkeitsbereich von Cl jedoch umfasst genau diese Bereiche exakt abgegrenzt gerade NICHT, da die Schlagschatten über eine Beleuchtung aus genau der Betrachtungsrichtung von Cl zustande kommen. In Fig. 23 ist der schematisch ein Grauwertverlauf dargestellt, wie er aus Sicht von C2 zustande kommt. Die Schlagschattenbereiche aus Sicht von C2 bei Beleuchtung mit Ll sind über unkritische Schwellwertverfahren vorab erkennbar und können bei der Korrespondenz- Suche von vomeherein ausgeklammert werden; dasselbe gilt umgekehrt für die Schlagschattenbereiche aus Sicht von Cl bei Beleuchtung mit L2.
Bei anderen erfindungsgemäßen Beleuchtungen, die nicht der in Anspruch 8 beschriebenen Anordnung entsprechen, gelangt auch Licht in den oben bezeichneten Schattenbereich hinein. Dieses Problem wird durch Anspruch 8 gelöst. Danach befinden sich Ll und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.
In der mit Fig. 23 dargestellten Situation ist die Oberfläche irgendwie strukturiert (angedeutet durch den gezeichneten„wilden“ Helligkeitsverlauf); aufgrund der Strukturierung können die Korrespondenzen Cl mit C2 unter Weglassen der Schattenbereiche von C2 hergestellt werden, und entsprechend umgekehrt. Bei homogenen Oberflächen jedoch ist es zwar einfach, in C2 den Schattenbereich zu erkennen und demzufolge auszulassen, doch kann es bei homogenen Oberflächen schwierig werden, in Cl die zugehörigen Grenzen zu finden.
Dies gilt für homogene Oberflächen natürlich umgekehrt genauso für die Grenzfindung in C2 für in Cl sichtbare Schattenbereiche. In der Praxis sind die Kanten meist irgendwie geformt (schwache Rundungen, Fasen), woraus sich an diesen Stellen kleine Helligkeitsänderungen ergeben, was man bei homogenen Oberflächen als Hinweis für diese Grenzen in Cl verwenden kann. Mit zusätzlichen, gegenüber den Beleuchtungen nach Anspruch 8 leicht nach außen (in den Figuren etwas links von Cl und etwas rechts von C2) ragenden
Beleuchtungen kann man erreichen, dass die Schlagschattengrenzen auf der Gegenseite (in Cl im Beispiel Fig. 23) bei homogenen Oberflächen zwar nur andeutungsweise, aber zuverlässig erkennbar sind, unabhängig von der Kantenform. Dies müssen keine extra Beleuchtungen sein, es genügt erfahrungsgemäß auch eine kleine Ausdehnung der Beleuchtungen nach Anspruch 8 in die o.g. Richtungen. Mit einer kleinen Ausdehnung befinden sich nach wie vor Ll und L2 näherungsweise auf den in Anspruch 8 genannten Geraden.
Bekannte, auf strukturiertem Licht basierende Methoden arbeiten mit einem einzelnen Projektionsgerät. Das heißt, auch sie leiden darunter, dass, wie in Fig. 7 veranschaulicht, bei schmalen Reflexionskeulen und größerem Unterschied zwischen Beleuchtungs- und
Betrachtungswinkel nur wenig oder gar kein Licht zum Empfänger gelangt. Man muss das Problem durch entsprechend energiereiche Lichtquellen entschärfen, was zu Problemen der Arbeitssicherheit führen kann. Bei dem hier präsentierten Vorschlag wird aufgrund der Verteilung der Lichtquellen über einen größeren Raum dieses Problem entschärft.
Sonstiges:
Mehrere Kamerapaare:
Mit mehreren Kamerapaaren können, wie oben erwähnt, mehrere Abstandsbilder erzeugt und dann fusioniert werden. Dabei kann auch eine Kamera für mehrere Kamerapaare eingesetzt werden. Im Beispiel Fig. 24 (Ansicht von oben auf die Szene) handelt es sich um vier
Kameras 11 bis 14 (Richtung Szene - also vom Betrachter weg - geneigt) und bis zu sechs Paare 21 bis 26. Die Beleuchtungen sind gegenüber dem Zentrum versetzt gemäß den oben aufgeführten Konstruktionsregeln.
Farbe:
Die geschilderten Verfahren und Anordnungen funktionieren ebenso mit Farbkameras. Statt bei der Korrespondenz- Suche einzelne Grauwerte oder Inhalte von Grauwertfenstem zu vergleichen, braucht man nur die Farbwerte oder Inhalte von Farbwertfenstem zu vergleichen, z.B. die Rot-Grün-Blau Werte. Bei bunten Szenen wird dadurch die Auswertung gegenüber reiner Intensitätsauswertung vereinfacht und das Ergebnis verbessert.
Technische Maßnahmen: Die beiden Bildaufnahmen (einerseits Cl mit L2, andererseits C2 mit Ll) sind irgendwie voneinander zu trennen. Dies kann auf verschiedene Weise geschehen. Bei zeitlicher
Trennung werden die beiden Bilder (kurz) hintereinander aufgenommen, wobei jeweils L2 bzw. Ll eingeschaltet ist. Dies ist mit heutiger Bildaufnahmetechnik auch bei sehr kurzen Zeitdifferenzen kein Problem. Man kann die Aufnahmen auch echt gleichzeitig realisieren und anderweitig trennen, z.B. spektral oder über Polarisierung.
Es sollte dafür gesorgt werden, dass Fremdlicht entweder abgeschottet wird, oder dass die Auswertung auf kleine Wellenlängenbereiche beschränkt wird, in denen Ll und L2 arbeiten, so dass das Fremdlicht vernachlässigt werden kann. Auch ist es möglich, zunächst je ein Bild mit nur Fremdlicht aufzunehmen und dieses Bild vor der Bildauswertung abzuziehen. Diese Methoden sind in der industriellen Bildverarbeitung bekannt und verbreitet. Für Szenen mit sehr hoher Dynamik ist die Verwendung von HDR ("high dynamic range")-Kameras angezeigt.
Die Bildauswertung kann in einer von den Kameras getrennten Auswerteeinheit wie einem PC stattfinden oder aber in einer der beiden Kameras ("intelligente Kameras") oder in einer Auswerteeinheit, an die lediglich die Bildsensoren angeschlossen sind.
Schlussbemerkungen:
Die Bedingungen nach Anspruch 1 sind natürlich aus fertigungstechnischen und
montagetechnischen Gründen an den Rändern der Beleuchtungen nicht immer ganz exakt erfüllbar; so kann es z.B. schon durch ein geringfügiges Verrutschen einer Beleuchtung passieren, dass ein Beleuchtungsstrahl vom Rand von Ll bei C2 landet, aber umgekehrt nicht ein Beleuchtungsstrahl vom Rand von L2 bei Cl. Gegen solche Situationen sind die hier vorgestellten Verfahren tolerant, die in Anspruch 1 formulierten Bedingungen gelten dann als trotzdem gegeben.
Die Kalibrierung von Stereokameras ist ein in der Literatur ausführlich und ausreichend behandeltes Thema und wird daher hier nicht beschrieben. Eine geometrische Kalibrierung der Lichtquellen hat sich bei den hier vorgeschlagenen Anordnungen als überflüssig erwiesen, es sind lediglich die hier beschriebenen Montagevorschriften einzuhalten. Eine
Helligkeitskalibrierung ist auf naheliegende, einfache Weise realisierbar: Lampenhelligkeit und/oder Kameraverstärkungen werden praktischerweise so eingestellt, dass ein zentral gelegener Szenenpunkt in beiden Kameras möglichst gleich hell erscheint. Man geht am besten so vor, dass anhand einer Lambert'schen Oberfläche zunächst bei gleichbleibender Beleuchtung die beiden Kameras abgeglichen werden und anschließend anhand einer glänzenden Oberfläche paarweise die Beleuchtungen. Danach kann man noch durch Bewegen der Oberfläche(n) eine ortsspezifische Normierung für die Bildauswertung realisieren.
Bildaufnahme und/oder Auswertung können im Stilstand oder in Bewegung (Kamera oder Szene) stattfinden. Ein Beispiel veränderlicher Szenen ist die Sicherheitsüberwachung im Arbeitsraum eines konventionellen oder kooperativen Roboters.
Bezugszeichen und Begriffe:
1 Szene
Arbeitsraum der Szene: hier befinden sich die Punkte auf Oberfläche in der Szene, von der ein Abstandsbild erstellt werden soll.
Hauptebene der Szene: Nur verwendet in Anspruch 8, siehe dort.
2 Reflexionskeule
Für einen gegebenen Einfallswinkel rein materialbezogen, d.h. bei Beleuchtung mit einem einzelnen Strahl (Punkt lichtquelle) geltende Reflexionskeule. Die breitere, effektive
Reflexionskeule ergibt sich bei einer flächig ausgedehnten Beleuchtung.
3 Ausschnitt aus Reflexionskeule
4 Grundebene der Szene
8 Fahrzeug (nur Fig. 19) 11-14 Kameras von Kamerapaaren (nur Lig. 24)
21-26 Kamerapaare (nur Lig. 24)
S: Schlagschatten
P: Punkt auf Oberfläche in der Szene, von der ein Abstandsbild erstellt werden soll.
Q: Frei gewählter Punkt im Arbeitsraum, mit einem Oberflächenelement mit frei gewählter Normale N
L: Beleuchtung allgemein
Ll,L2: Beleuchtungen
Cl,C2: Kameras
Zentrum einer Kamera: kurz für Projektionszentrum der Kamera.
Zu Diskreten Beleuchtungselementen und Beleuchtungssätzen:
Die Beleuchtungen Ll und L2 können großflächig sein oder aus jeweils mehreren diskreten Beleuchtungselementen bestehen - oder beides.
Ein Beleuchtungssatz besteht aus Beleuchtung Ll und Beleuchtung L2.
Verschiedene Beleuchtungssätze können Teile von Beleuchtungen gemeinsam haben.
LP1, LP2 Beleuchtungspunkte: ein leuchtender Punkt von Ll bzw. L2
11, 12: Geraden durch Q und LP1 bzw. LP2

Claims

Ansprüche
1. Beleuchtungs- und Kameraanordnung zur Erstellung eines Abstandsbildes im Arbeitsraum einer Szene mit zumindest teilweise nicht vollspiegelnden Oberflächen, mit mindestens einem Paar von Kameras in Stereo- Anordnung, jedes Kamerapaar eine Kamera C 1 und eine Kamera C2 und
mindestens einen Beleuchtungssatz umfassend, wobei jeder Beleuchtungssatz eine
Beleuchtung Ll und eine Beleuchtung L2 umfasst, wobei Ll sich aus Beleuchtungspunkten LP1 zusammensetzt und L2 sich aus
Beleuchtungspunkten LP2 zusammensetzt, wobei mit Cl ein Bild mit Beleuchtung L2 aufgenommen werden kann bei deaktivierter Beleuchtung Ll und mit C2 ein Bild mit Beleuchtung Ll aufgenommen werden kann bei deaktivierter Beleuchtung L2, dadurch gekennzeichnet, dass die Beleuchtungen so gestaltet und angeordnet sind, dass für mindestens zwei vorgegebene Llächenelemente, die sich in jeweils einem vorgegebenen Punkt Q im Arbeitsraum der Szene mit vorgegebener Normalen N befinden, gilt: Ein Strahl von einem Beleuchtungspunkt LP1 wird an dem Llächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert, und ein Strahl von einem Beleuchtungspunkt LP2 wird an demselben
Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten
Ausfallswinkel bezüglich der Normalen N zu C 1 reflektiert, wobei mindestens zwei dieser Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2, und mindestens zwei dieser Beleuchtungspunkte LP2 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2.
2. Verfahren zur Erstellung eines Abstandsbildes, unter Verwendung der Anordnung nach Anspruch 1, wobei mit Cl ein Bild mit Beleuchtung L2 aufgenommen wird bei deaktivierter Beleuchtung Ll und mit C2 ein Bild mit Beleuchtung Ll aufgenommen bei deaktivierter Beleuchtung L2 wird, und wobei auf Basis der aufgenommenen Bilder mittels eines
Korrespondenzfindungsverfahrens Korrespondenzen hergestellt werden und aufgrund der hergestellten Korrespondenzen mittels eines Triangulationsverfahrens das Abstandsbild berechnet wird.
3. Verfahren Anspruch 2 mit für zumindest ein Kamerapaar mehreren Beleuchtungssätzen, wobei mit jedem der Beleuchtungssätze mit Cl ein Bild mit L2 des betreffenden
Beleuchtungssatzes aufgenommen wird und mit C2 ein Bild mit Ll des betreffenden
Beleuchtungssatzes.
4. Verfahren nach einem der vorgenannten Verfahrensansprüche, dadurch gekennzeichnet, dass zusätzlich mit C 1 und mit C2 ein Bild mit einer Beleuchtung LX aufgenommen wird.
5. Verfahren nach Anspruch 4, mit LX = Ll oder LX = L2.
6. Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass
zusätzlich mit C 1 und mit C2 ein Bild mit einer Beleuchtung LX aufnehmbar ist.
7. Anordnung nach Anspruch 6, mit LX = Ll oder LX = L2.
8. Anordnung nach einem der vorgenannten Vorrichtungsansprüche, dadurch
gekennzeichnet, dass sich Ll und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden befinden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand
auszuwertender Szenenpunkte von dieser Ebene minimal ist.
PCT/EP2019/055285 2018-03-04 2019-03-04 Erstellung eines abstandsbildes WO2019170591A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018001668.5 2018-03-04
DE102018001668 2018-03-04

Publications (1)

Publication Number Publication Date
WO2019170591A1 true WO2019170591A1 (de) 2019-09-12

Family

ID=65657478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/055285 WO2019170591A1 (de) 2018-03-04 2019-03-04 Erstellung eines abstandsbildes

Country Status (2)

Country Link
DE (1) DE102019105358B4 (de)
WO (1) WO2019170591A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020207575A1 (de) 2020-06-18 2021-12-23 Pepperl+Fuchs Ag Stereoskopische Kamera und Verfahren zu deren Betrieb
DE102021121121A1 (de) 2020-08-24 2022-02-24 Vision Tools Hard- Und Software Entwicklungs Gmbh Vorrichtung zur Ermittlung geometrischer Eigenschaften einer Oberfläche mittels polarisierten Lichts
DE102022104041B3 (de) 2022-02-21 2023-02-23 Vision Tools Hard- Und Software Entwicklungs Gmbh Anordnung und Verfahren zur Aufnahme von Bildern
WO2023156021A1 (de) 2022-02-21 2023-08-24 Vision Tools Hard- Und Software Entwicklungs-Gmbh Anordnung und verfahren zur aufnahme von bildern
DE102022125357A1 (de) 2022-09-30 2024-04-04 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Oberflächeninspektionssystem sowie Computerprogramm und computerlesbares Speichermedium zur Vermessung und / oder Inspektion von Oberflächen eines Objektes

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933240A (en) 1997-02-12 1999-08-03 Jurca; Marius Christian Method and apparatus for determining the distance between a base and a specular surface by means of radiation reflected at the surface
DE102006001634B3 (de) 2006-01-11 2007-03-01 Tropf, Hermann Erstellung eines Abstandsbildes
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US7623701B2 (en) 2004-12-10 2009-11-24 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
WO2013102572A1 (en) * 2012-01-05 2013-07-11 Teknologian Tutkimuskeskus Vtt Arrangement for optical measurements and related method
DE102013212827A1 (de) * 2013-07-01 2015-01-08 Sac Sirius Advanced Cybernetics Gmbh Verfahren und Vorrichtung zur optischen Formerfassung und/oder Prüfen eines Gegenstandes
US20150281676A1 (en) 2014-03-31 2015-10-01 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
US20170244876A1 (en) * 2016-02-23 2017-08-24 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and image processing program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933240A (en) 1997-02-12 1999-08-03 Jurca; Marius Christian Method and apparatus for determining the distance between a base and a specular surface by means of radiation reflected at the surface
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US7623701B2 (en) 2004-12-10 2009-11-24 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
DE102006001634B3 (de) 2006-01-11 2007-03-01 Tropf, Hermann Erstellung eines Abstandsbildes
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
WO2013102572A1 (en) * 2012-01-05 2013-07-11 Teknologian Tutkimuskeskus Vtt Arrangement for optical measurements and related method
DE102013212827A1 (de) * 2013-07-01 2015-01-08 Sac Sirius Advanced Cybernetics Gmbh Verfahren und Vorrichtung zur optischen Formerfassung und/oder Prüfen eines Gegenstandes
US20150281676A1 (en) 2014-03-31 2015-10-01 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
US20170244876A1 (en) * 2016-02-23 2017-08-24 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and image processing program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UKIDA HIROYUKI ET AL: "3D shape and color estimation using linear light sources and cameras", 2015 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES (IST), IEEE, 16 September 2015 (2015-09-16), pages 1 - 5, XP032791496, DOI: 10.1109/IST.2015.7294577 *

Also Published As

Publication number Publication date
DE102019105358B4 (de) 2020-03-26
DE102019105358A1 (de) 2019-09-05

Similar Documents

Publication Publication Date Title
DE102019105358B4 (de) Erstellung eines Abstandsbildes
EP1971820B1 (de) Erstellung eines abstandsbildes
DE112005002690B4 (de) Verfahren und System zur optischen Kantenbestimmung
DE102006001634B3 (de) Erstellung eines Abstandsbildes
EP1987348B1 (de) Verfahren zum Erkennen von Fehlern auf der Oberfläche eines zylindrischen Objekts
WO2002090952A1 (de) Verfahren und vorrichtung zur berührungsfreien untersuchung eines gegenstandes, insbesondere hinsichtlich dessen oberflächengestalt
DE102005010523A1 (de) Kontrasterhöhender Rückprojektionsschirm
DE2230037A1 (de) Bewegungsbilder
DE3424211C2 (de)
DE112017001785T5 (de) Head-up-Anzeigegerät
EP2916258B1 (de) 2d-barcode-scanner
DE102005034990B4 (de) Verfahren und Vorrichtung zur Digitalprojektion mit hoher Bildschärfe
DE2364609C3 (de) Beleuchtungsvorrichtung für photographische Zwecke
DE102008022292B4 (de) Vorrichtung und Verfahren zur Formerfassung und/oder zur Bestimmung des diffusen und/oder des gerichteten Reflexionsanteils eines Objekts
DE102018105794B4 (de) Abbildung eines Objektes mittels Schattenwurf
EP2987115A1 (de) Vorrichtung und verfahren zum erzeugen von bildinformationen aus einem zu erfassenden gegenstand
DE102021121121A1 (de) Vorrichtung zur Ermittlung geometrischer Eigenschaften einer Oberfläche mittels polarisierten Lichts
DE102022104041B3 (de) Anordnung und Verfahren zur Aufnahme von Bildern
WO2023156021A1 (de) Anordnung und verfahren zur aufnahme von bildern
EP3309506B1 (de) Vorrichtung und verfahren zur räumlichen erfassung der oberfläche eines objektes
DE10301094B4 (de) Vorrichtung zur Messung des Abstandes von Entfernungspunkten zu einer Kamera
EP3049757A1 (de) Fahrwerksvermessung bei umgebungslicht
WO2020127828A1 (de) Vorrichtung, vermessungssystem und verfahren zur erfassung einer zumindest teilweise spiegelnden oberfläche unter verwendung zweier spiegelungsmuster
DE10051009A1 (de) Verfahren zur Erkennung eines Prägebilds einer Münze in einem Münzautomaten
DE102022116099B3 (de) Oberflächeninspektionssystem und Verfahren zur Erfassung von Oberflächendefekten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19708847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19708847

Country of ref document: EP

Kind code of ref document: A1