WO2023156021A1 - Assembly and method for capturing images - Google Patents

Assembly and method for capturing images Download PDF

Info

Publication number
WO2023156021A1
WO2023156021A1 PCT/EP2022/054277 EP2022054277W WO2023156021A1 WO 2023156021 A1 WO2023156021 A1 WO 2023156021A1 EP 2022054277 W EP2022054277 W EP 2022054277W WO 2023156021 A1 WO2023156021 A1 WO 2023156021A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
camera
spectral range
image
cameras
Prior art date
Application number
PCT/EP2022/054277
Other languages
German (de)
French (fr)
Inventor
Hermann Tropf
Original Assignee
Vision Tools Hard- Und Software Entwicklungs-Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Tools Hard- Und Software Entwicklungs-Gmbh filed Critical Vision Tools Hard- Und Software Entwicklungs-Gmbh
Priority to PCT/EP2022/054277 priority Critical patent/WO2023156021A1/en
Publication of WO2023156021A1 publication Critical patent/WO2023156021A1/en

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to an arrangement and a method for recording images of an object surface using a first camera and a second camera in a stereo arrangement.
  • the images can be used to obtain a distance image.
  • Distance images encode the distance of the points of the scene's surface (object points or background points) from the sensor (generally a camera) or the elevation of these points relative to a plane, in contrast to conventional images that encode gray values or colors.
  • the pixels of a distance image therefore contain distance information (e.g. distance or height) of the associated object point that is displayed in each case. It is a classic computer vision problem.
  • the aim is, for example, the 3D acquisition of the fine or coarse structure or waviness or bending of a component or the localization of surface defects or an assembly control or the determination of the position of one or more objects of known geometry in a scene (example: "picking in the box ").
  • the invention can be applied to a wide variety of surface characteristics, including mixed ones, from fully diffuse (Lambert 1 see reflection), to matt, weakly glossy (eg paper), glossy (eg metallically glossy in various roughness levels), to partially reflective. The more shiny a surface, the narrower the reflection lobe.
  • BRDF Bidirectional Reflectance Distribution Function
  • Fully reflective surfaces or large surface areas without a diffuse component are not considered here; deflectometry methods are suitable for this.
  • the methods and arrangements described here are used for triangulation with cameras in a stereo arrangement to obtain a distance image.
  • stereo methods objects recorded from different camera positions are shifted and/or distorted in the images in relation to one another for systemic reasons, which ultimately contains the distance information to be found.
  • stereo methods the most difficult problem is determining the correspondence of the pixels, i.e. the assignment of the pixels of one camera to the corresponding ones of the other camera. If the correspondence is known, a distance image can be calculated using triangulation if the recording geometry is known.
  • Triangulation is known state of the art, there is extensive, old and new literature on correspondence determination, the correspondence determination has not yet been satisfactorily solved in numerous applications.
  • the description of this invention focuses on measures to simplify the determination of correspondence.
  • features at a point PI in an image from the camera CI are compared with features at a point P2 in an image from the camera C2.
  • the features are from data obtained by the camera at pixels PI in camera CI's image and P2 in camera C2's image (P1/P2) or there in small image sections (windows).
  • quality values are determined for correspondence hypotheses P1/P2, which result from the comparison of the characteristics of PI with those of P2.
  • the bidirectional reflection distribution is retained according to the Helmholtz reciprocity.
  • LI is either real or virtual in the optical axis of CI and L2 is either real or virtual in the optical axis of C2.
  • LI is in close proximity to CI and L2 is in close proximity to C2 (US 7,623,701 B2, US 7,769,205 B2, US 7,574,067 B2, US 2015/0281676 A1). If an image is recorded with CI with illumination L2, and conversely an image is recorded with C2 with illumination LI, then with brilliant reflection at a surface point P the gray values of the corresponding points of P are the same.
  • Images of LI can also be taken with CI and images of L2 can also be taken with C2 (see eg 0081).
  • the object of the present invention is to at least partially eliminate the disadvantages mentioned.
  • Fig. 2 shows a problem of the known arrangement with reflection in the gloss
  • Fig. 3a, b shows the effect of the solution according to the invention for the gloss component
  • 4a, b the effect of the solution according to the invention for the gloss component, with a decentralized surface point
  • the reflecting component depends on the angle at which the light falls and on the angle at which the camera is aimed at the surface.
  • a reflection with a gloss component also takes place at angles that deviate more or less from it.
  • gray value image cameras and color image cameras can be used for the invention. In order to make the description simpler and easier to understand, the examples are initially based on greyscale cameras, and the generalization to color image cameras is given at the end.
  • Fig. 1 shows the known arrangement with two cameras CI and C2 and two point light sources LI and L2, which are located in the immediate vicinity of Cl and C2.
  • An image of surface 1 is recorded with CI illuminated with L2 (CI, L2 drawn with thick lines).
  • R3 is the effective reflection lobe.
  • an image with illumination LI is also recorded with C2.
  • the gray values of the corresponding points of P in CI and C2 are the same.
  • Fig. 2 shows the above-mentioned difficulty when light is reflected from LI in the gloss to CI ("reflection").
  • the Helmholtz reciprocity applies here to Ll/Cl.
  • One is therefore dependent on the diffuse component here. Since the luminance in Lambertian reflection depends on the lighting and is independent of the viewing direction, the diffuse component is the same in both cameras with the same lighting. If one takes the illumination LI for this, the diffuse component appears in C2, but in CI the diffuse component is overlaid by the strongly specular reflection from LI. On the other hand, the same applies to L2/C2.
  • the invention presented here uses polarized illumination in a special arrangement and polarization direction and assignment to the cameras, as well as simple polarization filters with a special polarization direction in the respective beam path to the image recorders (image sensors) of the cameras.
  • Simple linear filters are sufficient as polarization filters; alternatively, circular filters can also be used (with a suitable sequence of linear filters/Lambda quarter plate).
  • the two lights LI and L2 are arranged so that when rays from the first light LI are reflected on a surface point P in the glancing angle to the second camera C2 , rays from the second illumination L2 are also reflected at least approximately at the same surface point P in the glancing angle to the first camera CI.
  • the arrangement is characterized in that there is a polarization filter in the beam path of each camera, each with a polarization direction, the polarization direction of the first camera rC1, and the polarization direction of the second camera rC2, and that the illumination LI operates with a first polarization direction rLl and the second further illumination L2 operates with a second polarization direction rL2, and that the camera and illumination polarization directions are oriented such that light from LI reflecting on the surface toward camera CI is substantially blocked at Rcl and that light from L2 specularly reflected at the surface towards camera C2 is substantially blocked at Rc2. and that light specularly reflected from LI to C2 is substantially transmitted at Rc2 and light specularly reflected from L2 to CI is substantially transmitted at Rcl.
  • the polarization filters can be located in the beam path of the cameras in front of the lens or in the lens or between the lens and the image recorder of the respective camera.
  • the polarization filters according to the invention in the beam path of the cameras are also implemented in polarization cameras with their (typically 2 ⁇ 2) pixel polarization filter arrangements of different polarization directions, in which the pixels of a single, selected polarization direction can be detected.
  • the polarization directions are set up and fixed when configuring the system or in the event of a service case according to the conditions described and are retained for different surfaces during operation.
  • the last condition LI according to C2 and L2 according to CI
  • FIG. 3a and 3b show the solution for the gloss component, with the reflection lobes R3.
  • Camera CI and lighting L2 are active in FIG. 3a
  • camera C2 and lighting LI are active in FIG. 3b.
  • a central point P of the surface is considered in FIG. 3a/b.
  • the gloss components are the same in both cameras, since this light component, reflected from LI to C2, is essentially transmitted and the light component, reflected from L2 to CI, is essentially transmitted.
  • Fig. 5 shows the solution to the above problem when light is reflected from LI in the specular to CI.
  • the filter rCl prevents the polarized light from reaching CI from LI.
  • the reflection of FIG. 5 corresponds to a specular reflection from a plane perpendicular to the polarized illumination beam.
  • specular back-reflection there is indeed a phase jump, but the direction of polarization is retained and thus the blocking by the polarization filter rCl, which is transverse to the direction of polarization. This effect is weakened only slightly if the LI/CI are further apart.
  • FIG. 6a shows the diffuse component R2 when illuminated by LI.
  • the diffuse component is indicated in the figures by the circle R2.
  • the star symbol 2 is intended to indicate unpolarized light.
  • the arrow symbol 3 is intended to indicate polarized light.
  • the two polarization filters rC1 and rC2 let through the same portion of the diffuse portion that is the same for both cameras. This applies to any tilt angle of the surface 1 at the reflecting point.
  • FIG. 6b shows the situation when illuminated by L2.
  • the illumination angle is flatter and the diffuse light component is correspondingly weaker, indicated by the smaller circle R2 in FIG. 6b.
  • FIG. 7 shows the diffuse component for a symmetrical situation, that is to say a symmetrical lighting/camera position. It should be noted that in a symmetrical situation, when the specular parts L1/C2 and L2/C1 are the same ( Figures 3 and 4), with locally isotropic surfaces, the diffuse parts Ll/Cl, L1/C2, L2/C1, L2/C2 are all are the same (in terms of amount, the same angle of incidence).
  • the first illumination LI is advantageously located in a ring around the optical axis of the first camera CI, see FIG. 8, and the second illumination L2 is in a ring around the optical axis of the second camera C2.
  • the conditions for using the Helmholtz reciprocity (illumination Ll/2 on the optical axis of Cl/2) are thus well approximated.
  • Livonli Livonli shine + Livonlidiffuse
  • Livonre Livonre Luster + Livonrediffuse, etc.
  • Revonlidiffus Livonlidiffus (diffuse, same lighting, i.e. independent of viewing direction),
  • Livonrediffus Revonrediffus (diffuse, same lighting, i.e. independent of viewing direction) .
  • FIG. 9 shows the evaluation of the cast shadow formation according to DE 10 2019 105 358 B4, FIG. 23; L2 is switched on to determine the cast shadow areas 4 visible in camera CI, which are not visible in camera C2 and therefore cannot contribute to the determination of correspondence. Symmetrical to this, the cast shadow areas visible in camera C2, which are not visible in camera CI and therefore not for correspondence determination, are determined can contribute, LI turned on. This is done by evaluating Livonre and Revonli at separate times. With this temporal separation, 2 shots are therefore required.
  • the image can be recorded with a single shot on achromatic surfaces by separating them by color.
  • the lights LI and L2 can be operated with different colors F1 or F2, and the two cameras are color cameras that are able to separate these two colors.
  • the illumination LI takes place with two spectral ranges, sLO and SL1.
  • the lighting L2 is done with two spectral ranges, sLO and sL2.
  • the camera CI can work in a spectral range sCO that overlaps with spectral range sLO and in a spectral range sC2 that overlaps with spectral range sL2.
  • the camera C2 can work in the spectral range sCO and in a spectral range sCl, which overlaps with the spectral range sL1.
  • the spectral ranges sL1 and sCO do not overlap, or only slightly, as do the spectral ranges sL2 and sCO.
  • spectral ranges sL1 and sC2 do not or only slightly overlap, as do the spectral ranges sL2 and sCl.
  • lighting spectral ranges sL0, sL1 and sL2 can preferably be realized by assembling narrow-band light-emitting diodes, as indicated by arrows in FIG. 10;
  • the spectral ranges sCO, sC1 and sC2 are broadband ranges, as indicated by curves in FIG.
  • the images recorded by the cameras C1 and C2 can be further processed to determine the cast shadow.
  • camera CI processes the image it has recorded in the spectral range sC2
  • camera C2 processes the image it has recorded in the spectral range sCl.
  • the drop shadow areas appear black or nearly black in the images captured by the two cameras. This makes it easy to determine the shadow areas.
  • the requirements for the spectral ranges can be met very well, with the specified spectral ranges not having to be contiguous, i.e. they can consist of disjunctive individual ranges.
  • distance images of a surface are made possible by means of stereo analysis without movement (the laser light section requires movement that must be synchronized with the signal processing), without complex pattern projection devices, with lighting units that are easy to implement and with inexpensive, easily available on the market available standard greyscale or color cameras. It is with the same arrangement the evaluation of both locally as well as proportionately mixed diffuse and specular reflecting surfaces possible without knowing how these material properties are distributed on the surface.
  • Color cameras can be used to advantage for colored surfaces: Instead of comparing individual gray values or contents of gray value windows when determining correspondence, you only need to compare the color values or contents of color value windows, eg the red-green-blue values. In the case of colored surfaces, this simplifies the evaluation compared to pure intensity evaluation and improves the result.
  • HDR cameras can also be used to expand the dynamic range.
  • the invention is not limited to the use of 2D cameras, but line cameras, ie cameras in which only one or very few directly or closely adjacent lines are scanned, can also be used without modifications.
  • the image evaluation of the spectral components can be carried out in at least one of the two cameras CI, C2 ("intelligent cameras") or in one of the cameras mera's separate evaluation unit such as a PC or in an evaluation unit to which only the image sensors of the cameras are connected.
  • the camera C. . . . can work in a spectral range after the image has been recorded” and "the camera C... processes the image it has recorded”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The assembly and the method for capturing images of a surface using two cameras in a stereo configuration simplify the process of generating the point correspondences in order to obtain a distance image. Polarized illuminations are used in a special arrangement and polarization orientation, and simple polarization filters are used with a special orientation in the respective beam path relative to the image sensors of the cameras. The process of generating point correspondences has the following advantages: the analysis of surfaces which are reflective in a diffused and specular manner both locally as well as in a proportionately mixed manner is facilitated without needing to detect the distribution of said material properties on the surface. Highlights appear at the same surface location in the two cameras. Cast shadow regions only appear in one of the two cameras and can be removed in advance from the process of determining correspondences. The image capturing process is possible with only a single shot and even with rapid movements (of the camera or the surface).

Description

Anordnung und Verfahren zur Aufnahme von Bildern Arrangement and method for taking pictures
Die Erfindung betrifft eine Anordnung und ein Verfahren zur Aufnahme von Bildern einer Objektoberfläche mittels einer ersten Kamera und einer zweiten Kamera in Stereoanordnung. Die Bilder können zum Gewinnen eines Abstandsbildes verwendet werden. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben codieren, die Entfernung der Punkte der Oberfläche der Szene (Objektpunkte oder Hintergrundpunkte) vom Sensor (im Allgemeinen einer Kamera) oder die Höhe dieser Punkte relativ zu einer Ebene. Die Bildpunkte eines Abstandsbildes enthalten also eine Entfernungsinformation (z.B. Abstand oder Höhe) des jeweils zugehörigen abgebildeten Objektpunktes. Es handelt sich um ein klassisches Computer- Vision-Problem. The invention relates to an arrangement and a method for recording images of an object surface using a first camera and a second camera in a stereo arrangement. The images can be used to obtain a distance image. Distance images encode the distance of the points of the scene's surface (object points or background points) from the sensor (generally a camera) or the elevation of these points relative to a plane, in contrast to conventional images that encode gray values or colors. The pixels of a distance image therefore contain distance information (e.g. distance or height) of the associated object point that is displayed in each case. It is a classic computer vision problem.
Technische Anwendungen finden sich u.a. in Maschinenbau, Robotik einschließlich Servicerobotik, Elektronik-Produktion, Archäologie, Bekleidungsindustrie, Biometrie, Medizin und Reverse Engineering. Technical applications can be found in mechanical engineering, robotics including service robotics, electronics production, archaeology, the clothing industry, biometrics, medicine and reverse engineering.
Ziel ist dabei beispielsweise die 3D-Erfassung der Fein- oder Grobstruktur oder Welligkeit oder Verbiegung eines Bauteils oder die Lokalisierung von Oberflächendefekten oder auch eine Montagekontrolle oder die Bestimmung der Lage eines oder mehrerer Objekte bekannter Geometrie in einer Szene (Beispiel: „Griff in die Kiste“). Die Erfindung ist anwendbar auf unterschiedlichste Oberflächencharakteristiken, auch gemischt, von voll diffus (Lambert1 sehe Reflektion), über matt, schwach glänzend (z.B. Papier), glänzend (z.B. metallisch glänzend in verschiedenen Rauig- keitstufen), bis teilspiegelnd. Je glänzender eine Oberfläche, desto schmaler wird die Reflekionskeule. Kenntnis der bidirektionalen Reflektionsverteilungsfunktion (BRDF - Bidirectional Reflectance Distribution Function) wird nicht als bekannt vorausgesetzt. Nicht betrachtet werden hier voll spiegelnde Oberflächen oder große Oberflächenteile ohne Diffusanteil, dafür sind Methoden der Deflektometrie geeignet. The aim is, for example, the 3D acquisition of the fine or coarse structure or waviness or bending of a component or the localization of surface defects or an assembly control or the determination of the position of one or more objects of known geometry in a scene (example: "picking in the box "). The invention can be applied to a wide variety of surface characteristics, including mixed ones, from fully diffuse (Lambert 1 see reflection), to matt, weakly glossy (eg paper), glossy (eg metallically glossy in various roughness levels), to partially reflective. The more shiny a surface, the narrower the reflection lobe. Knowledge of the Bidirectional Reflectance Distribution Function (BRDF) is not assumed. Fully reflective surfaces or large surface areas without a diffuse component are not considered here; deflectometry methods are suitable for this.
Die hier beschriebenen Verfahren und Anordnungen dienen der Triangulation mit Kameras in Stereoanordnung zur Gewinnung eines Abstandsbildes. Bei Stereo- Verfahren sind systembedingt aus verschiedenen Kamerapositionen aufgenommene Objekte in den Bildern gegeneinander örtlich unterschiedlich verschoben und/oder verzerrt, worin letztlich die zu findende Ab Standsinformation steckt. Bei Stereo- Verfahr en ist nun das schwierigste Problem die Bestimmung der Korrespondenz der Bildpunkte, d.h. die Zuordnung der Bildpunkte der einen Kamera zu den entsprechenden der anderen Kamera. Ist die Korrespondenz bekannt, so kann bei bekannter Aufnahmegeometrie über Triangulation ein Abstandsbild berechnet werden. The methods and arrangements described here are used for triangulation with cameras in a stereo arrangement to obtain a distance image. In stereo methods, objects recorded from different camera positions are shifted and/or distorted in the images in relation to one another for systemic reasons, which ultimately contains the distance information to be found. With stereo methods, the most difficult problem is determining the correspondence of the pixels, i.e. the assignment of the pixels of one camera to the corresponding ones of the other camera. If the correspondence is known, a distance image can be calculated using triangulation if the recording geometry is known.
Die Triangulation ist bekannter Stand der Technik, zur Korrespondenzbestimmung gibt es eine ausführliche, alte und neue Literatur, die Korrespondenzbestimmung ist in zahlreichen Anwendungen bis heute nicht zufriedenstellend gelöst. Die Beschreibung zu dieser Erfindung konzentriert sich auf Maßnahmen zur Vereinfachung der Korrespondenzbestimmung. Triangulation is known state of the art, there is extensive, old and new literature on correspondence determination, the correspondence determination has not yet been satisfactorily solved in numerous applications. The description of this invention focuses on measures to simplify the determination of correspondence.
Zur Korrespondenzbestimmung werden jeweils Merkmale an einem Punkt PI in einem Bild der Kamera CI mit Merkmalen eines Punktes P2 in einem Bild der Kamera C2 verglichen. Die Merkmale sind aus Daten, die die Kamera an den Pixeln PI in dem Bild der Kamera CI und P2 in dem Bild der Kamera C2 (P1/P2) oder dort in kleinen Bildausschnitten (Fenster) liefert, abgeleitet. Im Laufe der Korrespondenzbestimmung werden für Korrespondenzhypothesen P1/P2 Gütewerte bestimmt, die sich aus dem Vergleich der Merkmale von PI mit denen von P2 ergeben. To determine the correspondence, features at a point PI in an image from the camera CI are compared with features at a point P2 in an image from the camera C2. The features are from data obtained by the camera at pixels PI in camera CI's image and P2 in camera C2's image (P1/P2) or there in small image sections (windows). In the course of the correspondence determination, quality values are determined for correspondence hypotheses P1/P2, which result from the comparison of the characteristics of PI with those of P2.
Um die Korrespondenzbestimmung zu erleichtern, sind verschiedene Verfahren bekannt, die auf strukturiertem Licht basieren. Diese Verfahren erfordern als Nachteil eine Projektionseinrichtung für strukturiertes Licht. In order to facilitate the correspondence determination, various methods based on structured light are known. Disadvantageously, these methods require a structured light projection device.
Bei Vertauschen von Sender und Empfänger bleibt nach der Helmholtz-Reziprozität die bidirektionale Reflektionsverteilung (BRDF) erhalten. Diverse Ansätze beruhen darauf und arbeiten mit zwei Kameras CI und C2 und zwei Punktlichtquellen oder nahezu punktförmigen Lichtquellen LI und L2. Dabei liegt LI entweder reell oder virtuell in der optischen Achse von CI und L2 liegt entweder reell oder virtuell in der optischen Achse von C2. Oder LI befindet sich in unmittelbarer Nähe von CI und L2 befindet sich in unmittelbarer Nähe von C2 (US 7 623 701 B2, US 7 769 205 B2, US 7 574 067 B2, US 2015/0281676 Al). Wird mit CI ein Bild bei Beleuchtung L2 aufgenommen, und umgekehrt mit C2 ein Bild bei Beleuchtung LI aufgenommen, so sind bei glänzender Reflektion an einem Oberflächenpunkt P die Grauwerte der Korrespondierenden Punkte von P gleich. If the transmitter and receiver are interchanged, the bidirectional reflection distribution (BRDF) is retained according to the Helmholtz reciprocity. Various approaches are based on this and work with two cameras CI and C2 and two point light sources or almost point light sources LI and L2. LI is either real or virtual in the optical axis of CI and L2 is either real or virtual in the optical axis of C2. Or LI is in close proximity to CI and L2 is in close proximity to C2 (US 7,623,701 B2, US 7,769,205 B2, US 7,574,067 B2, US 2015/0281676 A1). If an image is recorded with CI with illumination L2, and conversely an image is recorded with C2 with illumination LI, then with brilliant reflection at a surface point P the gray values of the corresponding points of P are the same.
Diese Lösungen haben den Nachteil, dass sie für Lambert' sehe oder nahezu Lam- bert'sche Reflektion nicht funktionieren können. Die Leuchtdichte ist bei Lam- berf scher Reflektion abhängig von der Beleuchtung und unabhängig von der Betrachtungsrichtung. Die Begründung dafür findet man in DE 10 2019 105 358 B4 (0037). Vertauscht man bei Lambert' scher Reflektion Beleuchtungs- und Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man einen unterschiedlichen Helligkeitseindruck. Nach DE 10 2019 105 358 B4 nehmen die Beleuchtungen einen größeren Raum ein oder können in einer speziellen Weise über einen größeren Raum verteilt sein. Außerdem werden mit beiden Kameras je ein Bild mit einer Beleuchtung LX aufgenommen, wobei LX=L1 oder LX=L2 gelten kann. Es können also mit CI auch Bilder von LI aufgenommen werden und es können auch mit C2 Bilder von L2 aufgenommen werden (siehe z.B. 0081). Durch diese Maßnahmen wird die Aus- wertbarkeit in einem größeren Oberflächenbereich erreicht und die Auswertbarkeit auch bei Lambert’ scher Reflektion erleichtert. These solutions have the disadvantage that they cannot work for Lambertian or near Lambertian reflection. With Lamberfian reflection, the luminance depends on the lighting and is independent of the viewing direction. The reason for this can be found in DE 10 2019 105 358 B4 (0037). If, in the case of Lambertian reflection, the lighting and viewing angles are interchanged at a point with unequal lighting and viewing angles, a different impression of brightness is obtained. According to DE 10 2019 105 358 B4, the lights take up a larger space or can be distributed over a larger space in a special way. In addition, an image with an illumination LX is recorded with each of the two cameras, it being possible for LX=L1 or LX=L2 to apply. Images of LI can also be taken with CI and images of L2 can also be taken with C2 (see eg 0081). Through these measures, the ability to be evaluated is achieved in a larger surface area and the ability to be evaluated is also facilitated in the case of Lambertian reflection.
Sowohl bei punktuellen Beleuchtungen, als auch ausgedehnten Beleuchtungen nach DE 10 2019 105 358 B4 bleibt eine Schwierigkeit dann, wenn Licht von LI im Glanz zu CI reflektiert wird oder Licht von L2 im Glanz zu C2 reflektiert wird. Die Schwierigkeit wird weiter unten anhand der Beschreibung zu Fig. 2 erläutert. Nachteilig besteht hier eine Schwierigkeit darin, dass in dieser Situation keine einfache Trennung von Glanzanteil und Diffusanteil möglich ist. In the case of point illumination as well as extended illumination according to DE 10 2019 105 358 B4, a difficulty remains when light from LI is reflected in the gloss to CI or light from L2 in the gloss is reflected to C2. The difficulty is explained below with reference to the description of FIG. A disadvantage here is that in this situation it is not possible to separate the gloss component and the diffuse component in a simple manner.
Aufgabe der vorliegenden Erfindung ist, die genannten Nachteile wenigstens teilweise zu beheben. The object of the present invention is to at least partially eliminate the disadvantages mentioned.
Die Aufgabe wird erfindungsgemäß gelöst durch Anordnungen und Verfahren mit den Merkmalen der unabhängigen Patentansprüche. Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen. The object is achieved according to the invention by arrangements and methods with the features of the independent patent claims. Preferred refinements and developments of the invention result from the dependent patent claims.
Die Erfindung wird anhand der nachfolgenden Ausführungsformen mit zugehörigen Figuren näher beschrieben. Es zeigt: The invention is described in more detail using the following embodiments with associated figures. It shows:
Fig. 1 eine bekannte Anordnung mit zwei Kameras und zwei Punktlichtquellen, 1 shows a known arrangement with two cameras and two point light sources,
Fig. 2 ein Problem der bekannten Anordnung bei Rückstrahlung im Glanz, Fig. 3a, b die Wirkung der erfindungsgemäßen Lösung für den Glanzanteil, Fig. 4a, b die Wirkung der erfindungsgemäßen Lösung für den Glanzanteil, bei dezentral liegendem Oberflächenpunkt, Fig. 2 shows a problem of the known arrangement with reflection in the gloss, Fig. 3a, b shows the effect of the solution according to the invention for the gloss component, 4a, b the effect of the solution according to the invention for the gloss component, with a decentralized surface point,
Fig. 5 die Lösung gemäß der Erfindung bei Rückstrahlung im Glanz,5 shows the solution according to the invention with reflection in the gloss,
Fig. 6a, b die Wirkung der erfmdungsgemäßen Lösung für den Diffusanteil bei asymmetrischer Beleuchtung, 6a, b the effect of the solution according to the invention for the diffuse component with asymmetric lighting,
Fig. 7 die Wirkung der erfmdungsgemäßen Lösung für den Diffusanteil bei symmetrischer Beleuchtung, 7 shows the effect of the solution according to the invention for the diffuse component with symmetrical lighting,
Fig. 8 eine ringförmige Beleuchtung, 8 an annular illumination,
Fig. 9 eine Auswertung der Schlagschattenbildung, und 9 an evaluation of the cast shadow formation, and
Fig. 10 die Bildaufnahme mit einem einzigen Schuss, bei bunten Oberflächen. 10 the image acquisition with a single shot, with colored surfaces.
Bei einer Reflektion von einfallendem Licht an einer Oberfläche wird üblicherweise ein Teil des einfallenden Lichts spiegelnd reflektiert, und ein anderer Teil des einfallenden Lichts diffus. Um die Erläuterung der Verfahrensprinzipien einfach zu halten, wird im Folgenden binär zwischen diffus reflektierenden und spiegelnd reflektierenden Reflektionskomponenten unterschieden, man betrachtet also jeweils nur den Diffusanteil bzw. den Glanzanteil. Diese Anteile variieren an der Oberfläche i.a. örtlich. In der Praxis sind natürlich auch Zwischenstufen und auch örtlich kontinuierliche Übergänge möglich. When incident light is reflected off a surface, part of the incident light is usually specularly reflected and another part of the incident light is diffusely reflected. In order to keep the explanation of the process principles simple, a binary distinction is made in the following between diffusely reflecting and specularly reflecting reflection components, i.e. only the diffuse component or the gloss component is considered in each case. These proportions vary on the surface i.a. locally. In practice, of course, intermediate stages and locally continuous transitions are also possible.
Dabei ist der spiegelnde Anteil abhängig vom dem Winkel, unter welchem das Licht einfällt, und von dem Winkel, in welchem die Kamera auf die Oberfläche gerichtet ist. Mit „im Glanzwinkel“ ist im Folgenden gemeint, dass bei der Reflektion „Einfallswinkel = Ausfallswinkel“ gilt. Je nach Breite der Reflektionskeule findet eine Reflektion mit Glanzanteil auch bei mehr oder weniger davon abweichenden Winkeln statt. Für die Erfindung können sowohl Grauwertbild-Kameras als auch Farbbild-Kameras verwendet werden. Um die Beschreibung einfacher und verständlicher zu machen, wird in den Beispielen zunächst von Grauwertbild-Kameras ausgegangen, die Verallgemeinerung auf Farbbild-Kameras wird am Ende angegeben. The reflecting component depends on the angle at which the light falls and on the angle at which the camera is aimed at the surface. In the following, “in the specular angle” means that “angle of incidence = angle of reflection” applies to reflection. Depending on the width of the reflection lobe, a reflection with a gloss component also takes place at angles that deviate more or less from it. Both gray value image cameras and color image cameras can be used for the invention. In order to make the description simpler and easier to understand, the examples are initially based on greyscale cameras, and the generalization to color image cameras is given at the end.
Vorbemerkung zu den Figuren: In der jeweils beschriebenen Situation aktive Beleuchtungen und Kameras sind mit dicken Linien gezeichnet, die anderen mit dünnen Linien. Die Zeichnungen beschreiben das Prinzip und sind nicht maßstäblich. Dies gilt auch für die Positionierung der Beleuchtungen; die Position der Beleuchtungen musste teilweise etwas unrealistisch verschoben dargestellt werden, um diverse Pfeile voneinander unterscheidbar unterbringen zu können. Preliminary remarks on the figures: Lighting systems and cameras that are active in the situation described are drawn with thick lines, the others with thin lines. The drawings describe the principle and are not to scale. This also applies to the positioning of the lights; the position of the lights had to be shifted somewhat unrealistically in some cases in order to be able to accommodate various arrows so that they could be distinguished from one another.
Die Erläuterung in den Figuren geschieht der leichteren Verständlichkeit halber mit Punktlichtquellen (Glühlampen-Symbole), die Aussagen sind auch auf nur nahezu punktförmigen Lichtquellen und ausgedehnte Lichtquellen nach DE 10 2019 105 358 B4 anwendbar. For the sake of better understanding, the explanation in the figures uses point light sources (incandescent lamp symbols); the statements can also be made for almost point-shaped light sources and extended light sources according to DE 10 2019 105 358 B4.
Fig. 1 zeigt die bekannte Anordnung mit zwei Kameras CI und C2 und zwei Punktlichtquellen LI und L2, die sich in unmittelbarer Nähe von Cl bzw. C2 befinden. Aufgenommen wird ein Bild der Oberfläche 1 mit CI bei Beleuchtung mit L2 (CI, L2 mit dicken Linien gezeichnet). R3 ist die hierbei wirksame Reflektionskeule. Entsprechend wird auch mit C2 ein Bild bei Beleuchtung LI aufgenommen. Bei glänzender Reflektion an einem Oberflächenpunkt P sind in CI und C2 die Grauwerte der korrespondierenden Punkte von P gleich. Fig. 1 shows the known arrangement with two cameras CI and C2 and two point light sources LI and L2, which are located in the immediate vicinity of Cl and C2. An image of surface 1 is recorded with CI illuminated with L2 (CI, L2 drawn with thick lines). R3 is the effective reflection lobe. Correspondingly, an image with illumination LI is also recorded with C2. In the case of a brilliant reflection at a surface point P, the gray values of the corresponding points of P in CI and C2 are the same.
Fig. 2 zeigt die oben erwähnte Schwierigkeit, wenn Licht von LI im Glanz zu CI reflektiert wird ("Rückstrahlung“). Die Helmholtz-Reziprozität gilt hier für Ll/Cl. Wird hier einerseits ein Bild mit CI bei Beleuchtung L2 und andererseits ein Bild mit C2 bei Beleuchtung LI aufgenommen, so sind in CI und C2 bei schmalen Re- fl ektionskeulen die Grauwerte der korrespondierenden Punkte beide Null. Das wäre nicht weiter störend, wenn es nur punktuell so wäre, aber das kann durchaus über einen großen Bereich auf der Oberfläche 1 so sein. Man ist hier also auf den Diffusanteil angewiesen. Da die Leuchtdichte bei Lambert' scher Reflektion abhängig von der Beleuchtung und unabhängig von der Betrachtungsrichtung ist, ist der Diffusanteil bei gleicher Beleuchtung in beiden Kameras gleich. Nimmt man hierfür die Beleuchtung LI, so erscheint zwar in C2 der Diffusanteil, aber in CI wird der Diffusanteil durch die stark spiegelnde Reflektion aus LI überlagert. Entsprechendes gilt andererseits für L2/C2. Fig. 2 shows the above-mentioned difficulty when light is reflected from LI in the gloss to CI ("reflection"). The Helmholtz reciprocity applies here to Ll/Cl. Here, on the one hand, an image with CI with illumination L2 and, on the other hand, an image taken with C2 with illumination LI, in CI and C2 with narrow reflection lobes the gray values of the corresponding points are both 0. This would not be particularly disturbing if it were only selectively like this, but it can certainly be over a large area on the surface 1 so be. One is therefore dependent on the diffuse component here. Since the luminance in Lambertian reflection depends on the lighting and is independent of the viewing direction, the diffuse component is the same in both cameras with the same lighting. If one takes the illumination LI for this, the diffuse component appears in C2, but in CI the diffuse component is overlaid by the strongly specular reflection from LI. On the other hand, the same applies to L2/C2.
Im Gegensatz zum Stand der Technik werden bei der hier vorgestellten Erfindung polarisierte Beleuchtungen in einer speziellen Anordnung und Polarisationsrichtung und Zuordnung zu den Kameras verwendet, sowie einfache Polarisationsfilter mit spezieller Polarisationsrichtung im jeweiligen Strahlengang zu den Bildaufnehmern (Bildsensoren) der Kameras. Als Polarisationsfilter genügen einfache lineare Filter, ersatzweise können auch zirkulare Filter eingesetzt werden (bei geeigneter Reihenfolge Linearfilter/Lambda- Viertel-Platte). In contrast to the prior art, the invention presented here uses polarized illumination in a special arrangement and polarization direction and assignment to the cameras, as well as simple polarization filters with a special polarization direction in the respective beam path to the image recorders (image sensors) of the cameras. Simple linear filters are sufficient as polarization filters; alternatively, circular filters can also be used (with a suitable sequence of linear filters/Lambda quarter plate).
Zur Erstellung eines Abstandsbildes einer Oberfläche 1 mittels zwei Kameras CI und C2 in Stereoanordnung und mit zwei Beleuchtungen sind die zwei Beleuchtungen LI und L2 so angeordnet, dass, wenn Strahlen von der ersten Beleuchtung LI auf einem Oberflächenpunkt P im Glanzwinkel zur zweiten Kamera C2 reflektiert werden, auch Strahlen von der zweiten Beleuchtung L2 auf zumindest näherungsweise an demselben Oberflächenpunkt P im Glanzwinkel zur ersten Kamera CI reflektiert werden. To create a distance image of a surface 1 using two cameras CI and C2 in a stereo arrangement and with two lights, the two lights LI and L2 are arranged so that when rays from the first light LI are reflected on a surface point P in the glancing angle to the second camera C2 , rays from the second illumination L2 are also reflected at least approximately at the same surface point P in the glancing angle to the first camera CI.
Die Anordnung ist dadurch gekennzeichnet, dass sich im Strahlengang jeder Kamera ein Polarisationsfilter befindet, mit je einer Polarisationsrichtung, der Polarisationsrichtung der ersten Kamera rCl, und der Polarisationsrichtung der zweiten Kamera rC2, und dass die Beleuchtung LI mit einer ersten Polarisationsrichtung rLl arbeitet und die zweite weitere Beleuchtung L2 mit einer zweiten Polarisationsrichtung rL2 arbeitet, und dass die Kamera- und Beleuchtungs-Polarisationsrichtungen so orientiert sind, dass Licht von LI, das an der Oberfläche nach Kamera CI spiegelnd reflektiert wird, an Rcl im Wesentlichen gesperrt wird und dass Licht von L2, das an der Oberfläche nach Kamera C2 spiegelnd reflektiert wird, an Rc2 im Wesentlichen gesperrt wird. und dass Licht, das von LI nach C2 spiegelnd reflektiert wird, an Rc2 im Wesentlichen durchgelassen wird und Licht, das von L2 nach CI spiegelnd reflektiert wird, an Rcl im Wesentlichen durchgelassen wird. The arrangement is characterized in that there is a polarization filter in the beam path of each camera, each with a polarization direction, the polarization direction of the first camera rC1, and the polarization direction of the second camera rC2, and that the illumination LI operates with a first polarization direction rLl and the second further illumination L2 operates with a second polarization direction rL2, and that the camera and illumination polarization directions are oriented such that light from LI reflecting on the surface toward camera CI is substantially blocked at Rcl and that light from L2 specularly reflected at the surface towards camera C2 is substantially blocked at Rc2. and that light specularly reflected from LI to C2 is substantially transmitted at Rc2 and light specularly reflected from L2 to CI is substantially transmitted at Rcl.
Hierbei können sich die Polarisationsfilter im Strahlengang der Kameras vor dem Objektiv oder im Objektiv oder zwischen Objektiv und Bildaufnehmer der jeweiligen Kamera befinden. Die erfindungsgemäßen Polarisationsfilter im Strahlengang der Kameras sind auch realisiert in Polarisationskameras mit ihren (typisch 2x2-) Pixel-Polarisationsfilteranordnungen verschiedener Polarisationsrichtungen, bei denen die Pixel einer einzelnen, ausgewählten Polarisationsrichtung erfassbar sind. The polarization filters can be located in the beam path of the cameras in front of the lens or in the lens or between the lens and the image recorder of the respective camera. The polarization filters according to the invention in the beam path of the cameras are also implemented in polarization cameras with their (typically 2×2) pixel polarization filter arrangements of different polarization directions, in which the pixels of a single, selected polarization direction can be detected.
Die Polarisationsrichtungen werden bei der Konfigurierung des Systems oder bei einem Servicefall entsprechend den beschriebenen Bedingungen eingerichtet und fixiert und bleiben im laufenden Betrieb für unterschiedliche Oberflächen erhalten. Für die letzte Bedingung (LI nach C2 und L2 nach CI) verwendet man vorteilhaft einen zentralen Punkt des gesamten Auswertebereichs und dort eine mittlere zu erwartende Oberflächenneigung. The polarization directions are set up and fixed when configuring the system or in the event of a service case according to the conditions described and are retained for different surfaces during operation. For the last condition (LI according to C2 and L2 according to CI) one advantageously uses a central point of the entire evaluation area and an average surface inclination to be expected there.
Erläuterung zum Glanzanteil Fig. 3a und 3b zeigen die Lösung für den Glanzanteil, mit den Reflektionskeulen R3. Bei Fig. 3a sind Kamera CI und Beleuchtung L2 aktiv, bei Fig. 3b sind Kamera C2 und Beleuchtung LI aktiv. Betrachtet wird in Fig. 3a/b ein zentraler Punkt P der Oberfläche. Hierbei sind die Glanzanteile in beiden Kameras gleich, da dieser Lichtanteil, von LI nach C2 reflektiert, im Wesentlichen durchgelassen wird und der Lichtanteil, von L2 nach CI reflektiert, im Wesentlichen durchgelassen wird. Explanation of the gloss content Figures 3a and 3b show the solution for the gloss component, with the reflection lobes R3. Camera CI and lighting L2 are active in FIG. 3a, and camera C2 and lighting LI are active in FIG. 3b. A central point P of the surface is considered in FIG. 3a/b. In this case, the gloss components are the same in both cameras, since this light component, reflected from LI to C2, is essentially transmitted and the light component, reflected from L2 to CI, is essentially transmitted.
Liegt ein Oberflächenpunkt dezentral, wie in den Figuren 4a und 4b (aus Richtung des Betrachters von Fig. 4a/b nach hinten oder vorne), so wird bei spiegelnder Re- flektion von LI nach C2 die Polarisationsrichtung um einen Winkel gedreht und von L2 nach CI um denselben Winkel gedreht, nur mit umgekehrtem Vorzeichen (gesehen aus Richtung der jeweils betrachtenden Kamera). Dadurch ergibt sich aufgrund der Filter rCl/rC2 eine Abschwächung des Glanzanteils, diese Abschwächung ist aber für beide Kameras gleich, da die Drehwinkel betragsmäßig gleich sind. If a surface point is decentralized, as in FIGS. 4a and 4b (backwards or forwards from the direction of the observer in FIGS. 4a/b), the direction of polarization is rotated by an angle with specular reflection from LI to C2 and from L2 to CI rotated by the same angle, only with the opposite sign (seen from the direction of the viewing camera). Due to the filters rCl/rC2, this results in a weakening of the gloss component, but this weakening is the same for both cameras, since the angles of rotation are the same in terms of absolute value.
Zu den in den Figuren eingezeichneten Polarisationsrichtungen: Sowohl bei den Beleuchtungen als auch bei den Kameras sind die Polarisationsrichtungen der entsprechenden Polarisationsfilter eingezeichnet; der Verständlichkeit halber wird in den Figuren einfach unterschieden zwischen HÖR, horizontal schraffiert, und VER, vertikal schraffiert. Dies entspricht dem folgenden Sonderfall: bei VER liegt die Polarisationsrichtung zumindest näherungsweise in der Einfallsebene für einen zentralen Punkt, bei HÖR quer dazu. Hierbei wird die Einfallsebene durch den einfallenden Strahl und das Lot auf ein Oberflächenelement aufgespannt. Entsprechendes gilt für die horizontal/vertikal gezeichneten Polarisations-Richtungspfeile R3. In Fig. 4a/b sind bei verdrehter Polarisationsrichtung die symbolischen Richtungspfeile 3 verdreht gezeichnet. Wichtig ist dabei lediglich: durch die Filter werden in CI die polarisierten Komponenten von LI im Wesentlichen geblockt, ebenso in C2 die polarisierten Komponenten von L2. Umgekehrt werden in CI die polarisierten Komponenten von L2 im Wesentlichen durchgelassen, ebenso in C2 die polarisierten Komponenten von LI. Regarding the directions of polarization drawn in the figures: The directions of polarization of the corresponding polarization filters are drawn in both for the illuminations and for the cameras; for the sake of clarity, the figures simply distinguish between HÖR, horizontally hatched, and VER, vertically hatched. This corresponds to the following special case: with VER the polarization direction is at least approximately in the plane of incidence for a central point, with HÖR transverse to it. Here, the plane of incidence is spanned by the incident beam and the perpendicular to a surface element. The same applies to the polarization direction arrows R3 drawn horizontally/vertically. In Fig. 4a/b, the symbolic directional arrows 3 are drawn rotated with a rotated direction of polarization. The only important thing is that the polarized components of LI are essentially blocked by the filters in CI, as are the polarized components of L2 in C2. Conversely, in CI, the polarized components of L2 are essentially transmitted, as are the polarized components of LI in C2.
Man kann also sowohl alle HOR-Filter als auch alle VER-Filter um z.B. 45 Grad drehen und dabei die gleichen erwünschten Effekte erreichen. So you can rotate all HOR filters as well as all VER filters by e.g. 45 degrees and achieve the same desired effects.
Nicht immer wird man vollständiges Durchlässen bzw. Blockieren erreichen, aber die Effekte sind ausreichend, um die gewünschten Ergebnisse zu erzielen. You won't always get full transmission or blocking, but the effects are sufficient to get the desired results.
Fig. 5 zeigt die Behebung der o.g. Schwierigkeit, wenn Licht von LI im Glanz zu CI reflektiert wird. Durch das Filter rCl wird verhindert, dass das polarisierte Licht von LI zu CI gelangt. Fig. 5 shows the solution to the above problem when light is reflected from LI in the specular to CI. The filter rCl prevents the polarized light from reaching CI from LI.
Wenn LI und CI nah beisammen liegen, entspricht die Reflektion Fig. 5 einer spiegelnden Reflektion an einer senkrecht zum polarisierten Beleuchtungsstrahl liegenden Ebene. Bei spiegelnder Rückreflektion gibt es zwar einen Phasensprung, aber die Polarisationsrichtung bleibt erhalten und damit die Sperrung durch den quer zur Polarisationsrichtung liegenden Polarisationsfilter rCl. Dieser Effekt wird bei weiter auseinander liegenden LI/ CI nur wenig abgeschwächt. When LI and CI are close together, the reflection of FIG. 5 corresponds to a specular reflection from a plane perpendicular to the polarized illumination beam. In the case of specular back-reflection, there is indeed a phase jump, but the direction of polarization is retained and thus the blocking by the polarization filter rCl, which is transverse to the direction of polarization. This effect is weakened only slightly if the LI/CI are further apart.
Polarisierte Beleuchtung zu verwenden, um anschließend in den Kameras die polarisierte Komponente teilweise aus der Auswertung wieder herauszunehmen, erscheint auf den ersten Blick absurd. Die Vorteile werden klar, wenn man das im Zusammenhang mit der Diffusanteil betrachtet. Using polarized lighting in order to then partially remove the polarized component from the evaluation in the cameras seems absurd at first glance. The advantages become clear when you look at this in the context of the diffuse component.
Erläuterung zum Diffusanteil Explanation of the diffuse portion
Allgemein gilt: Wenn polarisiertes Licht auf eine Lambert’ sch diffus reflektierende Oberfläche trifft, wird es depolarisiert. Bei Beleuchtung von LI gelangt ein Teil der diffus reflektierten, also depolarisierten Komponente durch das Polarisationsfilter rCl . Entsprechendes gilt genauso für L2 und rC2. In general, when polarized light hits a Lambertian diffuse reflecting surface, it becomes depolarized. When LI is illuminated, part of the diffusely reflected, ie depolarized component through the polarization filter rCl. The same applies to L2 and rC2.
Fig. 6a zeigt den Diffusanteil R2 bei Beleuchtung durch LI. Die Leuchtdichte ist, wie oben erwähnt, bei diffuser Reflektion unabhängig von der Betrachtungsrichtung und somit für beide Kameras prinzipiell gleich. Der Diffusanteil wird in den Figuren durch den Kreis R2 angedeutet. Das Stemsymbol 2 soll unpolarisiertes Licht andeuten. Das Pfeilsymbol 3 soll polarisiertes Licht andeuten. Von dem für beide Kameras gleichen Diffusanteil wird von den beiden Polarisationsfiltern rCl und rC2 der gleiche Anteil durchgelassen. Das gilt für beliebige Kippwinkel der Oberfläche 1 an der reflektierenden Stelle. 6a shows the diffuse component R2 when illuminated by LI. As mentioned above, in the case of diffuse reflection, the luminance is independent of the viewing direction and is therefore in principle the same for both cameras. The diffuse component is indicated in the figures by the circle R2. The star symbol 2 is intended to indicate unpolarized light. The arrow symbol 3 is intended to indicate polarized light. The two polarization filters rC1 and rC2 let through the same portion of the diffuse portion that is the same for both cameras. This applies to any tilt angle of the surface 1 at the reflecting point.
Fig. 6b zeigt die Situation bei Beleuchtung durch L2. Hier ist der Beleuchtungswinkel flacher und der diffuse Lichtanteil entsprechend schwächer, angedeutet durch den in Fig. 6b kleineren Kreis R2. 6b shows the situation when illuminated by L2. Here the illumination angle is flatter and the diffuse light component is correspondingly weaker, indicated by the smaller circle R2 in FIG. 6b.
Fig. 7 zeigt den Diffusanteil für eine symmetrische Situation, also symmetrischer Beleuchtungs- /Kameraposition. Anzumerken ist, dass in symmetrischer Situation, wenn die Glanzanteile L1/C2 und L2/C1 gleich sind (Figuren 3 und 4), bei lokal isotropen Oberflächen auch die Diffusanteile Ll/Cl, L1/C2, L2/C1, L2/C2 alle gleich sind (betragsmäßig gleiche Einfallswinkel). FIG. 7 shows the diffuse component for a symmetrical situation, that is to say a symmetrical lighting/camera position. It should be noted that in a symmetrical situation, when the specular parts L1/C2 and L2/C1 are the same (Figures 3 and 4), with locally isotropic surfaces, the diffuse parts Ll/Cl, L1/C2, L2/C1, L2/C2 are all are the same (in terms of amount, the same angle of incidence).
Vorteilhaft befindet sich die erste Beleuchtung LI ringförmig um die optische Achse der ersten Kamera CI, s. Fig. 8, und die zweite Beleuchtung L2 ringförmig um die optische Achse der zweiten Kamera C2. Damit werden die Bedingungen für die Nutzung der Helmholtz-Reziprozität (Beleuchtung Ll/2 auf der optischen Achse von Cl/2) gut angenähert. The first illumination LI is advantageously located in a ring around the optical axis of the first camera CI, see FIG. 8, and the second illumination L2 is in a ring around the optical axis of the second camera C2. The conditions for using the Helmholtz reciprocity (illumination Ll/2 on the optical axis of Cl/2) are thus well approximated.
Zur Bestimmung der Korrespondenzen: Wir gehen der Anschaulichkeit halber zunächst davon aus, dass 4 getrennte Bilder aufgenommen werden: To determine the correspondences: For the sake of clarity, we assume that 4 separate images are taken:
Mit Kamera CI („links“) unter Beleuchtung von LI („links“), kurz Livonli. With camera CI (“left”) under illumination of LI (“left”), Livonli for short.
Mit Kamera CI („links“) unter Beleuchtung von L2 („rechts“), kurz Livonre.With camera CI (“left”) under illumination of L2 (“right”), Livonre for short.
Mit Kamera C2 („rechts“) unter Beleuchtung von LI („links“), kurz Revonli.With camera C2 (“right”) under illumination of LI (“left”), Revonli for short.
Mit Kamera C2 („rechts“) unter Beleuchtung von L2 („rechts“), kurz Revonre. With camera C2 (“right”) under illumination of L2 (“right”), Revonre for short.
Für jedes dieser Bilder gibt es einen Glanzanteil und einen Diffusanteil, kurz Livon- liglanz, Livonlidiffus, Livonreglanz, etc, mit For each of these images there is a gloss component and a diffuse component, in short livonli gloss, livonli diffuse, livonre gloss, etc
Livonli = Livonliglanz + Livonlidiffus, Livonli = Livonli shine + Livonlidiffuse,
Livonre = Livonreglanz + Livonrediffus, etc. Livonre = Livonre Luster + Livonrediffuse, etc.
Wegen Livonliglanz=0, Revonreglanz=0 (Blockung durch gekreuzte Polarisationsrichtungen rLl und rCl, sowie rL2 und rC2) gilt Due to Livoni gloss=0, Revonre gloss=0 (blocking by crossed polarization directions rL1 and rCl, as well as rL2 and rC2) applies
Livonre + Livonli Livonre + Livonli
= Livonreglanz + Livonrediffus + Livonlidiffus, und analog: = Livonre gloss + Livonrediffuse + Livonlidiffuse, and analogously:
Revonli + Revonre Revonli + Revonre
= Revonliglanz + revonlidiffus + Revonrediffus. = revonli gloss + revonlidiffuse + revonrediffuse.
Damit gilt With that applies
Livonre + Livonli = Revonli + Revonre wegen Revonliglanz = Livonreglanz und Livonre + Livonli = Revonli + Revonre because of Revonli gloss = Livonre gloss and
Revonlidiffus=Livonlidiffus (diffus, gleiche Beleuchtung, also unabh. von Betrachtungsrichtung), und Revonlidiffus=Livonlidiffus (diffuse, same lighting, i.e. independent of viewing direction), and
Livonrediffus=Revonrediffus (diffus, gleiche Beleuchtung, also unabh. von Betrachtung sri chtung) . Livonrediffus=Revonrediffus (diffuse, same lighting, i.e. independent of viewing direction) .
Diese beiden Bilder (Livonre + Livonli) und (Revonli + Revonre) werden vorteilhaft zur Korrespondenzbestimmung verwendet, was nach bekannten Methoden geschehen kann. These two images (Livonre+Livonli) and (Revonli+Revonre) are advantageously used to determine correspondence, which can be done using known methods.
Damit genügt es schlicht, beide Beleuchtungen LI und L2 eingeschaltet zu lassen, um in CI die Summe Livonre + Livonli aufzunehmen und gleichzeitig in C2 die Summe Revonli + Revonre. Es ist damit ist also die Bildaufnahme mit einem einzigen Schuss möglich. It is simply sufficient to leave both lights LI and L2 switched on in order to record the sum of Livonre + Livonli in CI and at the same time the sum of Revonli + Revonre in C2. It is thus possible to take a picture with a single shot.
Wenn allerdings von der in der DE 10 2019 105 358 B4, Beschreibung zu Fig. 23 erklärten Methode zur Auswertung von Schlagschatten Gebrauch gemacht werden soll, erscheint zunächst eine separate Auswertung von Livonre und Revonli erforderlich. However, if use is to be made of the method for evaluating cast shadows explained in DE 10 2019 105 358 B4, description of FIG. 23, a separate evaluation of Livonre and Revonli first appears necessary.
Zur Bildaufnahme mit einem einzigen Schuss: For single shot image acquisition:
Fig. 9 zeigt die Auswertung der Schlagschattenbildung entsprechend DE 10 2019 105 358 B4, Fig. 23; zur Bestimmung der in Kamera CI sichtbaren Schlagschattenbereiche 4, die in der Kamera C2 nicht sichtbar sind und somit nicht zur Korrespondenzbestimmung beitragen können, wird L2 eingeschaltet. Symmetrisch dazu wird zur Bestimmung der in Kamera C2 sichtbaren Schlagschattenbereiche, die in der Kamera CI nicht sichtbar sind und somit nicht zur Korrespondenzbestimmung beitragen können, LI eingeschaltet. Dies geschieht durch zeitlich getrennte Auswertung von Livonre und Revonli. Bei dieser zeitlichen Trennung sind also 2 Schuss erforderlich. FIG. 9 shows the evaluation of the cast shadow formation according to DE 10 2019 105 358 B4, FIG. 23; L2 is switched on to determine the cast shadow areas 4 visible in camera CI, which are not visible in camera C2 and therefore cannot contribute to the determination of correspondence. Symmetrical to this, the cast shadow areas visible in camera C2, which are not visible in camera CI and therefore not for correspondence determination, are determined can contribute, LI turned on. This is done by evaluating Livonre and Revonli at separate times. With this temporal separation, 2 shots are therefore required.
Zur Auswertung der Schlagschattenbildung kann die Bildaufnahme mit einem einzigen Schuss bei unbunten Oberflächen durch Trennung über Farbe geschehen. Hierzu sind die Beleuchtungen LI und L2 mit unterschiedlichen Farben Fl bzw. F2 betreibbar und die beiden Kameras sind Farbkameras, die in der Lage sind, diese beiden Farben zu trennen. To evaluate the formation of hard shadows, the image can be recorded with a single shot on achromatic surfaces by separating them by color. For this purpose, the lights LI and L2 can be operated with different colors F1 or F2, and the two cameras are color cameras that are able to separate these two colors.
Die Bildaufnahme mit einem einzigen Schuss ist auch bei bunten Oberflächen wie folgt möglich, siehe Fig. 10: Image acquisition with a single shot is also possible with colored surfaces as follows, see Fig. 10:
Die Beleuchtung LI erfolgt mit zwei Spektralbereichen, sLO und SL1. Die Beleuchtung L2 erfolgt mit zwei Spektralbereichen, sLO und sL2. Die Kamera CI kann nach der Bildaufnahme in einem Spektralbereich sCO arbeiten, der mit Spektralbereich sLO überlappt und in einem Spektralbereich sC2, der mit Spektralbereich sL2 überlappt. Die Kamera C2 kann nach der Bildaufnahme in dem Spektralbereich sCO arbeiten und in einem Spektralbereich sCl, der mit Spektralbereich sLl überlappt. Dabei überlappen sich die Spektralbereiche sLl und sCO nicht oder nur wenig, ebenso die Spektralbereiche sL2 und sCO. The illumination LI takes place with two spectral ranges, sLO and SL1. The lighting L2 is done with two spectral ranges, sLO and sL2. After the image recording, the camera CI can work in a spectral range sCO that overlaps with spectral range sLO and in a spectral range sC2 that overlaps with spectral range sL2. After the image recording, the camera C2 can work in the spectral range sCO and in a spectral range sCl, which overlaps with the spectral range sL1. The spectral ranges sL1 and sCO do not overlap, or only slightly, as do the spectral ranges sL2 and sCO.
Und dabei überlappen sich die Spektralbereiche sLl und sC2 nicht oder nur wenig, ebenso die Spektralbereiche sL2 und sCl. And the spectral ranges sL1 and sC2 do not or only slightly overlap, as do the spectral ranges sL2 and sCl.
Technisch sind Beleuchtung-Spektralbereiche sLO, sLl und sL2 bevorzugt durch die Zusammensetzung schmalbandiger Leuchtioden realisierbar, wie in Fig. 10 durch Pfeile angedeutet; bei üblichen Farbkameras sind die Spektralbereiche sCO, sCl und sC2 breitbandige Bereiche, wie in Fig. 10 durch Kurven angedeutet. Zur Schlagschattenbestimmung können die durch die Kameras Cl bzw. C2 aufgenommenen Bilder weiterverarbeitet werden. Hierzu verarbeitet Kamera CI das von ihr aufgenommene Bild im Spektralbereich sC2 weiter und Kamera C2 verarbeitet das von ihr aufgenommene Bild im Spektralbereich sCl weiter. Unter den beschriebenen Umständen erscheinen die Schlagschattenbereiche in den von den beiden Kameras aufgenommenen Bildern schwarz oder nahezu schwarz. Damit sind die Schattenbereiche leicht zu bestimmen. Technically, lighting spectral ranges sL0, sL1 and sL2 can preferably be realized by assembling narrow-band light-emitting diodes, as indicated by arrows in FIG. 10; With conventional color cameras, the spectral ranges sCO, sC1 and sC2 are broadband ranges, as indicated by curves in FIG. The images recorded by the cameras C1 and C2 can be further processed to determine the cast shadow. For this purpose, camera CI processes the image it has recorded in the spectral range sC2, and camera C2 processes the image it has recorded in the spectral range sCl. Under the circumstances described, the drop shadow areas appear black or nearly black in the images captured by the two cameras. This makes it easy to determine the shadow areas.
Hierbei ist sicherzustellen, dass dabei die in beiden Kameras sichtbaren Oberflächenteile wenn vielleicht auch geringe, so doch noch auswertbare Anteile liefern, sonst erscheinen diese Oberflächenteile auch schwarz und sind damit nicht von den Schlagschattenbereichen zu unterscheiden. Auf den in beiden Kameras sichtbaren Oberflächenteilen kann je nach Oberflächenfarbe eine subtraktive Farbmischung stattfinden, sodass diese auch schwarz erscheinen. Hier kommt einem glücklicherweise die Erscheinung entgegen, dass der Glanzanteil ohne Farbmischung reflektiert wird, und der Glanzanteil wird ja in der hier relevanten Betriebsweise (Licht von LI nach C2 und von L2 nach CI) von den Polarisationsfiltern durchgelassen. Here it must be ensured that the parts of the surface that are visible in both cameras still deliver, albeit small, parts that can still be evaluated, otherwise these parts of the surface also appear black and are therefore indistinguishable from the hard shadow areas. Depending on the surface color, a subtractive color mixture can take place on the surface parts visible in both cameras, so that they also appear black. Fortunately, the phenomenon that the gloss component is reflected without color mixing, and the gloss component is let through by the polarization filters in the operating mode relevant here (light from LI to C2 and from L2 to CI) is fortunate.
Bei Verwendung von Multispektralkameras lassen sich die Forderungen an die Spektralbereiche sehr gut erfüllen, wobei die benannten Spektralbereiche nicht bündig sein müssen, also aus disjunkten Einzelbereichen bestehen können. When using multispectral cameras, the requirements for the spectral ranges can be met very well, with the specified spectral ranges not having to be contiguous, i.e. they can consist of disjunctive individual ranges.
Allgemeine Vorteile General Benefits
Nach der Erfindung werden Abstandsbilder einer Oberfläche mittels Stereoanalyse ermöglicht ohne Bewegung (beim Laser-Lichtschnitt ist Bewegung erforderlich, die mit der Signal Verarbeitung synchronisiert werden muss), ohne aufwendige Muster-Projektionseinrichtungen, mit einfach zu realisierenden Beleuchtungseinheiten und mit preiswerten, leicht auf dem Markt verfügbaren Standard Grauwert- oder Farbkameras. Es ist mit derselben Anordnung die Auswertung von sowohl örtlich als auch anteilmäßig gemischt diffus und spiegelnd reflektierenden Oberflächen möglich, ohne dass bekannt ist, wie diese Materialeigenschaften auf der Oberfläche verteilt sind. According to the invention, distance images of a surface are made possible by means of stereo analysis without movement (the laser light section requires movement that must be synchronized with the signal processing), without complex pattern projection devices, with lighting units that are easy to implement and with inexpensive, easily available on the market available standard greyscale or color cameras. It is with the same arrangement the evaluation of both locally as well as proportionately mixed diffuse and specular reflecting surfaces possible without knowing how these material properties are distributed on the surface.
Bei Time-of-Flight- Systemen sind unabhängig von der Bildfeldgröße und der Kamera-Auflösung auch bei kleinen Bildfeldern aus physikalischen Gründen Genauigkeitsgrenzen gesetzt; hier ist im Gegensatz dazu die erreichbare Genauigkeit mit zunehmender Kamera-Auflösung und/oder durch „Stitching“ mehrerer kleiner Bildfelder prinzipiell beliebig steigerbar. In time-of-flight systems, for physical reasons, accuracy limits are set regardless of the image field size and the camera resolution, even for small image fields; in contrast to this, the achievable accuracy can in principle be increased at will with increasing camera resolution and/or by "stitching" several small image fields.
Glanzlichter, sonst sehr störend, da bei konventionellem Stereo in den beiden Kameras i.a. an verschiedenen Oberflächenstellen auftauchend, tauchen hier an derselben Oberflächenstelle auf. Ein sonst gravierendes Problem mit Glanzstellen wird so zum Vorteil. Highlights, otherwise very disturbing, since with conventional stereo in the two cameras i.a. appearing at different surface locations, appearing at the same surface location here. An otherwise serious problem with shiny spots becomes an advantage.
Schlagschatten sind bei konventionellem Stereo teilweise in beiden Kameras sichtbar, teilweise nur in einer, und wenn in beiden Kameras sichtbar, erscheinen sie i.a. mit unterschiedlicher Helligkeit. Und sie sind schwer von in beiden Kameras sichtbaren, dunklen Oberflächenregionen zu unterscheiden. Schlagschatten stellen also bei konventionellem Stereo ein großes Problem dar. Mit der erfindungsgemäßen Anordnung tauchen Schlagschattenbereiche nur in einer der beiden Kameras auf und können vorab aus der Korrespondenzbestimmung herausgenommen werden. In conventional stereo, drop shadows are sometimes visible in both cameras, sometimes only in one, and if visible in both cameras, they generally appear with different brightness. And they are difficult to distinguish from dark surface regions visible in both cameras. Cast shadows therefore represent a major problem with conventional stereo. With the arrangement according to the invention, cast shadow areas only appear in one of the two cameras and can be removed from the correspondence determination in advance.
Es ist die Bildaufnahme mit einem einzigen Schuss möglich und kann damit auch bei schneller Bewegung (Kamera oder Oberfläche) stattfinden. It is possible to take a picture with a single shot and can therefore also take place with fast movement (camera or surface).
Weitere Varianten der Erfindung Further variants of the invention
Farbe: Bei bunten Oberflächen können vorteilhaft Farbkameras verwendet werden: Statt bei der Korrespondenzbestimmung einzelne Grauwerte oder Inhalte von Grauwertfenstern zu vergleichen, braucht man nur die Farbwerte oder Inhalte von Farbwertfenstern zu vergleichen, z.B. die Rot-Grün-Blau-Werte. Bei bunten Oberflächen wird dadurch die Auswertung gegenüber reiner Intensitätsauswertung vereinfacht und das Ergebnis verbessert. Color: Color cameras can be used to advantage for colored surfaces: Instead of comparing individual gray values or contents of gray value windows when determining correspondence, you only need to compare the color values or contents of color value windows, eg the red-green-blue values. In the case of colored surfaces, this simplifies the evaluation compared to pure intensity evaluation and improves the result.
Spezielle Kameratypen: Special camera types:
Natürlich sind auch HDR-Kameras einsetzbar zur Erweiterung des Dynamikbereiches. Of course, HDR cameras can also be used to expand the dynamic range.
Die Erfindung ist nicht auf die Verwendung von 2D-Kameras beschränkt, sondern es können auch ohne Modifikationen Zeilenkameras, also Kameras, bei denen nur eine oder sehr wenige direkt oder nah benachbarte Zeilen abgetastet werden, verwendet werden. The invention is not limited to the use of 2D cameras, but line cameras, ie cameras in which only one or very few directly or closely adjacent lines are scanned, can also be used without modifications.
Mehrere Kamerapaare: Multiple Camera Pairs:
Die bisherigen Betrachtungen beziehen sich auf jeweils nur ein einzelnes Stereo- Kamerapaar. Mit mehreren Kamerapaaren kann pro Kamerapaar ein eigenes Abstandsbild erstellt werden, mehrere Abstandsbilder können mit bekannten Methoden zu einem gemeinsamen Abstandsbild fusioniert werden, wodurch eine Genauigkeitserhöhung und/oder eine Auswertebereichs-Vergrößerung ("Stitching") erreicht wird. The previous considerations relate to only one single stereo camera pair. With several pairs of cameras, a separate distance image can be created for each camera pair; several distance images can be merged using known methods to form a common distance image, which increases the accuracy and/or enlarges the evaluation area ("stitching").
Auswerteeinheit: Evaluation unit:
Die Bildauswertung der Spektralanteile kann in zumindest einer der beiden Kameras CI, C2 ("intelligente Kameras") durchgeführt werden oder in einer von den Ka- meras getrennten Auswerteeinheit wie einem PC stattfinden oder in einer Auswerteeinheit, an die lediglich die Bildsensoren der Kameras angeschlossen sind. In diesem Sinne ist „die Kamera C. . . . kann nach der Bildaufnahme in einem Spektralbereich ... arbeiten“ und „die Kamera C ... verarbeitet das von ihr aufgenommene Bild“ zu verstehen. The image evaluation of the spectral components can be carried out in at least one of the two cameras CI, C2 ("intelligent cameras") or in one of the cameras mera's separate evaluation unit such as a PC or in an evaluation unit to which only the image sensors of the cameras are connected. In this sense, “the camera C. . . . can work in a spectral range after the image has been recorded" and "the camera C... processes the image it has recorded".

Claims

Ansprüche Expectations
1. Anordnung zur Aufnahme von Bildern einer Oberfläche (1) mittels einer ersten Kamera (CI) zur Aufnahme zumindest eines ersten Bildes der Oberfläche (1) und einer zweiten Kamera (C2) zur Aufnahme zumindest eines zweiten Bildes der Oberfläche (1) in Stereoanordnung und mit einer ersten Beleuchtung (LI) und einer zweiten Beleuchtung (L2), wobei die erste Beleuchtung (LI) und die zweite Beleuchtung (L2), so angeordnet sind, dass, wenn Strahlen von der ersten Beleuchtung (LI) auf einem Oberflächenpunkt (P) im Glanzwinkel zur zweiten Kamera (C2) reflektiert werden, Strahlen von der zweiten Beleuchtung (L2) auf zumindest näherungsweise an demselben Oberflächenpunkt (P) im Glanzwinkel zur ersten Kamera (CI) reflektiert werden, dadurch gekennzeichnet, dass im Strahlengang der ersten Kamera (CI) ein erstes Polarisationsfilter mit einer ersten Polarisationsrichtung (rCl) positioniert ist und im Strahlengang der zweiten Kamera (C2) ein zweites Polarisationsfilter mit einer zweiten Polarisationsrichtung (rC2) positioniert ist, und dass die erste Beleuchtung (LI) mit einer ersten Polarisationsrichtung (rLl) arbeiten kann und die zweite Beleuchtung (L2) mit einer zweiten Polarisationsrichtung (rL2) arbeiten kann, und dass die Kamera- und Beleuchtungs-Polarisationsrichtungen so orientiert sind, dass Licht von der ersten Beleuchtung (LI), das an der Oberfläche nach der ersten Kamera (CI) spiegelnd reflektiert wird, von dem ersten Polarisationsfilter (rCl) im Wesentlichen gesperrt wird, und dass Licht von der zweiten Beleuchtung (L2), das an der Oberfläche nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen gesperrt wird, und dass Licht, das von der ersten Beleuchtung (LI) nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen durchgelassen wird, und Licht, das von der zweiten Beleuchtung (L2) nach der ersten Kamera (CI) spiegelnd reflektiert wird, an dem ersten Polarisationsfilter im Wesentlichen durchgelassen wird. 1. Arrangement for recording images of a surface (1) by means of a first camera (CI) for recording at least a first image of the surface (1) and a second camera (C2) for recording at least a second image of the surface (1) in a stereo arrangement and having a first illumination (LI) and a second illumination (L2), the first illumination (LI) and the second illumination (L2) being arranged such that when rays from the first illumination (LI) are incident on a surface point ( P) are reflected in the glancing angle to the second camera (C2), rays from the second illumination (L2) are reflected at least approximately at the same surface point (P) in the glancing angle to the first camera (CI), characterized in that in the beam path of the first camera (CI) a first polarization filter with a first polarization direction (rCl) is positioned and a second polarization filter with a second polarization direction (rC2) is positioned in the beam path of the second camera (C2), and that the first illumination (LI) with a first polarization direction ( rLl) can work and the second illumination (L2) can work with a second polarization direction (rL2), and that the camera and illumination polarization directions are oriented such that light from the first illumination (LI) specularly reflected at the surface downstream of the first camera (CI) is substantially blocked by the first polarization filter (rCl), and that light from the second illumination (L2), which is specularly reflected at the surface after the second camera (C2), is substantially blocked by the second polarizing filter (rC2), and that light which comes from the first illumination (LI) after the second camera (C2) is specularly reflected is essentially transmitted by the second polarizing filter (rC2), and light which is specularly reflected by the second illumination (L2) after the first camera (CI) passes through the first polarizing filter im essentially is passed.
2. Anordnung nach Anspruch 1, wobei die erste Beleuchtung (LI) ringförmig um optische Achse der ersten Kamera (CI) und die zweite Beleuchtung (L2) ringförmig um die optische Achse der zweiten Kamera (C2) angeordnet ist. 2. Arrangement according to claim 1, wherein the first illumination (LI) is arranged annularly around the optical axis of the first camera (CI) and the second illumination (L2) is arranged annularly around the optical axis of the second camera (C2).
3. Anordnung nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die erste Beleuchtung (LI) mit einer ersten Farbe (Fl) und die zweite Beleuchtung (L2) mit einer zweiten, von der ersten Farbe (Fl) unterschiedlichen Farbe (F2) betreibbar sind und die beiden Kameras (Cl, C2) Farbkameras sind, die in der Lage sind, die beiden Farben (Fl und F2) zu trennen. 3. Arrangement according to one of the preceding claims, characterized in that the first lighting (LI) with a first color (F1) and the second lighting (L2) with a second color (F2) different from the first color (F1) can be operated and the two cameras (C1, C2) are color cameras capable of separating the two colors (F1 and F2).
4. Anordnung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass4. Arrangement according to claim 1 or 2, characterized in that
- die erste Beleuchtung (LI) mit einem allgemeinen Beleuchtungsspektralbereich (sLO) und einem ersten speziellen Beleuchtungsspektralbereich (sLl) betreibbar ist, - the first illumination (LI) can be operated with a general illumination spectral range (sLO) and a first special illumination spectral range (sLl),
- die zweite Beleuchtung (L2) mit dem allgemeinen Beleuchtungsspektralbereich (sLO) und einem zweiten speziellen Beleuchtungsspektralbereich (sL2) betreibbar ist, - eine Auswertung zumindest eines durch die erste Kamera (CI) aufgenommenen ersten Bildes in einem allgemeinen Kameraspektralbereich (sCO) , der mit dem allgemeinen Beleuchtungsspektralbereich (sLO) überlappt, und in einem zweiten Kamera-Spektralbereich (sC2), der mit dem zweiten Beleuchtungsspektralbereich (sL2) überlappt, erfolgen kann und - the second illumination (L2) can be operated with the general illumination spectral range (sLO) and a second special illumination spectral range (sL2), - An evaluation of at least one by the first camera (CI) recorded first image in a general camera spectral range (sCO) that overlaps with the general illumination spectral range (sLO), and in a second camera spectral range (sC2) with the second illumination spectral range ( sL2) overlaps, can take place and
- eine Auswertung zumindest eines durch die zweite Kamera (C2) aufgenommenen zweiten Bildes in dem allgemeinen Kameraspektralbereich (sCO) und in einem ersten Kamera-Spektralbereich (sCl) erfolgen kann, der mit dem ersten Beleuchtungsspektralbereich (sLl) überlappt, - At least one second image recorded by the second camera (C2) can be evaluated in the general camera spectral range (sCO) and in a first camera spectral range (sCl) which overlaps with the first illumination spectral range (sLl),
- wobei der erste Beleuchtungsspektralbereich (sLl) und der allgemeine Kameraspektralbereich (sCO) einander nicht oder nur wenig überlappen, und wobei der zweite Beleuchtungsspektralbereich (sL2) und der allgemeine Kameraspektralbereich (sCO) einander nicht oder nur wenig überlappen, - wherein the first illumination spectral range (sL1) and the general camera spectral range (sCO) do not or only slightly overlap each other, and wherein the second illumination spectral range (sL2) and the general camera spectral range (sCO) do not or only slightly overlap each other,
- und wobei der erste Beleuchtungsspektralbereich (sLl) und der zweite Kameraspektralbereich (sC2) einander nicht oder nur wenig überlappen, und der zweite Beleuchtungsspektralbereich (sL2) und der erste Kameraspektralbereich (sCl) einander nicht oder nur wenig überlappen. - And wherein the first illumination spectral range (sLl) and the second camera spectral range (sC2) do not or only slightly overlap each other, and the second illumination spectral range (sL2) and the first camera spectral range (sCl) do not or only slightly overlap each other.
5. Anordnung nach einem der vorigen Ansprüche, weiter umfassend eine Einrichtung zur Gewinnung von korrespondierenden Punktpaaren bezüglich Punkten der Objektoberfläche (1) aus dem zumindest einen ersten Bild und dem zumindest einen zweiten Bild. 5. Arrangement according to one of the preceding claims, further comprising a device for obtaining corresponding pairs of points with respect to points on the object surface (1) from the at least one first image and the at least one second image.
6. Anordnung nach einem der vorigen Ansprüche, weiter umfassend eine Einrichtung zur Gewinnung eines Abstandsbildes der Objektoberfläche (1) aus dem zumindest einen ersten Bild und dem zumindest einen zweiten Bild. 6. Arrangement according to one of the preceding claims, further comprising a device for obtaining a distance image of the object surface (1) from the at least one first image and the at least one second image.
7. Verfahren zur Aufnahme von Bildern einer Oberfläche (1) mittels einer ersten Kamera (CI) und einer zweiten Kamera (C2) in Stereoanordnung und mit einer ersten Beleuchtung (LI) und einer zweiten Beleuchtung (L2), wobei die erste Beleuchtung (LI) und die zweite Beleuchtung (L2) so angeordnet sind, dass, wenn Strahlen von der ersten Beleuchtung (LI) auf einem Oberflächenpunkt (P) im Glanzwinkel zur zweiten Kamera (C2) reflektiert werden, Strahlen von der zweiten Beleuchtung (L2) auf zumindest näherungsweise an demselben Oberflächenpunkt (P) im Glanzwinkel zur ersten Kamera (CI) reflektiert werden, dadurch gekennzeichnet, dass im Strahlengang der ersten Kamera (CI) ein erstes Polarisationsfilter mit einer ersten Polarisationsrichtung (rCl) positioniert ist und im Strahlengang der zweiten Kamera (C2) ein zweites Polarisationsfilter mit einer zweiten Polarisationsrichtung (rC2) positioniert ist, und dass die erste Beleuchtung (LI) mit einer ersten Polarisationsrichtung (rLl) arbeitet und die zweite Beleuchtung (L2) mit einer zweiten Polarisationsrichtung (rL2) arbeitet, und dass die Kamera- und Beleuchtungs-Polarisationsrichtungen so orientiert sind, dass Licht von der ersten Beleuchtung (LI), das an der Oberfläche nach der ersten Kamera (CI) spiegelnd reflektiert wird, von dem ersten Polarisationsfilter (rCl) im Wesentlichen gesperrt wird, und dass Licht von der zweiten Beleuchtung (L2), das an der Oberfläche nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen gesperrt wird, und dass Licht, das von der ersten Beleuchtung (LI) nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen durchgelassen wird, und Licht, das von der zweiten Beleuchtung (L2) nach der ersten Kamera (CI) spiegelnd reflektiert wird, an dem ersten Polarisationsfilter im Wesentlichen durchgelassen wird, und dass mit der ersten Kamera (CI) zumindest ein erstes Bild der Oberfläche (1) aufgenommen wird und mit der zweiten Kamera (C2) zumindest ein zweites Bild der Oberfläche (1) aufgenommen wird. 7. Method for recording images of a surface (1) using a first camera (CI) and a second camera (C2) in a stereo arrangement and with a first illumination (LI) and a second illumination (L2), the first illumination (LI ) and the second illumination (L2) are arranged such that when rays from the first illumination (LI) are reflected on a surface point (P) in the specular angle to the second camera (C2), rays from the second illumination (L2) on at least are reflected approximately at the same surface point (P) in the glancing angle to the first camera (CI), characterized in that a first polarization filter with a first polarization direction (rCl) is positioned in the beam path of the first camera (CI) and in the beam path of the second camera (C2 ) a second polarization filter with a second polarization direction (rC2) is positioned, and that the first illumination (LI) operates with a first polarization direction (rLl) and the second illumination (L2) operates with a second polarization direction (rL2), and that the camera - and illumination polarization directions are oriented such that light from the first illumination (LI) specularly reflected at the surface downstream of the first camera (CI) is substantially blocked by the first polarization filter (rCl), and that light from the second illumination (L2) specularly reflected at the surface after the second camera (C2) is substantially blocked by the second polarizing filter (rC2), and that light emitted by the first illumination (LI) after the second camera (C2) is specularly reflected, is essentially transmitted by the second polarization filter (rC2), and light that is specularly reflected by the second illumination (L2) after the first camera (CI) is essentially transmitted at the first polarization filter, and in that at least a first image of the surface (1) is recorded with the first camera (CI) and at least a second image of the surface (1) is recorded with the second camera (C2).
8. Verfahren nach Anspruch 7, wobei die erste Beleuchtung (LI) ringförmig um optische Achse der ersten Kamera (CI) und die zweite Beleuchtung (L2) ringförmig um die optische Achse der zweiten Kamera (C2) angeordnet ist. 8. The method according to claim 7, wherein the first illumination (LI) is arranged annularly around the optical axis of the first camera (CI) and the second illumination (L2) is arranged annularly around the optical axis of the second camera (C2).
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die erste Beleuchtung (LI) mit einer ersten Farbe (Fl) und die zweite Beleuchtung (L2) mit einer zweiten, von der ersten Farbe (Fl) unterschiedlichen Farbe (F2) betrieben wird und die beiden Kameras (Cl, C2) Farbkameras sind, die in der Lage sind, die beiden Farben (Fl und F2) zu trennen. 9. The method as claimed in claim 7 or 8, characterized in that the first lighting (LI) is operated with a first color (F1) and the second lighting (L2) is operated with a second color (F2) which is different from the first color (F1). and the two cameras (C1, C2) are color cameras capable of separating the two colors (F1 and F2).
10. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass 10. The method according to claim 7 or 8, characterized in that
- die erste Beleuchtung (LI) mit einem allgemeinen Beleuchtungsspektralbereich (sLO) und einem ersten speziellen Beleuchtungsspektralbereich (sLl) betrieben wird, - the first illumination (LI) is operated with a general illumination spectral range (sLO) and a first special illumination spectral range (sLl),
- die zweite Beleuchtung (L2) mit dem allgemeinen Beleuchtungsspektralbereich (sLO) und einem zweiten speziellen Beleuchtungsspektralbereich (sL2) betrieben wird, - the second illumination (L2) is operated with the general illumination spectral range (sLO) and a second special illumination spectral range (sL2),
- das durch die erste Kamera (CI) aufgenommene zumindest eine erste Bild einer Auswertung zugeführt wird in einem allgemeinen Kameraspektralbereich (sCO) der mit dem allgemeinen Beleuchtungsspektralbereich (sLO) überlappt, und in einem zweiten Kamera-Spektralbereich (sC2), der mit dem zweiten Beleuchtungsspektralbereich (sL2) überlappt, - das durch die zweite Kamera (C2) aufgenommene zumindest eine zweite Bild der Auswertung zugeführt wird in dem allgemeinen Kameraspektralbereich (sCO) und in einem ersten Kamera-Spektralbereich (sCl), der mit dem ersten Beleuchtungsspektralbereich (sLl) überlappt, - the at least one first image recorded by the first camera (CI) is fed to an evaluation in a general camera spectral range (sCO) which overlaps with the general illumination spectral range (sLO), and in a second camera spectral range (sC2) which overlaps with the second Illumination spectral range (sL2) overlapped, - the at least one second image recorded by the second camera (C2) is fed to the evaluation in the general camera spectral range (sCO) and in a first camera spectral range (sCl), which overlaps with the first illumination spectral range (sLl),
- wobei der erste Beleuchtungsspektralbereich (sLl) und der allgemeine Kameraspektralbereich (sCO) einander nicht oder nur wenig überlappen, und wobei der zweite Beleuchtungsspektralbereich (sL2) und der allgemeine Kameraspektralbereich (sCO) einander nicht oder nur wenig überlappen, - wherein the first illumination spectral range (sL1) and the general camera spectral range (sCO) do not or only slightly overlap each other, and wherein the second illumination spectral range (sL2) and the general camera spectral range (sCO) do not or only slightly overlap each other,
- und wobei der erste Beleuchtungsspektralbereich (sLl) und der zweite Kameraspektralbereich (sC2) einander nicht oder nur wenig überlappen, und der zweite Beleuchtungsspektralbereich (sL2) und der erste Kameraspektralbereich (sCl) einander nicht oder nur wenig überlappen. - And wherein the first illumination spectral range (sLl) and the second camera spectral range (sC2) do not or only slightly overlap each other, and the second illumination spectral range (sL2) and the first camera spectral range (sCl) do not or only slightly overlap each other.
11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass das zumindest eine erste Bild und das zumindest eine zweite Bild zur Gewinnung von korrespondierenden Punktpaaren bezüglich Punkten der Objekt Oberfläche (1) herangezogen werden. 11. The method according to any one of claims 7 to 10, characterized in that the at least one first image and the at least one second image are used to obtain corresponding pairs of points with respect to points on the object surface (1).
12. Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass das zumindest eine erste Bild und das zumindest eine zweite Bild zur Gewinnung eines Abstandsbildes der Objektoberfläche (1) herangezogen werden. 12. The method as claimed in one of claims 7 to 11, characterized in that the at least one first image and the at least one second image are used to obtain a distance image of the object surface (1).
PCT/EP2022/054277 2022-02-21 2022-02-21 Assembly and method for capturing images WO2023156021A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/054277 WO2023156021A1 (en) 2022-02-21 2022-02-21 Assembly and method for capturing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/054277 WO2023156021A1 (en) 2022-02-21 2022-02-21 Assembly and method for capturing images

Publications (1)

Publication Number Publication Date
WO2023156021A1 true WO2023156021A1 (en) 2023-08-24

Family

ID=80628670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/054277 WO2023156021A1 (en) 2022-02-21 2022-02-21 Assembly and method for capturing images

Country Status (1)

Country Link
WO (1) WO2023156021A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US7623701B2 (en) 2004-12-10 2009-11-24 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
GB2468138A (en) * 2009-02-25 2010-09-01 Ugcs Stereoscopic imaging apparatus and adaptor for single lens camera
US20110134225A1 (en) * 2008-08-06 2011-06-09 Saint-Pierre Eric System for adaptive three-dimensional scanning of surface characteristics
US20150281676A1 (en) 2014-03-31 2015-10-01 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
DE102019105358B4 (en) 2018-03-04 2020-03-26 Vision Tools Hard- Und Software Entwicklungs Gmbh Creation of a distance image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US7623701B2 (en) 2004-12-10 2009-11-24 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US20110134225A1 (en) * 2008-08-06 2011-06-09 Saint-Pierre Eric System for adaptive three-dimensional scanning of surface characteristics
GB2468138A (en) * 2009-02-25 2010-09-01 Ugcs Stereoscopic imaging apparatus and adaptor for single lens camera
US20150281676A1 (en) 2014-03-31 2015-10-01 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
DE102019105358B4 (en) 2018-03-04 2020-03-26 Vision Tools Hard- Und Software Entwicklungs Gmbh Creation of a distance image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAYAR S K ET AL: "SEPARATION OF REFLECTION COMPONENTS USING COLOR AND POLARIZATION", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, vol. 21, no. 3, 1 February 1997 (1997-02-01), pages 163 - 186, XP000682710, DOI: 10.1023/A:1007937815113 *

Similar Documents

Publication Publication Date Title
EP1971820B1 (en) Creation of a distance image
DE102019105358B4 (en) Creation of a distance image
DE112005002690B4 (en) Method and system for optical edge determination
DE102006001634B3 (en) Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels
DE112013002321B4 (en) Image processing apparatus, method for controlling the same, program and test system
DE69817580T2 (en) DEVICE FOR THE OPTICAL INSPECTION OF PACKAGING FILMS
EP2879919B1 (en) Detection of rain drops on a plate by means of a camera and illumination
DE102008002725B4 (en) Method and device for 3D reconstruction
DE102013219181A1 (en) Apparatus and method for the optical determination of particle properties
DE102006042311B4 (en) Three-dimensional measurement of objects in an extended angle range
DE102017116758B4 (en) Method and device for scanning surfaces with a stereo camera
DE102015113051A1 (en) Measuring device, printed circuit board testing device and method for its control
WO1998012543A1 (en) Automatic, optical quality control process and device for flat, even products
WO2011098324A1 (en) Method and device for surface examination by means of deflectometry
DE60204849T2 (en) METHOD AND DEVICE FOR LOCATING THE CONNECTION CONTACTS OF ELECTRONIC COMPONENTS
DE102022104041B3 (en) Arrangement and method for taking pictures
DE102012222505B4 (en) Method for acquiring three-dimensional data of an object to be measured, use of such a method for facial recognition and apparatus for carrying out such a method
WO2023156021A1 (en) Assembly and method for capturing images
DE102021121121A1 (en) Device for determining geometric properties of a surface using polarized light
DE102017213761A1 (en) SURFACE RECONSTRUCTION OF AN ILLUMINATED OBJECT THROUGH PHOTOMETRIC STEREO ANALYSIS
DE102018105794B4 (en) Representation of an object using shadows
DE102007021964B4 (en) Method and device for the three-dimensional detection of object surfaces
DE102007033835B4 (en) Imaging technique for direct object segmentation in images
DE102015101693B4 (en) Optical inspection system
EP1197926B1 (en) Method of detecting surface relief on coins in coin actuated machines

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22707696

Country of ref document: EP

Kind code of ref document: A1