WO2019030061A1 - Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse - Google Patents

Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse Download PDF

Info

Publication number
WO2019030061A1
WO2019030061A1 PCT/EP2018/070780 EP2018070780W WO2019030061A1 WO 2019030061 A1 WO2019030061 A1 WO 2019030061A1 EP 2018070780 W EP2018070780 W EP 2018070780W WO 2019030061 A1 WO2019030061 A1 WO 2019030061A1
Authority
WO
WIPO (PCT)
Prior art keywords
modulation frequencies
tba
sampling rate
fourier
images
Prior art date
Application number
PCT/EP2018/070780
Other languages
English (en)
French (fr)
Inventor
Bernhard Siessegger
Fabio Galasso
Nicolau WERNECK
Herbert Kaestle
Original Assignee
Osram Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osram Gmbh filed Critical Osram Gmbh
Priority to DE112018004048.8T priority Critical patent/DE112018004048A5/de
Priority to US16/637,281 priority patent/US20200250847A1/en
Priority to CN201880051853.4A priority patent/CN110998226A/zh
Publication of WO2019030061A1 publication Critical patent/WO2019030061A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • the invention relates to a method for
  • the invention also relates to a device designed for carrying out the method.
  • the invention is particularly applicable for room monitoring of indoor and / or outdoor spaces and / or for object recognition, in particular in the context of general lighting.
  • Image-based photometric stereoanalysis is a method to reconstruct the three-dimensional surface or surface structure of a scene or object (hereafter referred to as an object) by taking a sequence of frames of the object under controlled varying lighting conditions using a single digital camera, e.g. an RGB camera.
  • the object is illuminated in succession by different lights.
  • the luminaires of known relative intensity are located at known positions and illuminate the object
  • the individual images of an image sequence are assigned to the respective luminaires and used as input images of the photometric stereo analysis. Since the surfaces invisible by the camera can not be reconstructed, this method is also referred to as "2 ⁇ D" reconstruction.
  • the reflection characteristics of the object are lambertsch
  • the brightness of a surface area or surface point of the object detected by the camera depends only on the angle of illumination or angle of incidence of the light and not on the direction of view of the camera. This means that surface areas or surface points will look their way regardless of the viewing direction of the camera
  • the surface vectors may be diffuse at corresponding surface areas or surface points as well
  • Retroreflectivity (albedo) can be determined if several individual images of the object under different
  • the intensity or brightness as well as the orientation of the luminaires is determined or determined. A position of
  • Luminaires advantageously cover a high angle variation, without shadows on the object surface and without Dischattung. Then, mutual calibration of the lamps is performed with respect to their strength and direction of illumination. This can be achieved, for example, by measuring the light intensity by means of a luxmeter or by evaluating a Image of a calibrated object with known geometry and known Albedowert (eg a sapphire ball) is determined. The result of the calibration can be in the form of a sentence of
  • Lighting vector Li are expressed, wherein the amount of the illumination vector Li of a relative intensity of the
  • Illumination vector Li determines the angle of incidence.
  • An object is recorded under a predetermined illumination of each of the lights using a conventional 2D camera.
  • the viewing direction of the camera is basically arbitrary, but advantageously so that a good perspective on an object surface with the lowest possible
  • the pixel values (pixel readings) PMw (x, y) of the pixels BP (x, y) of the captured frames (also referred to as “capture pixel values”) depend on the observed luminance or luminance of each of the surface areas
  • PMw (x, y); i pd (x, y) * (Li * n (x, y)), where PMw (x, y); i the pixel value of this pixel BP (x, y) under illumination only the luminaire i, pd (x, y) the albedo of the associated surface area or the associated location (x, y), Li the (normalized) illumination vector Li and n (x, y) the normal vector of the associated surface area / Surface point or the location (x, y) represents.
  • Each surface element or point (x, y) thus contributes exactly to its albedo pd (x, y) and to its normal n (x, y)
  • 1 determine. This can be done separately for each of the pixels BP (x, y).
  • Object surface is already known (for example, the object pretreated with a defined color and / or painted is), the classical photometric stereo analysis can also be performed with only two lights.
  • the surface reconstruction can be performed on the normal vectors n of the pixels or surface areas to obtain full information about the three-dimensional structure or shape of the object surface, e.g. over
  • Image capture takes a lot of time, allowing for
  • the problem is solved by a method for
  • Surface reconstruction comprising: (i) simultaneously illuminating at least one object from a plurality of spaced apart luminaires, (ii) capturing a multiple-frame photographic sequence of the at least one object, and (iii) reconstructing at least one visible object surface by means of photometric stereoanalysis.
  • the light emitted by the luminaires is modulated with different modulation frequencies.
  • the light components of the respective luminaires reflected by the object are recognized on the basis of their modulation and assigned to respective partial images. Subsequently, the partial images are used as input images for the photometric
  • Stereo analysis used It is an advantage of the method that the light components due to the modulation can be simultaneously extracted simultaneously from the recorded photographic sequence.
  • the three or more (partial) images belonging only to the respective luminaires no longer need to be recorded sequentially or successively, since all three or more luminaires are coded and thus operated in parallel, and in particular permanently
  • the reconstruction is thereby advantageously feasible in real time, including in the field of
  • Object recognition in particular for detecting the presence of people and their activity.
  • the reconstruction of the visible object surface can be done after creating the drawing files using conventional methods.
  • an object recognition etc. can be performed.
  • a surface reconstruction is also often referred to as "surface reconstruction”.
  • the method of surface reconstruction may also be considered or referred to as a method of determining or calculating a shape and orientation of photographically captured surfaces in space.
  • Light bundles of the spaced lights have there in particular different angles of incidence (also as
  • the lights can in particular different orientations or
  • Object surfaces are reconstructed.
  • the positions or coordinates of the plurality of objects or object surfaces in space are determined, for example by methods of image data processing. This is advantageous because then the respective
  • Illumination angle of the three lights are known or can be determined to then perform the photometric stereo analysis.
  • a photographic sequence in particular a
  • the photographic sequence comprises in particular a chronological sequence of
  • the individual images can be recorded by means of a camera.
  • the camera can be stationary.
  • frames have the same resolution, e.g. a matrix resolution with (mxn) pixels or pixels, e.g. from 640 x 480, 1024 x 640, 1920 x 1080, etc. pixels.
  • the sampling rate or sampling rate f_s of the camera is high enough, the objects present in the individual images of a sequence can still be regarded as practically stationary if they do not move too fast.
  • the number of frames used for a sequence is not limited. It is a further development that the individual images of a sequence are equidistant from each other in terms of time.
  • the sequence can be basically arbitrary. Thus, the sequence may be a selection of a complete series of frames.
  • the predetermined sequence corresponds in particular to a complete recording series of individual images or all individual images of a predetermined period of time.
  • the sequences may be "running" sequences of a sequence of 1 to m frames EB: ⁇ EB1, EB2, EBn ⁇ , ⁇ EB2, EB3, EBn + 1 ⁇ , etc. with n ⁇ m. It's one for a particularly simple one
  • the lights are constructed identically.
  • the lights may include one or more light sources (e.g., one or more LEDs).
  • the photometric stereo analysis is basically known and serves for the reconstruction of the spatial object surface by means of evaluation of two-dimensional (input) images of the
  • three lights can modulate their light with modulation frequencies of 210 Hz, 330 Hz and 440 Hz. This concept can be extended to more than three lights.
  • the modulation frequencies are preferably not or not exactly of multiples of integers
  • the modulation frequencies may be relatively prime in pairs.
  • Modulation frequencies can basically be varied.
  • the modulation can generally be understood as an encoding of the light emitted by the luminaire, which makes it possible to identify or extract the light components of this luminaire in a digital image, although the object is simultaneously illuminated simultaneously by several or the other luminaires.
  • the modulation frequencies are in a range between 50 Hz and 1000 Hz, in particular between 100 Hz and 1000 Hz, in particular between 100 Hz and 500 Hz.
  • the lower limit of 50 Hz or even 100 Hz is advantageous so that the lights do not flicker visibly to the human eye.
  • the upper limit is advantageous, so that an evaluation even at limited or low sampling rates f_s is still feasible with low errors, which in turn allows the use of a low-cost video technology or camera technology (eg in relation to demand on the frame rate). That the light components of the respective luminaires reflected by the object are recognized by their modulation and respective
  • the extracted partial images correspond to (in particular correspond exactly to) images which have only the light components of a specific luminaire.
  • the partial images have the same format as the photographically recorded individual images.
  • each pixel of the (temporal) sequence is subjected to a respective Fourier analysis and Fourier components obtained from the Fourier analysis are assigned to the respective partial images as values of the corresponding pixels.
  • This enables a particularly effective and rapid detection (in particular in "real time") of the light components of the respective luminaires reflected by the object on the basis of their modulation.
  • using the Fourier components provides an easy way to ignore backlighting.
  • the sampling rate defines the detectable frequency range, while the number of the
  • a Fourier analysis may, in particular, be understood as the implementation of a Fourier transformation, for example a fast Fourier transformation (FFT).
  • FFT fast Fourier transformation
  • an associated time series of pixel values or pixel measured values is determined for each pixel from a given group of individual images taken at different times. This (pixel-related) time series is subjected to a respective Fourier analysis.
  • the pixel values in the period can also be used as pixel values
  • a possible floating point coding has the advantage over an integer coding in that the relative accuracy of the value is not dependent on its value itself.
  • a lower pixel illumination value is transmitted with the same relative accuracy (e.g., 5%). represents like a high intensity value. It is also an embodiment that more than three or at least four spaced lights with each
  • Modulation frequencies are used. This results in the advantage that a spatial overshadowing or shading of a surface to be reconstructed can be reduced or even completely avoided by overdetermination.
  • specular albedo also referred to as "specular albedo”
  • scum also referred to as "specular albedo”
  • specular albedo it occurs in the sub-images only at certain locations on the object surface, with an occurrence and / or a strength of these locations for
  • a respective photometric stereo analysis may be performed for the luminaire combinations (abc), (abd), (acd) and (bcd). At least one of the respectively resulting reconstructed object surfaces can not return a meaningful reconstruction at certain points. By overlaying at least two of the four reconstructed object surfaces, the erroneous (shiny) spots can be found and eliminated.
  • reconstructed object surfaces are superimposed and / or averaged.
  • gloss effects it is advantageous to combine only a subset of the reconstructed object surfaces, in particular such a subset, which does not show the gloss effect or not so strong.
  • those surface reconstruction values are used (possibly also averaged or weighted used) in several (e.g., two or three) reconstructed object surfaces at least within a predetermined bandwidth
  • Outlier tests e.g. Outlier tests after Grubbs or Nalimov.
  • the frame rate in this case is at least twice as high as the
  • Modulation frequencies of the lights Because with a sufficiently long video sequence (i.e., a sufficiently large number of captured frames) the frequency resolution is
  • Video sequence length of one second is not limited to this frequency range.
  • Standard Fourier analysis advantageous embodiment that the modulation frequencies are kept constant in time, the several frames are recorded at a frame rate that is higher than the modulation frequencies of the lights, and the Fourier analysis is performed for a frequency range that reaches a maximum of half the sampling rate
  • sampling rate f_s is at least two times higher than the one to be measured
  • Modulation frequency (which may also be referred to as the light signal frequency or Nyquist frequency).
  • the Fourier analysis detects at each pixel or pixel directly associated with the modulation frequencies
  • a constant modulation frequency can be understood in particular to mean a modulation frequency which is a modulation frequency
  • Imaging devices can be performed which have a comparatively low sampling rate, e.g. of about 30 frames per second ("frames per second", fps). Such cameras o.a. are relatively inexpensive.
  • Nyquist frequency of Fourier analysis only the lowest to expected alias frequency while disregarding the higher order alias frequencies.
  • the sampling rate can be chosen such that the frequency resolution is sufficient to detect the lowest possible aliasing frequency to be from the lowest adjacent one
  • the Fourier analysis detects only the magnitudes (e.g., intensities) of the lowest aliasing frequencies of the actual modulation frequencies or light signal frequencies. It is a training that as "right"
  • the Fourier component (whose value is used to create the subpictures) is used in each case the Fourier component with the smallest alias frequency f_alias per modulation frequency.
  • the lowest frequency alias frequency is also referred to as the baseband signal.
  • the least aliasing Fourier component contains the information of the associated signal amplitude (as here the information about the measurement of the pixel for a given modulation frequency), whereby only one phase information is lost. All other Fourier components at higher alias frequency are suppressed and disregarded.
  • a digital low pass filter to the sampled signal sequence, which may also be referred to as an anti-aliasing filter.
  • the smallest Fourier component per modulation frequency can then be used further to provide values for the pixels of the partial images, as already described above.
  • the sampling rate f_s of e.g. 30Hz is much smaller than the modulation frequencies fa, fb and fc, respectively.
  • An acquisition time T of about one second allows a sample sequence of 30
  • the Fourier analysis yields a set of Fourier components at alias frequencies fn_sub in the Fourier spectra of the respective pixels.
  • Anti-aliasing filters with a cut-off frequency at 15 Hz will be all other, higher-frequency aliasing frequencies
  • the cutoff frequency of the - e.g. Digital filter has been designed so that only the lowest alias components are seen. Only the baseband signals remain after digital filtering.
  • the baseband signals can be analyzed by standard Fourier analysis to determine the position and size of the
  • Modulation frequencies are kept constant in time, the individual images are recorded at a frame rate that is lower than the modulation frequencies of the lights, the Fourier analysis is performed for a frequency range that extends at least up to the respective modulation frequency and measured Fourier components of several repeated
  • Measurements are averaged, with the sampling rate and the modulation frequency are not synchronized.
  • the missing synchronization may also be referred to as Random Sampling or Stochastic Sampling.
  • Random Sampling exploits the fact that when the light reflected from an object (ie, measured "light signals") is detected at a low sampling rate (sub-sampling), it still partially contains portions or information of the higher frequency modulation frequency (signal frequency) , The remaining information in the scanned
  • Signal sequence depends on the random phase position between the sampling frequency and the modulation frequency to be measured. For example, if the sampling frequency is 30 Hz, the sampled signal sequence is rasterized with a 30 Hz raster.
  • This latched signal sequence is Fourier-analyzable, in particular by means of a standard Fourier analysis (without
  • Subscanning up to a cutoff frequency above the sampling rate, in particular up to a half of the highest modulation frequency (eg 500Hz) or up to the highest modulation frequency (eg 1000Hz).
  • a cutoff frequency above the sampling rate in particular up to a half of the highest modulation frequency (eg 500Hz) or up to the highest modulation frequency (eg 1000Hz).
  • Cut-off frequency Because the low or slow sampling rate is not synchronized with the modulation frequency, repetitive measurement (corresponding to the provisioning
  • each image pick-up sequence is Fourier-analyzable, but because of the sub-sampling of individual images contributes only a certain fraction of the "true" value or height level of the Fourier components.
  • Modulation amplitude of the luminaires is kept constant. This facilitates implementation of the method and increases its accuracy because a modulation depth corresponds to the intensity of the individual luminaires.
  • the modulation amplitude of the luminaires is the same. This facilitates in particular a calibration.
  • the amplitude depth i.e., a ratio of the amplitude swing to a maximum amplitude Amax, ie [Amax-Amin] / Amax
  • the amplitude depth is at least 5%, in particular at least 10%. This allows a particularly good
  • the object is also achieved by a device which is set up for carrying out the method.
  • the device can in particular be several different from each other
  • the device is particularly adapted to the light emitted by the lights with different light
  • Modulating modulation frequencies (for example via suitable drivers).
  • a photographic sequence with several individual images can be recorded.
  • the evaluation device By means of the evaluation device, the photographic sequence is evaluable to a visible object surface of the im
  • the evaluation device can also be set up on the basis of
  • reconstructed object surfaces perform an object detection.
  • the lights each have at least one light emitting diode.
  • the device is a
  • Monitoring system or part of a monitoring system is, for example, for monitoring of indoor and / or outdoor spaces.
  • the monitoring system may be a distributed system in which the evaluation device is arranged away from the luminaires and the camera.
  • Fig.l shows a monitoring system according to a first
  • FIG. 2 shows a sequence of frames taken from a
  • Fig. 3 shows a time series of measured values of a pixel of the sequence
  • FIG. 4 shows a result of a standard Fourier analysis of FIG
  • FIG. 5 shows partial images obtained from the Fourier analysis.
  • FIG. 6 shows a monitoring system according to a second
  • Fig. 8 shows a result of a standard Fourier analysis
  • FIG. 9 shows a determination of a surface point of a reconstructed surface from a set of multiple surface points.
  • Fig.l shows a monitoring system Sl according to a first embodiment.
  • the monitoring system Sl has three spaced lights a, b and c respectively.
  • the lights a to c are spaced apart so that light emitted by them falls on an object 0 at different angles of incidence.
  • the monitoring system Sl also has a digital camera K, whose field of view is directed in an illuminated by the lights A to C space area.
  • the camera K is capable of temporal sequences of
  • Each pixel BP (x, y) of a Single image EB is associated with a corresponding surface area or surface point OP (x, y).
  • the monitoring system Sl also has a
  • Evaluation device A by means of which the photographic sequence is evaluable to a visible for the camera K
  • the evaluation device A can also be set up on the basis of
  • OSI reconstructed object surfaces
  • OS2 perform an object recognition and / or activity detection.
  • the monitoring system S1 is in particular configured to modulate the light La, Lb or Lc emitted by the lights a to c with different modulation frequencies fa, fb or fc (for example via suitable drivers).
  • Modulation frequencies fa, fb and fc are particular
  • FIG. 2 shows a sequence or sequence of n individual images EB_r, EB_r + 1, EB_r + 2, EB_r + n obtained by the camera K of FIG.
  • Each of the frames EB has a plurality of pixels BP (x, y), e.g. with x and / or y from a set ⁇ 1024 x 640 ⁇ .
  • the lighting situations of the pixels BP (x, y) differ at the time of taking the frames EB r to EB r + n.
  • 3 shows a time series of measured values of a specific pixel BP (x, y) from the sequence of the individual images EB_r to EB_r + n.
  • the size or the value of the pixel BP (x, y) at a respective time is a ("pixel") measured value PMw (x, y) and may correspond, for example, to a brightness value.
  • FIG. 4 shows Fourier components FT_a, FT_b, FT_c as a result of a standard Fourier analysis of the time series of measured values PMw (tr),..., PMw (tr + n) at times tr, tr + n from FIG.
  • the standard Fourier analysis may be, for example, a fast Fourier transform (FFT).
  • FFT fast Fourier transform
  • the magnitudes or values of the Fourier components FT_a, FT_b and FT_c correspond to representative intensity measurements Iw, which comprise only the components of the light components La, Lb or Lc of the lamps a, b and c, respectively.
  • FIG. 5 shows three partial images TBa, TBb and TBc obtained from the Fourier analysis.
  • the partial images TBa, TBb and Tc comprise or
  • each include the intensity measurements Iw of the associated Fourier components FTa, FTb, and FTc at the respective ones
  • Pixels BP (x, y).
  • the three partial images TBa, TBb and TBc correspond to individual images that would have been recorded only by illumination by one of the lights a, b and c respectively. As indicated by the arrow, these three partial images TBa, TBb and TBc can be used as input images for a photometric stereo analysis to reconstruct the object surfaces OS1, OS2.
  • FIG. 6 shows a monitoring system S2 according to a second exemplary embodiment.
  • the monitoring system S2 is similar to built the monitoring system Sl, but now has a further light d, the modulated light Ld emits a modulation frequency fd.
  • FIG. 7 shows, analogously to FIG. 4, a result of a
  • Fig. 8 shows the four usable different ones
  • Fourier transforms generated respective fields TBa to TBd. These are the sub-pictures TBa, TBb and Tc of the luminaire combination ⁇ a, b, c ⁇ , the sub-pictures TBa, TBb and TBd of the luminaire combination ⁇ a, b, d ⁇ , the sub-pictures TBa, TBc and TBd of the luminaire combination. Combination ⁇ a, c, d ⁇ and the partial images TBb, TBc and TBd of the luminaire combination ⁇ b, c, d ⁇ . From the respective triplets of the partial images.
  • the triplets of the partial images TBa to TBd can each be assigned an independent photometric
  • the four independent surface reconstructions can be superimposed to a consistent end result for the Use surface reconstruction. It is taken into account that deviations of the surfaces OSI, OS2 reconstructed by the different triplets may occur in practice, for example due to shadowing or gloss effects (specular albedo).
  • FIG. 9 shows a determination of a final pixel value PMw_final for a specific surface point OP (x, y) from a set of several (here: four) pixel values PMw_l to PMw_4 for this same surface point OP (x, y).
  • the four pixel values PMw_l to PMw_4 thus correspond in each case to the nominally identical surface point OP (x, y), which results from the four different luminaire combinations
  • a pixel value PMw_l lies outside a predetermined bandwidth B, which is indicated here by the circle, relative to the other pixel values PMw_2 to PMw_4, it can be regarded as an outlier and excluded from consideration for determining the final pixel value PMw_final, as in the left-hand part represented by Fig.9.
  • the exclusion method can in principle also be applied to more than one of the surface points OP (x, y).
  • the remaining pixel value is set as the final pixel value PMw_final. If several pixel values PMw_2 to PMw_4 are left over, these can be averaged, for example, to calculate an averaged pixel value PMw_avg, which is the final one Surface point PMw_final is used. This is shown in the right part of FIG.
  • the frame rate of the camera K may also be so low that there is an undersampling.
  • a number may include exactly the specified number as well as a usual tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Verfahren dient zur Oberflächenrekonstruktion, wobei mindestens ein Objekt (O) von mehreren voneinander beabstandeten Leuchten (a-d) gleichzeitig beleuchtet wird, eine fotografische Sequenz mit mehreren Einzelbildern (EBr-EBr+n) des mindestens einen Objekts (O) aufgenommen wird und mindestens eine sichtbare Objektoberfläche (OS1, OS2) des Objekts (O) mittels fotometrischer Stereoanalyse rekonstruiert wird, wobei das von den Leuchten (a-c; a-d) abgestrahlte Licht (La-Ld) mit unterschiedlichen Modulationsfrequenzen (fa-fc; fa-fd) moduliert wird, die von dem Objekt (O) reflektierten Lichtanteile der jeweiligen Leuchten (a-d) anhand ihrer Modulationsfrequenzen (fa-fd) erkannt und jeweiligen Teilbildern (TBa-TBd) zugeordnet werden und die Teilbilder (TBa-TBd) als Eingangsbilder für die fotometrische Stereoanalyse verwendet werden. Eine Vorrichtung (S1, S2) ist zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet. Die Erfindung ist insbesondere anwendbar zur Raumüberwachung von Innen- und/oder Außenräumen und/oder zur Objekterkennung, insbesondere im Zusammenhang mit einer Allgemeinbeleuchtung.

Description

OBERFLACHENREKONSTRUKTION EINES BELEUCHTETEN OBJEKTS MITTELS
FOTOMETRISCHER STEREOANALYSE
BESCHREIBUNG
Die Erfindung betrifft ein Verfahren zur
Oberflächenrekonstruktion, bei dem ein Objekt von mehreren voneinander beabstandeten Leuchten beleuchtet wird, mehrere Einzelbilder des Objekts aufgenommen werden und eine sichtbare Objektoberfläche des Objekts mittels fotometrischer
Stereoanalyse rekonstruiert wird. Die Erfindung betrifft auch eine zur Durchführung des Verfahrens ausgebildete Vorrichtung. Die Erfindung ist insbesondere anwendbar zur Raumüberwachung von Innen- und/oder Außenräumen und/oder zur Objekterkennung, insbesondere im Zusammenhang mit einer Allgemeinbeleuchtung.
Die bildbasierte fotometrische Stereoanalyse ist eine Methode, um die dreidimensionale Oberfläche oder Oberflächenstruktur einer Szene oder eines Objekts (im Folgenden nur noch als Objekt bezeichnet) dadurch zu rekonstruieren, dass eine Sequenz von Einzelbildern des Objekts unter kontrolliert variierenden Beleuchtungsbedingungen mittels einer einzigen Digitalkamera, z.B. einer RGB-Kamera, aufgenommen wird. Dabei wird das Objekt hintereinander von unterschiedlichen Leuchten beleuchtet. Die Leuchten mit bekannter relativer Intensität befinden sich an bekannten Positionen und beleuchten das Objekt aus
unterschiedlichen Richtungen.
Die Einzelbilder einer Bildsequenz werden den jeweiligen Leuchten zugeordnet und als Eingangsbilder der fotometrischen Stereoanalyse verwendet. Da die durch die Kamera nicht sichtbaren Oberflächen nicht rekonstruiert werden können, wird diese Methode auch als "2^ D" -Rekonstruktion bezeichnet. Dabei hängt unter der Annahme, dass die Reflexionseigenschaften des Objekts lambertsch sind, die von der Kamera erfasste Helligkeit eines Oberflächenbereichs oder Oberflächenpunkts des Objekts nur von dem Beleuchtungswinkel oder Einfallswinkel des Lichts und nicht von der Blickrichtung der Kamera ab. Dies bedeutet, dass Oberflächenbereiche oder Oberflächenpunkte ihr Aussehen unabhängig von der Blickrichtung der Kamera
beibehalten .
Unter Berücksichtigung, dass eine beobachtete oder gemessene Helligkeit eines Oberflächenbereichs mit einem Wert eines entsprechenden Bildpunkts (auch als Bildpunkthelligkeit oder Luminanzwert bezeichenbar) der Kamera korrespondiert, können die Oberflächenvektoren an entsprechenden Oberflächenbereichen oder Oberflächenpunkten als auch das dortige diffuse
Rückstrahlvermögen (Albedo) bestimmt werden, falls mehrere Einzelbilder des Objekts unter unterschiedlichen
Beleuchtungsbedingungen aufgenommen werden.
Zur klassischen fotometrischen 2^ D-Rekonstruktion können beispielsweise folgende Schritte durchgeführt werden:
1. Die Intensität oder Helligkeit sowie eine Ausrichtung der Leuchten wird bestimmt oder festgelegt. Eine Position der
Leuchten deckt vorteilhafterweise eine hohe Winkelvariation ab, und zwar ohne Schattenwurf auf der Objektoberfläche und ohne Selbstabschattung . Dann wird eine gegenseitige Kalibration der Leuchten in Bezug auf ihre Stärke und Beleuchtungsrichtung durchgeführt. Dies kann beispielsweise dadurch erreicht werden, dass die Lichtintensität mittels eines Luxmeters gemessen wird oder durch Auswerten eines Bilds eines kalibrierten Objekts mit bekannter Geometrie und bekanntem Albedowert (z.B. einer Saphirkugel) bestimmt wird. Das Ergebnis der Kalibrierung kann in Form eines Satzes von
Beleuchtungsvektoren Li ausgedrückt werden, wobei der Betrag des Beleuchtungsvektors Li einer relativen Intensität der
zugehörigen Leuchte i entspricht und die Richtung des
Beleuchtungsvektors Li den Einfallswinkel bestimmt.
2. Ein Objekt wird unter einer vorgegebenen Beleuchtung jeweils einer der Leuchten mittels einer herkömmlichen 2D-Kamera aufgenommen. Die Blickrichtung der Kamera ist grundsätzlich beliebig, aber vorteilhafterweise so, dass eine gute Perspektive auf eine Objektoberfläche mit einer möglichst geringen
Abschattung erreicht wird.
3. Die Bildpunktwerte (Pixelmesswerte) PMw(x,y) der Bildpunkte BP(x,y) der aufgenommenen Einzelbilder (auch als "Capture Pixel Values" bezeichnet) hängen von der beobachteten Leuchtdichte oder Luminanz jeder der Oberflächenbereiche oder
Oberflächenpunkte der Objektoberflächen ab.
Dies kann für jeden der einem Oberflächenbereich oder
Oberflächenpunkt an der Stelle (x,y) entsprechenden Bildpunkte BP(x,y) auch so ausgedrückt werden, dass
PMw(x,y);i = pd(x,y) * (Li · n(x,y)) gilt, wobei PMw(x,y);i den Bildpunktwert dieses Bildpunkts BP(x,y) unter Beleuchtung nur der Leuchte i, pd(x,y) die Albedo des zugehörigen Oberflächenbereichs bzw. der zugehörigen Stelle (x,y), Li den (normierten) Beleuchtungsvektor Li und n(x,y) den Normalenvektor des zugehörigen Oberflächenbereichs / Oberflächenpunkts bzw. der Stelle (x,y) darstellt. Jedes Oberflächenelement bzw. jede Stelle (x,y) trägt also mit seiner Albedo pd(x,y) und mit seiner Normale n(x,y) genau zum
Pixelmesswert PMw(x,y) bei, und zwar in Abhängigkeit von der Beleuchtungsintensität Li.
(Li · n) ist folglich ein Vektorprodukt, das den Betrag des Beleuchtungsvektor Li und den Kosinus des Einfallswinkels Oi umfasst, nämlich gemäß (Li n) = | Li | · cos(Oi) .
4. Es ergibt sich also für drei Leuchten i = 1, 2, 3 für einen Bildpunkt und damit auch einen zugehörigen Oberflächenbereich das Gleichungssystem PMw(x,y);l = pd * (LI · n(x,y))
PMw(x,y);2 = pd * (L2 · n(x,y))
PMw(x,y);3 = pd * (L3 · n(x,y))
Aus diesem Gleichungssystem lassen sich die Albedo pd(x,y) und der Normalenvektor n(x,y) unter Berücksichtung der
Normaliserungsbedingung | n | =1 bestimmen. Dies kann für jeden der Bildpunkte BP (x, y) gesondert durchgeführt werden .
Es kann also ein Objekt mit unbekannter (Oberflächen- ) Albedo pd mit Hilfe von drei unterschiedlichen Beleuchtungsszenarien rekonstruiert werden. Für den Fall, dass die Albedo einer
Objektoberfläche bereits bekannt ist (beispielsweise das Objekt mit definierter Farbe vorbehandelt und/oder angestrichen worden ist) , kann die klassische fotometrische Stereoanalyse auch mit nur zwei Leuchten durchgeführt werden.
5. Die Oberflächenrekonstruktion kann mit den Normalenvektoren n der Bildpunkte bzw. Oberflächenbereiche durchgeführt werden, um eine volle Information über die dreidimensionale Struktur oder Form der Objektoberfläche zu erlangen, z.B. über
Gradientenbetrachtungen und anschließende Integration. Mit der Umskalierung der ermittelten Normalenvektoren n(x,y) = (nx (x, y) , ny (x, y) , nz (x, y) ) zu
Nx(x,y) = -nx (x, y) /nz (x, y) und Ny(x,y) = -ny (x, y) /nz (x, y) , lässt sich die Oberfläche durch Integration
z(xry)— I Nx(x,y0)dx + I N (_xQ,y)dy + zQ
rekonstruieren .
Ein Nachteil der konventionellen fotometrischen Stereoanalyse ist, dass die Beleuchtung des Objekts zusammen mit der
Bildaufnahme viel Zeit benötigt, so dass sie für
Echtzeitanwendungen im Bereich einer Allgemeinbeleuchtung kaum in Frage kommt. Zudem muss bei der konventionellen fotometrischen Stereoanalyse eine Hintergrundbeleuchtung (die nicht von den Leuchten stammt) eliminiert werden. Diese
Hintergrundbeleuchtung muss jedes Mal von den Einzelbildern subtrahiert werden.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit einer
Oberflächenrekonstruktion auf Basis der fotometrischen
Stereoanalyse bereitzustellen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zur
Oberflächenrekonstruktion, bei dem (i) mindestens ein Objekt von mehreren voneinander beabstandeten Leuchten gleichzeitig beleuchtet wird, (ii) eine fotografische Sequenz mit mehreren Einzelbildern des mindestens einen Objekts aufgenommen wird und (iii) mindestens eine sichtbare Objektoberfläche mittels einer fotometrischen Stereoanalyse rekonstruiert wird. Dabei wird das von den Leuchten abgestrahlte Licht mit unterschiedlichen Modulationsfrequenzen moduliert. Dann werden die von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation erkannt und jeweiligen Teilbildern zugeordnet. Anschließend werden die Teilbilder als Eingangsbilder für die fotometrische
Stereoanalyse verwendet. Es ist ein Vorteil des Verfahrens, dass die Lichtanteile aufgrund der Modulation gleichzeitig bzw. simultan aus der aufgenommenen fotografischen Sequenz extrahiert werden können. Die drei oder mehr nur zu den jeweiligen Leuchten zugehörigen (Teil-) Bilder brauchen nicht mehr sequentiell bzw. nacheinander aufgenommen zu werden, da alle drei oder mehr Leuchten kodiert sind und damit parallel betrieben werden und insbesondere permanent
eingeschaltet bleiben können. Zudem braucht nun die
Hintergrundbeleuchtung nicht mehr aufwändig aus den
Einzelbildern subtrahiert zu werden, sondern wird - da sie nicht moduliert ist - einfach nicht berücksichtigt.
Das Rekonstruieren ist dadurch vorteilhafterweise in Echtzeit durchführbar, und zwar auch auf dem Gebiet der
Allgemeinbeleuchtung, z.B. zur Raumüberwachung und
Objekterkennung, insbesondere zur Erkennung einer Anwesenheit von Menschen und deren Aktivität. Das Rekonstruieren der sichtbaren Objektoberfläche kann nach Erstellen der Teilbilder mit herkömmlichen Methoden durchgeführt werden. Mittels der rekonstruierten Oberflächen kann wiederum eine Objekterkennung usw. durchgeführt werden. Eine Oberflächenrekonstruktion wird auch häufig als "Surface Reconstruction" bezeichnet.
Das Verfahren zur Oberflächenrekonstruktion kann auch als ein Verfahren zur Bestimmung oder Berechnung einer bzw. der Form und Ausrichtung von fotografisch aufgenommenen Oberflächen im Raum angesehen oder bezeichnet werden.
Die auf einen Punkt einer Objektoberfläche einfallenden
Lichtbündel der voneinander beabstandeten Leuchten weisen dort insbesondere unterschiedliche Einstrahlwinkel (auch als
Beleuchtungseinfallswinkel bezeichnet) und ggf.
unterschiedliche Beleuchtungsstärken auf. Die Leuchten können insbesondere unterschiedliche Ausrichtungen bzw.
Beleuchtungsrichtungen aufweisen .
Mittels des Verfahrens können eine oder auch mehrere
Objektoberflächen rekonstruiert werden. Dazu ist es insbesonders vorteilhaft, wenn (beispielsweise vorher oder während des Verfahrens) die Positionen oder Koordinaten der mehreren Objekte bzw. Objektoberflächen im Raum ermittelt werden, beispielsweise durch Methoden der Bilddatenverarbeitung. Dies ist deshalb vorteilhaft, weil dann die jeweiligen
Beleuchtungseinfallswinkel der drei Leuchten bekannt sind bzw. ermittelt werden können, um anschließend die photometrische Stereoanalyse durchzuführen. Unter einer fotografischen Sequenz kann insbesondere eine
Bildfolge oder ein Video verstanden werden. Die fotografische Sequenz umfasst insbesondere eine zeitliche Folge von
Einzelbildern. Die Einzelbilder können mittels einer Kamera aufgenommen werden. Die Kamera kann stationär sein. Die
Einzelbilder weisen insbesondere die gleiche Auflösung auf, z.B. eine matrixförmige Auflösung mit (m x n) Bildpunkten oder Pixeln, z.B. von 640 x 480, 1024 x 640, 1920 x 1080, usw. Bildpunkten.
Ist die Samplingrate oder Abtastrate f_s der Kamera hoch genug, können die in den Einzelbildern einer Sequenz vorhandenen Objekte auch dann noch als praktisch stationär angenommen werden, wenn sie sich nicht zu schnell bewegen. Die Zahl der für eine Sequenz verwendeten Einzelbilder ist nicht beschränkt. Es ist eine Weiterbildung, dass die Einzelbilder einer Sequenz zeitlich äquidistant voneinander beabstandet sind. Die Sequenz kann grundsätzlich beliebig sein. So kann die Sequenz eine Auswahl einer vollständigen Aufnahmereihe von Einzelbildern sein. Die vorgegebene Sequenz entspricht jedoch insbesondere einer vollständigen Aufnahmereihe von Einzelbildern bzw. allen Einzelbildern einer vorgegebenen Zeitdauer. Die Sequenzen können "laufende" Sequenzen einer Folge von 1 bis m Einzelbildern EB sein: { EB1 , EB2, EBn}, { EB2 , EB3, EBn+1 } usw. mit n < m. Es ist eine für eine besonders einfache
Oberflächenrekonstruktion vorteilhafte Weiterbildung, dass die Leuchten identisch aufgebaut sind. Die Leuchten können ein oder mehrere Lichtquellen (z.B. ein oder mehrere LEDs) aufweisen. Die fotometrische Stereoanalyse ist grundsätzlich bekannt und dient zur Rekonstruktion der räumlichen Objektoberfläche mittels Auswertung von zweidimensionalen (Eingangs- ) Bildern des
Objekts, die jeweils aus drei unterschiedlichen bekannten Beleuchtungsrichtungen aufgenommen wurden. Den
unterschiedlichen bekannten Beleuchtungsrichtungsrichtungen können jeweilige nicht parallel zueinander verlaufende
Beleuchtungsvektoren LI, L2 bzw. L3 zugeordnet sein.
Zur Nutzung der fotometrischen Stereoanalyse werden bisher drei (oder bei Kenntnis der Albedo zwei) voneinander beabstandete Leuchten nacheinander eingeschaltet und bei eingeschalteter Leuchte ein jeweiliges Bild aufgenommen. Die resultierenden Bilder dienen als Eingangsbilder für die fotometrische
Stereoanalyse .
Es ist eine Weiterbildung, dass das ausgestrahlte Licht der unabhängigen beabstandeten Leuchten charakteristisch
(individuell) moduliert ist. Insbesondere stellen die unterschiedlichen Modulationsfrequenzen keine Vielfachen voneinander dar. Beispielsweise können drei Leuchten ihr Licht mit Modulationsfrequenzen von 210 Hz, 330 Hz und 440 Hz modulieren. Dieses Konzept kann auf mehr als drei Leuchten erweitert werden.
Um ein Auftreten einer Intermodulation besonders effektiv zu verhindern, sind die Modulationsfrequenzen vorzugsweise nicht oder nicht genau aus Vielfachen von ganzen Zahlen
zusammengesetzt. So können Intermodulationsprodukte vermieden werden, die identisch zu einer der Modulationsfrequenzen sind, z.B. falls geringe Nichtlinearitäten in der Kamera oder im Kamerasystem auftreten. Die Modulationsfrequenzen können insbesondere paarweise teilerfremd sein. Die
Modulationsfrequenzen können grundsätzlich variiert werden.
Die Modulation kann allgemein als eine Kodierung des von der Leuchte abgestrahlten Lichts verstanden werden, welche es ermöglicht die Lichtanteile dieser Leuchte in einem digitalem Bild zu identifizieren bzw. zu extrahieren, obwohl das Objekt gleichzeitig von mehreren bzw. den anderen Leuchten gleichzeitig angestrahlt wird.
Es ist eine Weiterbildung, dass die Modulationsfrequenzen in einem Bereich zwischen 50 Hz und 1000 Hz, insbesondere zwischen 100 Hz und 1000 Hz, insbesondere zwischen 100 Hz und 500 Hz liegen. Die untere Grenze von 50 Hz oder sogar 100 Hz ist vorteilhaft, damit die Leuchten nicht für das menschliche Auge sichtbar flackern. Die obere Grenze ist vorteilhaft, damit eine Auswertung auch bei begrenzten oder geringen Abtastraten f_s noch mit geringen Fehlern durchführbar ist, was wiederum eine Nutzung einer preiswerten Videotechnik bzw. Kameratechnik ermöglicht (z.B. in Bezug an Anforderung an die Framerate) . Dass die von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation erkannt und jeweiligen
("extrahierten") Teilbildern zugeordnet werden, ermöglicht es insbesondere, dass die extrahierten Teilbilder Bildern entsprechen (insbesondere genau entsprechen) , die nur noch die Lichtanteile einer bestimmten Leuchte aufweisen. Die Teilbilder weisen insbesondere das gleiche Format auf wie die fotografisch aufgenommenen Einzelbilder.
Es ist eine Ausgestaltung, dass jeder Bildpunkt der (zeitlichen) Sequenz einer jeweiligen Fourieranalyse unterzogen wird und aus der Fourieranalyse erlangte Fourier-Komponenten als Werte der entsprechenden Bildpunkte den jeweiligen Teilbildern zugeordnet werden. Dies ermöglicht eine besonders effektive und schnelle Erkennung (insbesondere in "Realtime") der von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation. Zudem ermöglicht die Nutzung der Fourier-Komponenten eine einfache Möglichkeit, eine Hintergrundbeleuchtung nicht zu berücksichtigen.
Wie bei der Fourieranalyse üblich, definiert die Abtastrate den detektierbaren Frequenzbereich, während die Zahl der
aufgenommenen Einzelbilder bzw. die Beobachtungszeit die messbare Frequenzauflösung bestimmt. Beide Parameter können angepasst werden, um die schnellsten Ergebnisse für ein bestimmtes Modulationsschema zu bekommen.
Unter einer Fourieranalyse kann insbesondere die Durchführung einer Fourier-Transformation verstanden werden, beispielsweise einer schnellen Fourier-Transformation (FFT) . In anderen Worten wird für jeden Bildpunkt aus einer vorgegebenen Gruppe von zeitlich versetzt aufgenommenen Einzelbildern eine zugehörige Zeitreihe von Bildpunktwerten oder Pixelmesswerten bestimmt. Diese (bildpunktbezogene) Zeitreihe wird einer jeweiligen Fourieranalyse unterzogen. Durch die
Fouriertransformation wird ein Fourierspektrum mit
Fourier-Komponenten als Werten im Frequenzraum erzeugt. Die Bildpunktwerte im Zeitraum können auch als Pixelwerte,
Messwerte, Magnituden, Intensitätswerte, Luminanzwerte oder Helligkeitswerte angesehen werden, z.B. innerhalb eines
Wertebereichs von [0; 255] bzw. [0; 1024] usw.
Eine auch mögliche Gleitkomma-Kodierung weist gegenüber einer Integer-Kodierung den Vorteil auf, dass die relative Genauigkeit des Wertes von seinem Wert selbst nicht abhängig ist. Ein niedrigerer Pixelbeleuchtungswert wird mit derselben relativen Genauigkeit (z.B. 5%) übertragen bzw . repräsentiert wie ein hoher Intensitätswert. Es ist auch eine Ausgestaltung, dass mehr als drei bzw. mindestens vier voneinander beabstandete Leuchten mit jeweiligen
Modulationsfrequenzen verwendet werden. Dies ergibt den Vorteil, dass durch eine Überbestimmung eine räumliche Überdeckung oder Abschattung einer zu rekonstruierenden Oberfläche verringert oder sogar ganz vermieden werden kann.
Es ist eine für eine genauere Rekonstruktion besonders vorteilhafte Ausgestaltung, dass das mindestens eine Objekt von mehr als drei unterschiedlich kodierten, insbesondere
modulierten, Leuchten gleichzeitig beleuchtet wird,
entsprechend mehr als drei zu den jeweiligen Leuchten gehörige Teilbilder erzeugt werden, dann fotometrische Stereoanalysen für unterschiedliche Leuchten-Kombinationen mit jeweils drei Teilbildern durchgeführt werden. Zudem können dann insbesondere zumindest zwei der sich jeweils ergebenden rekonstruierten Objektoberflächen zu einer einzigen finalen Objektoberfläche kombiniert oder überlagert, z.B. übereinandergelegt und/oder gemittelt, werden. Diese Ausgestaltung ist besonders
vorteilhaft, falls Glanzbilder (auch als "spekulare Albedo" bezeichnet) vorliegen, z.B. wenn ein Objekt zumindest teilweise eine glänzende oder spiegelnde Oberfläche aufweist. Wenn eine spekulare Albedo vorliegt, tritt diese in den Teilbildern nur an bestimmten Stellen an der Objektoberfläche auf, wobei ein Auftreten und/oder eine Stärke dieser Stellen für
unterschiedliche Teilbilder unterschiedlich sein können. Das bedeutet, dass in jedem der Teilbilder glänzende Stellen der Objektoberfläche vorhanden sein können, für die keine brauchbare Information beigesteuert werden kann. Durch die Überlagerung der rekonstruierten Objektoberflächen lassen sich die fehlerhaften Stellen finden und beheben.
Beispielsweise kann dann, wenn vier Leuchten a, b, c und d gleichzeitig verwendet werden, eine jeweilige fotometrische Stereoanalyse für die Leuchten-Kombinationen (abc) , (abd) , (acd) und (bcd) durchgeführt werden. Dabei kann zumindest eine der sich jeweils ergebenden rekonstruierten Objektoberflächen an bestimmten Stellen keine sinnvolle Rekonstruktion zurückgeben. Durch Überlagerung von mindestens zwei der vier rekonstruierten Objektoberflächen lassen sich die fehlerhaften (glänzenden) Stellen finden und beheben.
Wie das Kombinieren bzw. Überlagern der rekonstruierten
Objektoberflächen durchgeführt wird, ist grundsätzlich nicht beschränkt. So können in einer Weiterbildung alle
rekonstruierten Objektoberflächen übereinandergelegt und/oder gemittelt werden. Insbesondere zur Unterdrückung von Glanzeffekten ist es jedoch vorteilhaft, nur eine Untermenge der rekonstruierten Objektoberflächen zu kombinieren, insbesondere eine solche Untermenge, welche den Glanzeffekt nicht oder nicht so stark zeigt.
Es ist eine Weiterbildung, dass zur Auswahl einer solchen Untermenge eine Mehrheitsentscheidung durchgeführt wird. Es werden dazu diejenigen Oberflächenrekonstruktionswerte verwendet (ggf. auch gemittelt oder gewichtet verwendet) , die in mehreren (z.B. zwei oder drei) rekonstruierten Obj ektoberflächen zumindest innerhalb einer vorgegebenen Bandbreite
übereinstimmen. Alternativ oder zusätzlich können
Ausreißertests durchgeführt werden, z.B. Ausreißertests nach Grubbs oder Nalimov.
Es ist besonders vorteilhaft, wenn das Kombinieren bzw.
Überlagern der zuvor rekonstruierten Objektoberflächen für jeden Oberflächenpunkt oder Oberflächenbereich der Objektoberfläche individuell durchgeführt wird. Dies kann auch als punktweises Kombinieren bezeichnet werden.
Bei ausreichend hoher Kamerabildrate bzw. Abtastrate ist das Nyquist-Shannon-Abtasttheorem erfüllt, und es treten nach Durchführung einer Fourieranalyse genauso viele
Fourier-Komponenten auf wie Modulationsfrequenzen / modulierte Leuchten vorhanden sind. Dieser Fall kann auch als
"Standard-Fourieranalyse" bezeichnet werden. Die Bildrate ist in diesem Fall mindestens doppelt so hoch wie die
Modulationsfrequenzen der Leuchten. Denn bei ausreichend langer Videosequenz (d.h., einer ausreichend großen Anzahl der aufgenommenen Einzelbilder) ist die Frequenzauflösung
ausreichend, um zwischen den unterschiedlichen Modulationsfrequenzen noch unterscheiden zu können. Häufig wird eine Auflösung von 1 Hz bis 10 Hz benötigt, was einer
Videosequenzlänge von einer Sekunde entspricht. Jedoch ist die vorliegende Erfindung nicht auf diesen Frequenzbereich beschränkt.
Es ist eine insbesondere zur Anwendung mit einer
Standard-Fourieranalyse vorteilhafte Ausgestaltung, dass die Modulationsfrequenzen zeitlich konstant gehalten werden, die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die höher ist als die Modulationsfrequenzen der Leuchten, und die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zur halben Abtastrate reicht
(Nyquist-Frequenzlimit ) . In anderen Worten liegt die Abtastrate f_s mindestens zweifach über der zu messenden
Modulationsfrequenz (die auch als Lichtsignalfrequenz oder Nyquist-Frequenz bezeichnet werden kann) .
Die Fourieranalyse erfasst dabei an jedem Bildpunkt bzw. Pixel direkt die zu den Modulationsfrequenzen zugehörigen
Fourierbeträge (d.h., die Magnitude bzw. Höhe der gemessenen Linie) , welche den Bildpunktmesswert (Pixelwert) infolge der Bestrahlung mit der entsprechenden Leuchte widergibt. Diese Ausgestaltung weist den Vorteil auf, dass die
Fourieranalyse (für jeden Pixel) besonders einfach umsetzbar ist und besonders genaue Teilbilder erzeugt.
Unter einer konstanten Modulationsfrequenz kann insbesondere eine Modulationsfrequenz verstanden, die eine
Frequenzschwankung Af_signal von weniger als 10 Hz, insbesondere von weniger als 5 Hz, insbesondere von weniger als 2 Hz, insbesondere von weniger als 1 Hz, aufweist. Es ist auch eine Ausgestaltung, dass die Lichtsignal- bzw. Modulationsfrequenzen zeitlich konstant gehalten werden, die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als zumindest eine Modulationsfrequenz der Leuchten (insbesondere als alle Modulationsfrequenzen der Leuchten) , und die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zu der halben Abtastrate reicht .
Diese Ausgestaltung ergibt den Vorteil, dass eine Rekonstruktion von Objektoberflächen auch mit Kameras oder anderen
Bildaufnahmeeinrichtungen durchgeführt werden kann, die eine vergleichsweise geringe Abtastrate aufweisen, z.B. von ca. 30 Bildern pro Sekunde ("frames per second", fps) . Solche Kameras o.a. sind vergleichsweise kostengünstig.
Dass die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als zumindest eine Modulationsfrequenz der Leuchten, kann auch als "Unterabtastung" oder
"Undersampling" bezeichnet werden. Bei einer Unterabtastung ergeben sich als Ergebnis einer Fourieranalyse mehrere
Fourier-Komponenten pro Modulationsfrequenz. Diese
Fourier-Komponenten liegen bei den zugehörigen Aliasfrequenzen f_alias, die sich gemäß f_alias = f_signal - n * f_s > 0 mit n = 0, 1, 2, 3 usw. ergeben, wobei f_signal die zugehörige Modulationsfrequenz und f_s die Sampling- oder Abtastrate ist. Bei der Anwendung der Fourieranalyse auf die abgetastete Signalsequenz werden die Parameter vorteilhafterweise so gewählt, dass die
Nyquist-Frequenz der Fourieranalyse nur die niedrigste zu erwartende Aliasfrequenz umfasst, während die Aliasfrequenzen höherer Ordnung unberücksichtigt bleiben. Analog kann die Samplingrate so gewählt werden, dass die Frequenzauflösung zur Erfassung der zu erwartenden niedrigsten Aliasfrequenz ausreicht, um sie von den benachbarten niedrigsten
Aliaskomponenten der anderen Leuchten trennen zu können.
Typischerweise wird zur Parametrisierung der Fourieranalyse die Nyquist-Frequenz auf f_s/2 (z.B. auf 30 Hz/2 = 15 Hz)
eingestellt und die Beobachtungszeit auf z.B. 1 sec, um eine Frequenzauflösung von 1 Hz zu erreichen. Die Fourieranalyse erfasst für den Fall der Unterabtastung also nur die Größen (z.B. Intensitäten) der niedrigsten Aliasfrequenzen der tatsächlichen Modulationsfrequenzen bzw. Lichtsignalfrequenzen. Es ist eine Weiterbildung, dass als "richtige"
Fourier-Komponente (deren Wert zur Erstellung der Teilbilder weiterverwendet wird) jeweils die Fourier-Komponente mit der kleinsten Aliasfrequenz f_alias pro Modulationsfrequenz verwendet wird. Die frequenztechnisch niedrigste Aliasfrequenz wird auch als Basisbandsignal bezeichnet.
Die Fourier-Komponente der kleinsten Aliasfrequenz enthält die Information der zugehörigen Signalamplitude (als hier die Information über den Messwert des Bildpunkts für eine bestimmte Modulationsfrequenz) , wobei nur eine Phaseninformation verloren geht. Alle anderen Fourier-Komponenten bei höheren Aliasfrequenz werden unterdrückt und nicht berücksichtigt.
Dies kann zusätzlich oder alternativ mittels Anwendung eines digitalen Tiefpassfilters auf die abgetastete Signalsequenz erreicht werden, der auch als Anti-Aliasingfilters bezeichnet werden kann. Die kleinste Fourier-Komponente pro Modulationsfrequenz kann dann weiterverwendet werden, um wie bereits oben beschrieben Werte für die Bildpunkte der Teilbilder bereitzustellen.
Ein möglicher Fall des Unterabtastung-Konzepts kann wie folgt umgesetzt sein:
Die Modulationsfrequenzen f_signal = fa, fb und fc der Leuchten i = a, b bzw. c lauten beispielsweise: fa = 150 Hz + 3 Hz = 153 Hz
fb = (2-150 Hz) + 6 Hz = 306 Hz
fc = (3-150 Hz) + 12 Hz = 462 Hz oder fa = 150 Hz + 3 Hz = 153 Hz
fb = 150 Hz + 6 Hz = 156 Hz
fc = 150 Hz + 12 Hz = 162 Hz
Die Abtastrate f_s von z.B. 30Hz ist viel kleiner als die Modulationsfrequenzen fa, fb bzw. fc . Eine Aufnahmezeit T von ca. einer Sekunde ermöglicht es, eine Abtastsequenz von 30
Einzelbildern einzulesen.
Aufgrund der Unterabtastung ergibt sich nach der Fourieranalyse ein Satz von Fourier-Komponenten bei Aliasfrequenzen fn_sub in den Fourierspektren der jeweiligen Bildpunkte. Die
Aliasfrequenzen fn_alias liegen bei fn_alias_n = f_signal - n · f s, mit n = 1, 2, 3, ... Die Aliasfrequenzen, die am nächsten an der Null liegen
(Basisband-Frequenzen) , sind fa_alias_5 = 3 Hz, (mit n=5)
fb_alias_10 = 6 Hz, (mit n=10)
fc_alias_15 = 12 Hz (mit n=15)
Durch Anwendung eines digitalen Tiefpass- oder
Anti-Aliasing-Filters mit einer Abschneidefrequenz bei 15 Hz werden alle anderen, höherfrequenten Aliasfrequenzen
unterdrückt. Die Abschneidefrequenz des - z.B. digitalen - Filters ist dabei so gelegt worden dass, nur noch die niedrigsten Aliaskomponenten gesehen werden. Es verbleiben nach der digitalen Filterung nur noch die Basisbandsignale.
Wenn das digitale Filter angewendet wird, bevor die
Fourieranalyse durchgeführt wird, braucht nicht mehr oder nicht mehr aufwändig darauf geachtet zu werden, dass deren Parameter der Nyquistfrequenz nicht zu hoch ist. Insbesondere braucht mit der Fourieranalyse dann nicht mehr gefiltert zu werden.
Die Basisbandsignale können mittels üblicher Fourieranalyse analysiert werden, um die Position und Größe der
Fourier-Komponenten zu finden.
Es ist also möglich, entweder "aktiv" ein digitales
Antialising-Filter anzuwenden und/oder die Fourieranalyse so parametrisieren, damit die höheren Aliases oberhalb der gewählten Nyquistfrequenz liegen und somit auch nicht mehr analysiert werden. Die zusätzliche Anwendung des digitalen Antialias-Filters ist vorteilhafterweise sicherer, da dabei nicht wie bei der Fourieranalyse mit Spiegeleffekten gerechnet zu werden braucht, die möglicherweise von Frequenzen oberhalb der Nyquistfrequenz durchgreifen können.
Es ist außerdem eine Ausgestaltung, dass die
Modulationsfrequenzen zeitlich konstant gehalten werden, die Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als die Modulationsfrequenzen der Leuchten, die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der mindestens bis zu der jeweiligen Modulationsfrequenz reicht und gemessene Fourier-Komponenten aus mehreren wiederholte
Messungen gemittelt werden, wobei die Abtastrate und die Modulationsfrequenz nicht synchronisiert sind.
Die fehlende Synchronisation kann auch als zufällige Abtastung ("Random Sampling") oder stochastische Abtastung ("Stochastic Sampling") bezeichnet werden.
Beim Random Sampling wird ausgenutzt, dass dann, wenn das von einem Obj ekt reflektierte Licht (d.h., gemessene "Lichtsignale") mit einer niedrigen Abtastrate (Unterabtastung) erfasst wird, es noch teilweise Anteile bzw. Information der frequenztechnisch höherliegenden Modulationsfrequenz (Signalfrequenz) enthält. Die verbleibende Restinformation in der abgetasteten
Signalsequenz hängt dabei von der zufälligen Phasenlage zwischen der Abtastfrequenz und zu messenden Modulationsfrequenz ab. Beträgt die Samplingfrequenz beispielsweise 30 Hz, ist die abgetastete Signalsequenz mit einem 30 Hz-Raster gerastert.
Diese gerastete Signalsequenz ist fourieranalysierbar, insbesondere mittels einer Standard-Fourieranalyse (ohne
Berücksichtigung der Unterabtastung) bis zu einer Grenzfrequenz oberhalb der Abtastrate, insbesondere bis zu einem Halben der höchsten Modulationsfrequenz (z.B. 500Hz) oder bis zu der höchsten Modulationsfrequenz (z.B. 1000Hz) .
Aus der Fourieranalyse ergeben sich rudimentäre bzw.
abgeschwächte Werte der echten Fourier-Komponenten bei der
Grenzfrequenz. Weil die geringe bzw. langsame Abtastrate mit der Modulationsfrequenz nicht synchronisiert ist, lässt sich durch wiederholtes Messen (entsprechend der Bereitstellung
unterschiedlichen Sequenzen) das Signal/Rausch-Verhältnis verbessern. Es wird also für den Fall der zufälligen Abtastung ausgenutzt, dass jede Bildaufnahmesequenz Fourier-analysierbar ist, aber aufgrund der Unterabtastung von Einzelbildern nur einen bestimmten Bruchteil zu dem "wahren" Wert oder Höhenniveau der Fourier-Komponenten beisteuert. Durch Aufnahme einer
ausreichend hohen Zahl n von Sequenzen kann der wahre Wert durch einfache Summation erlangt werden.
Unter der dem Random Sampling zugrundeliegenden Annahme, dass die Aufnahmen der Sequenzen unkorreliert sind und zu zufälligen Zeitpunkten erfolgen (was z.B. dadurch erreicht werden kann, dass die Samplingrate unabhängig von den Modulationsfrequenzen ist) , wird sich der Wert der Fourier-Komponenten linear mit der Zahl n der aufgenommenen Sequenzen erhöhen. Das Rauschen erhöht sich jedoch nur mit der Wurzel von n. Dies führt zu einem
Signal-zu-Rausch-Verhältnis SNR mit
SNR(n) = (f_s / f_nyquist) -n/sqrt(n) wobei f_s die Abtastrate ist, z.B. 30 Hz, f_nyquist das Zweifache der Modulationsfrequenz ist, z.B. 1000 Hz, und n die Zahl der aufgenommenen Sequenzen ist. Da das Nutzsignal mit dem Faktor n an steigt, während das Rauschen nur mit dem Faktor sqrt (n) ansteigt, steigt das SNR mit n / sqrt (n) = sqrt (n) an. Durch Festsetzen der Zahl n auf einen ausreichend hohen Wert, z.B. auf n = 100, für alle Messungen kann die gemessene Fourier-Komponente als ein repräsentativer Wert angenommen werden und zur Erzeugung der Teilbilder usw. herangezogen werden.
Es ist zudem eine Ausgestaltung, dass eine jeweilige
Modulationsamplitude der Leuchten konstant gehalten wird. Dies erleichtert eine Durchführung des Verfahrens und steigert dessen Genauigkeit, weil eine Modulationstiefe der Intensität der einzelnen Leuchten entspricht.
Es ist eine zum gleichen Zweck vorteilhafte Weiterbildung, dass die Modulationsamplitude der Leuchten gleich hoch ist. Dies erleichtert insbesondere eine Kalibrierung.
Es ist eine Weiterbildung, dass die Amplitudentiefe (d.h., ein Verhältnis des Amplitudenhubs zu einer maximalen Amplitude Amax, also [Amax-Amin] /Amax) mindestens 5% beträgt, insbesondere mindestens 10%. Dies ermöglicht eine besonders gute
Detektierbarkeit durch eine Kamera.
Die Aufgabe wird auch gelöst durch eine Vorrichtung, die zur Durchführung des Verfahrens eingerichtet ist. Die Vorrichtung kann insbesondere mehrere voneinander
beabstandete Leuchten, mindestens eine Kamera, deren Sichtfeld in einen durch die Leuchten beleuchtbaren Raumbereich gerichtet ist, und eine Auswerteeinrichtung aufweisen. Die Vorrichtung ist insbesondere dazu eingerichtet, das von den Leuchten abgestrahlte Licht mit unterschiedlichen
Modulationsfrequenzen zu modulieren (beispielsweise über geeignete Treiber) . Mittels der Kamera ist eine fotografische Sequenz mit mehreren Einzelbildern aufnehmbar. Mittels der Auswerteeinrichtung ist die fotografische Sequenz auswertbar, um eine sichtbare Objektoberfläche eines im
Sichtfeld der Kamera befindlichen Objekts mittels fotometrischer Stereoanalyse zu rekonstruieren. Die Auswerteeinrichtung kann auch dazu eingerichtet sein, auf der Grundlage der
rekonstruierten Objektoberflächen eine Objekterkennung durchzuführen .
Es ist eine Weiterbildung, dass die Leuchten jeweils mindestens eine Leuchtdiode aufweisen.
Es ist eine Weiterbildung, dass die Vorrichtung ein
Überwachungssystem oder ein Teil eines Überwachungssystems ist, beispielsweise zur Überwachung von Innen- und/oder Außenräumen. Das Überwachungssystem kann ein verteiltes System sein, bei dem die Auswerteeinrichtung entfernt von den Leuchten und der Kamera angeordnet ist.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im
Zusammenhang mit der folgenden schematischen Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Dabei können zur Übersichtlichkeit gleiche oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sein.
Fig.l zeigt ein Überwachungssystem gemäß einem ersten
Ausführungsbeispiel ; Fig.2 zeigt eine Sequenz von Einzelbildern, die von einer
Kamera des Überwachungssystems gemäß dem ersten Ausführungsbeispiel aufgenommen wurden;
Fig.3 zeigt eine Zeitreihe von Messwerten eines Bildpunkts der Sequenz;
Fig.4 zeigt ein Ergebnis einer Standard-Fourieranalyse der
Zeitreihe von Messwerten;
Fig.5 zeigt aus der Fourieranalyse gewonnene Teilbilder.
Fig.6 zeigt ein Überwachungssystem gemäß einem zweiten
Ausführungsbeispiel ;
Fig.7 zeigt eine Zeitreihe von Messwerten eines Bildpunkts einer Sequenz von Einzelbildern, ;
Fig.8 zeigt ein Ergebnis einer Standard-Fourieranalyse der
Zeitreihe von Messwerten, die von der Kamera des
Überwachungssystems gemäß dem zweiten
Ausführungsbeispiel aufgenommen wurden; und Fig.9 zeigt eine Bestimmung einer Oberflächenpunkts einer rekonstruierten Oberfläche aus einer Menge von mehreren Oberflächenpunkten.
Fig.l zeigt ein Überwachungssystem Sl gemäß einem ersten Ausführungsbeispiel. Das Überwachungssystem Sl weist drei voneinander beabstandete Leuchten a, b bzw. c auf. Die Leuchten a bis c sind voneinander beabstandet, so dass von ihnen abgestrahltes Licht unter unterschiedlichen Einfallswinkeln auf ein Objekt 0 fällt. Das Überwachungssystem Sl weist ferner eine Digitalkamera K auf, deren Sichtfeld in einen durch die Leuchten a bis c beleuchtbaren Raumbereich gerichtet ist. Die Kamera K ist in der Lage, zeitliche Sequenzen von
Einzelbildern EB (siehe Fig.2) mit einer bestimmten Abtastrate f_s aufzunehmen. In den Einzelbildern EB ist das Objekt O vorhanden bzw. abgebildet. Jedem Bildpunkt BP(x,y) eines Einzelbilds EB ist ein entsprechender Oberflächenbereich oder Oberflächenpunkt OP(x,y) zugeordnet.
Das Überwachungssystem Sl weist außerdem eine
Auswerteeinrichtung A auf, mittels der die fotografische Sequenz auswertbar ist, um eine für die Kamera K sichtbare
Objektoberfläche OSl, OS2 des Objekts 0 mittels fotometrischer Stereoanalyse zu rekonstruieren. Die Auswerteeinrichtung A kann auch dazu eingerichtet sein, auf der Grundlage der
rekonstruierten Objektoberflächen OSl, OS2 eine Objekterkennung und/oder Aktivitätserkennung durchzuführen.
Das Überwachungssystem Sl ist insbesondere dazu eingerichtet, das von den Leuchten a bis c abgestrahlte Licht La, Lb bzw. Lc mit unterschiedlichen Modulationsfrequenzen fa, fb bzw. fc zu modulieren (beispielsweise über geeignete Treiber) . Die
Modulationsfrequenzen fa, fb und fc sind insbesondere
teilerfremd, so dass ein Auftreten einer Intermodulation besonders effektiv verhindert werden kann. Die Leuchten a, b, und c können j eweils mindestens eine Leuchtdiode (o. Abb.) aufweisen, insbesondere mindestens eine weißes Licht La bis Lc abstrahlende Leuchtdiode. Die Leuchten a, b und c können einen gleichen Aufbau aufweisen . Fig.2 zeigt eine Folge oder Sequenz von n Einzelbildern EB_r, EB_r+l, EB_r+2, EB_r+n, die von der Kamera K des
Überwachungssystems S aufgenommen wurden. Jedes der Einzelbilder EB weist mehrere Bildpunkte BP(x,y) auf, z.B. mit x und/oder y aus einer Menge {1024 x 640}.
Aufgrund der Modulation der Leuchten a bis c unterscheiden sich die Beleuchtungssituationen der Bildpunkte BP(x,y) zur Zeit der Aufnahmen der Einzelbilder EB r bis EB r+n. Fig.3 zeigt eine Zeitreihe von Messwerten eines bestimmten Bildpunkts BP(x,y) aus der Sequenz der Einzelbilder EB_r bis EB_r+n. Die Größe bzw. der Wert des Bildpunkts BP(x,y) zu einem jeweiligen Zeitpunkts ist ein ( "Pixel- ") Messwert PMw(x,y) und kann z.B. einem Helligkeitswert entsprechen.
Fig.4 zeigt Fourier-Komponenten FT_a, FT_b, FT_c als ein Ergebnis einer Standard-Fourieranalyse der Zeitreihe von Messwerten PMw ( tr) , ... , PMw ( tr+n) zu Zeitpunkten tr, tr+n aus Fig.3.
Die Standard-Fourieranalyse kann beispielsweise eine schnelle Fouriertransformation (FFT) sein.
Die Magnituden oder Werte der Fourier-Komponenten FT_a, FT_b und FT_c entsprechen repräsentativen Intensitätsmesswerten Iw, die nur die Anteile der Lichtanteile La, Lb bzw. Lc der Leuchten a, b bzw. c umfassen.
Fig.5 zeigt aus der Fourieranalyse gewonnene drei Teilbilder TBa, TBb und TBc. Die Teilbilder TBa, TBb und Tc umfassen bzw.
beinhalten jeweils die Intensitätsmesswerte Iw der zugehörigen Fourier-Komponenten FTa, FTb und FTc an den jeweiligen
Bildpunkten BP(x,y). Die drei Teilbilder TBa, TBb und TBc entsprechen Einzelbildern, die nur bei Beleuchtung durch jeweils eine der Leuchten a, b bzw. c aufgenommen worden wären. Wie durch den Pfeil angedeutet, können diese drei Teilbilder TBa, TBb und TBc als Eingangsbilder für eine fotometrische Stereoanalyse verwendet werden, um die Objektoberflächen OS1, OS2 zu rekonstruieren.
Fig.6 zeigt ein Überwachungssystem S2 gemäß einem zweiten Ausführungsbeispiel. Das Überwachungssystem S2 ist ähnlich zu dem Überwachungssystem Sl aufgebaut, weist aber nun eine weitere Leuchte d auf, die moduliertes Licht Ld einer Modulationsfrequenz fd abstrahlt. Fig.7 zeigt analog zu Fig.4 ein Ergebnis einer
Standard-Fourieranalyse der Zeitreihe von Messwerten eines Bildpunkts BP(x,y) einer Sequenz von Einzelbildern EB_r, Eb_r+n, die von der Kamera K des Überwachungssystems S2 aufgenommen wurden. Es ergeben sich nun vier Fourier-Komponenten FT_a bis FT_d, die den Modulationsfrequenzen fa bis fd entsprechen .
Aus den vier Fourier-Komponenten FT_a bis FT_d aller Bildpunkte lassen sich entsprechende vier Teilbilder TBa bis TBd (siehe Fig.8) erzeugen.
Fig.8 zeigt die aus vier nutzbaren unterschiedlichen
Triplet-Gruppen von Leuchten-Kombinationen mittels
Fourier-Transformationen erzeugten entsprechenden Teilbilder TBa bis TBd. Dies sind die Teilbilder TBa, TBb und Tc der Leuchten-Kombination {a, b, c}, die Teilbilder TBa, TBb und TBd der Leuchten-Kombination {a, b, d}, die Teilbilder TBa, TBc und TBd der Leuchten-Kombination {a, c, d} und die Teilbilder TBb, TBc und TBd der Leuchten-Kombination {b, c, d} . Aus den jeweiligen Triplets der Teilbilder.
Da aber für eine fotometrische Stereoanalyse nur drei Teilbilder benötigt werden, lässt sich aus den Triplets der Teilbilder TBa bis TBd jeweils eine unabhängige fotometrische
Oberflächenrekonstruktion der Objektoberflächen OS1, OS2 des Objekts O durchführen.
Die vier unabhängigen Oberflächenrekonstruktionen lassen sich durch Überlagerung zu einem konsistenten Endergebnis für die Oberflächenrekonstruktion heranziehen. Dabei wird berücksichtigt, dass es in der Praxis zu Abweichungen der durch die verschiedenen Triplets rekonstruierten Oberflächen OSl, OS2 kommen kann, z.B. aufgrund von Abschattungen oder Glanzeffekten (spekulares Albedo) .
Fig.9 zeigt eine Bestimmung eines finalen Bildpunktwerts PMw_final für einen bestimmten Oberflächenpunkt OP(x,y) aus einer Menge von mehreren (hier: vier) Bildpunktwerten PMw_l bis PMw_4 für diesen gleichen Oberflächenpunkt OP(x,y) . Die vier Bildpunktwerte PMw_l bis PMw_4 entsprechen somit jeweils dem nominell gleichen Oberflächenpunkt OP(x,y), der sich aus den mittels der vier verschiedenen Leuchten-Kombinationen
rekonstruierten Oberflächen ergibt.
Liegt ein Bildpunktwert PMw_l außerhalb einer vorgegebenen Bandbreite B, die hier durch den Kreis angedeutet ist, zu den anderen Bildpunktwerten PMw_2 bis PMw_4, kann er als Ausreißer angesehen werden und aus einer Betrachtung zur Bestimmung des finalen Bildpunktwerts PMw_final ausgeschlossen werden, wie in dem linken Teil von Fig.9 dargestellt.
Das Ausschlussverfahren kann grundsätzlich auch auf mehr als einen der Oberflächenpunkte OP(x,y) angewandt werden.
Sind alle Bildpunktwerte bis auf einen Bildpunktwert
ausgeschlossen worden, wird der übriggebliebene Bildpunktwert als der finale Bildpunktwert PMw_final gesetzt. Sind mehrere Bildpunktwerte PMw_2 bis PMw_4 übrig geblieben, können diese z.B. gemittelt werden, um einen gemittelten Bildpunktwert PMw_avg zu berechnen, der als der finale Oberflächenpunkt PMw_final verwendet wird. Dies ist im rechten Teil von Fig. 9 gezeigt.
Die obigen Konsistenzkonzepte können auf alle Oberflächenpunkte OP(x,y) bzw. rekonstruierten Oberflächen OS1, OS2 angewandt werden .
Obwohl die Erfindung im Detail durch die gezeigten
Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht darauf eingeschränkt und andere
Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
So kann die Bildrate des Kamera K auch so gering sein, dass eine Unterabtastung vorliegt.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von
"mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw .
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
BEZUGSZEICHENLISTE
Auswerteeinrichtung A
Leuchte a
Bandbreite B
Bildpunkt an der Position (x,y) BP(x,y)
Leuchte b
Leuchte c
Leuchte d
Einzelbilder r, r+n EB_r bis EB_r+n
Fourier-Komponente FT_a bis FT_d Modulationsfrequenzen der Leuchten a bis d fa bis Fd
Intensitätsmesswert Iw
Digitalkamera K
Moduliertes Licht der Leuchten a bis d La bis Ld
Objekt O
Oberflächenpunkt des Bildpunkts BP(x,y) OP(x,y)
Messwert des Bildpunkts BP(x,y) PMw(x,y)
Gemitteiter Bildpunktwert PMw_avg
Finaler Bildpunktwert PMw_final
Bildpunktwerte verschiedener Triplets PWm_l bis PWm_4
Objektoberfläche OS1
Objektoberfläche OS2
Abtastrate f_s
Überwachungssystem Sl bis S2
Teilbild TBa bis TBd

Claims

PATENTA S PRÜCHE
Verfahren zur Oberflächenrekonstruktion, bei dem
- mindestens ein Objekt (0) von mehreren voneinander beabstandeten Leuchten (a-c; a-d) gleichzeitig beleuchtet wird,
- eine fotografische Sequenz mit mehreren Einzelbildern (EB_r-EB_r+n) des mindestens einen Objekts (0) aufgenommen wird und
- mindestens eine sichtbare Objektoberfläche (0S1, 0S2) des Objekts (0) mittels fotometrischer Stereoanalyse rekonstruiert wird,
wobei
- das von den Leuchten (a-c; a-d) abgestrahlte Licht (La-Lc; La-Ld) mit unterschiedlichen
Modulationsfrequenzen (fa-fc; fa-fd) moduliert wird,
- die von dem Objekt (0) reflektierten Lichtanteile der jeweiligen Leuchten (a-c; a-d) anhand ihrer
Modulationsfrequenzen (fa-fc; fa-fd) erkannt und jeweiligen Teilbildern (TBa-TBc; TBa-TBd) zugeordnet werden und
- die Teilbilder (TBa-TBc; TBa-TBd) als Eingangsbilder für die fotometrische Stereoanalyse verwendet werden.
Verfahren nach Anspruch 1, bei dem
- jeder Bildpunkt (BP(x,y)) der Einzelbilder
(EB_r-EB_r+n) der Sequenz einer jeweiligen
Fourieranalyse unterzogen wird und
- aus der Fourieranalyse erlangte Fourier-Komponenten (FT_a-FT_c; FT_a-FT_d) als Werte der entsprechenden Bildpunkte den jeweiligen Teilbildern (TBa-TBc;
TBa-TBd) zugeordnet werden. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mehr als drei Leuchten (a-d) mit jeweiligen
Modulationsfrequenzen (fa-fd) verwendet werden.
Verfahren nach Anspruch 3, bei dem
- das Objekt (0) von mehr als drei unterschiedlich
modulierten Leuchten (a-d) gleichzeitig beleuchtet wird,
- zu den mehr als drei Leuchten (a-d) gehörige jeweilige Teilbilder (TBa-TBd) erzeugt werden,
- fotometrische Stereoanalysen für unterschiedliche
Leuchten-Kombinationen mit jeweils drei Teilbildern durchgeführt werden und
- zumindest zwei der sich jeweils ergebenden
Objektoberflächen (OS1, OS2) zu einer einzigen finalen Objektoberfläche kombiniert werden.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem
- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden,
- die mehreren Einzelbilder (EBr-EBr+n) mit einer
Abtastrate (f_s) der Kamera (K) aufgenommen werden, die höher ist als die Modulationsfrequenzen (fa-fc; fa-fd) , und
- die Fourieranalyse für einen Frequenzbereich
durchgeführt wird, der maximal bis zur halben Abtastrate (f s) reicht. 6. Verfahren nach einem der Ansprüche 2 bis 4, bei dem
- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden, - die mehreren Einzelbilder (EBr-EBr+n) mit einer
Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd) , und
- die Fourieranalyse für einen Frequenzbereich
durchgeführt wird, der maximal bis zur halben Abtastrate (f_s) reicht.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem
- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden,
- die mehreren Einzelbilder (EBr-EBr+n) mit einer
Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd) , und
- vor der Fourieranalyse auf eine zeitliche Reihe
jeweiliger Bildpunkte (BP(x,y)) ein digitales
Tiefpassfilter mit einer Grenzfrequenz entsprechend einer Abtastrate (f_s) der Kamera (K) angewendet wird.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem
- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden,
- die Einzelbilder mit einer Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd) ,
- die Fourieranalyse für einen Frequenzbereich
durchgeführt wird, der bis zu der jeweiligen
Modulationsfrequenz (fa-fc; fa-fd) reicht und
- Fourier-Komponenten dieses Frequenzbereichs
unterschiedlicher Sequenzen gemittelt werden,
wobei
- die Abtastrate (f_s) und die Modulationsfrequenzen (fa-fc; fa-fd) nicht synchronisiert sind.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mindestens eine Modulationsamplitude konstant gehalten wird .
10. Vorrichtung (Sl, S2), wobei die Vorrichtung (Sl, S2) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist. 11. Vorrichtung (Sl, S2) nach Anspruch 10, wobei die Leuchten (a-c; a-d) jeweils mindestens eine Leuchtdiode aufweisen.
12. Vorrichtung (Sl, S2) nach einem der Ansprüche 10 oder 11, wobei die Vorrichtung (Sl, S2) ein Überwachungssystem ist.
PCT/EP2018/070780 2017-08-08 2018-07-31 Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse WO2019030061A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018004048.8T DE112018004048A5 (de) 2017-08-08 2018-07-31 Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse
US16/637,281 US20200250847A1 (en) 2017-08-08 2018-07-31 Surface reconstruction of an illuminated object by means of photometric stereo analysis
CN201880051853.4A CN110998226A (zh) 2017-08-08 2018-07-31 被照明的对象的借助于光度学立体分析的表面重建

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017213761.4A DE102017213761A1 (de) 2017-08-08 2017-08-08 Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse
DE102017213761.4 2017-08-08

Publications (1)

Publication Number Publication Date
WO2019030061A1 true WO2019030061A1 (de) 2019-02-14

Family

ID=63449424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/070780 WO2019030061A1 (de) 2017-08-08 2018-07-31 Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse

Country Status (4)

Country Link
US (1) US20200250847A1 (de)
CN (1) CN110998226A (de)
DE (2) DE102017213761A1 (de)
WO (1) WO2019030061A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3869176A1 (de) * 2020-02-21 2021-08-25 Continental Reifen Deutschland GmbH Verfahren zum prüfen von reifen

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE063573T2 (hu) * 2020-06-18 2024-01-28 Hofmann Maschinen Und Anlagenbau Gmbh Módszer és eszköz egy gumiabroncs pontos szögbeállítására egy felnin
US20230239049A1 (en) * 2022-01-26 2023-07-27 David Nemeth Ad-hoc signaling for long-range optical communications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090028424A1 (en) * 2005-08-19 2009-01-29 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing system, and image processing porgram
WO2012175703A1 (en) * 2011-06-24 2012-12-27 Trident Microsystems, Inc. Method and system for reliable reflective object detection using display light scene illumination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090028424A1 (en) * 2005-08-19 2009-01-29 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing system, and image processing porgram
WO2012175703A1 (en) * 2011-06-24 2012-12-27 Trident Microsystems, Inc. Method and system for reliable reflective object detection using display light scene illumination

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINWEI GU ET AL: "Multiplexed illumination for scene recovery in the presence of global illumination", 2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION, 1 January 2011 (2011-01-01), pages 691 - 698, XP055193188, ISSN: 1550-5499, ISBN: 978-1-45-771101-5, DOI: 10.1109/ICCV.2011.6126305 *
KURIHARA TORU ET AL: "Real-time reflectance transformation using single frame surface orientation imager", 2014 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION, IEEE, 13 December 2014 (2014-12-13), pages 287 - 291, XP032731493, ISBN: 978-1-4799-6942-5, [retrieved on 20150130], DOI: 10.1109/SII.2014.7028052 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3869176A1 (de) * 2020-02-21 2021-08-25 Continental Reifen Deutschland GmbH Verfahren zum prüfen von reifen

Also Published As

Publication number Publication date
DE112018004048A5 (de) 2020-04-23
DE102017213761A1 (de) 2019-02-14
CN110998226A (zh) 2020-04-10
US20200250847A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
DE60320369T2 (de) Abbildungsvorrichtung für mikroscopie und bilderzeugungsverfahren
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
WO2019030061A1 (de) Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse
EP2879919B1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE102008002725B4 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
DE3931934A1 (de) Bild-ein-/ausgabevorrichtung
DE112015002821T5 (de) Beobachtungssystem
EP2569757A1 (de) Bewegungsanalyse- und/oder -verfolgungssystem
WO2018197389A1 (de) Materialprüfung mit winkelvariabler beleuchtung
DE102015113051A1 (de) Messvorrichtung, Leiterplattenprüfvorrichtung und Verfahren zu deren Steuerung
EP2799810A1 (de) Vorrichtung und Verfahren zum simultanen dreidimensionalen Vermessen von Oberflächen mit mehreren Wellenlängen
DE102009001122B4 (de) 1 - 15Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102012216065A1 (de) Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug
DE112018001127T5 (de) Prüfsystem und prüfverfahren
DE69912579T2 (de) Vorrichtung und verfahren zur aufzeichnung eines objektbildes
DE102006061712A1 (de) Erstellung eines Abstandsbildes
WO2012136523A1 (de) Verfahren und einrichtung zur optischen fokussierung
DE102021121121A1 (de) Vorrichtung zur Ermittlung geometrischer Eigenschaften einer Oberfläche mittels polarisierten Lichts
DE102012014994B4 (de) Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung
DE102007033835A1 (de) Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern
DE102012108316A1 (de) Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
EP2195610B1 (de) Vefahren und vorrichtung zum erfassen einer oberfläche oder eines oberflächenabschnitts eines körpers
DE102013223852A1 (de) Verfahren zur Erstellung von mindestens zwei Bildern mit einer Kameravorrichtung sowie Kameravorrichtung
WO2019011581A1 (de) Flackern bei winkel-variabler beleuchtung
WO2013079727A1 (de) Messverfahren und vorrichtung zur durchführung des messverfahrens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18762450

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112018004048

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18762450

Country of ref document: EP

Kind code of ref document: A1