WO2009010550A1 - Bildaufnahmetechnik zur direkten objektsegmentierung in bildern - Google Patents

Bildaufnahmetechnik zur direkten objektsegmentierung in bildern Download PDF

Info

Publication number
WO2009010550A1
WO2009010550A1 PCT/EP2008/059363 EP2008059363W WO2009010550A1 WO 2009010550 A1 WO2009010550 A1 WO 2009010550A1 EP 2008059363 W EP2008059363 W EP 2008059363W WO 2009010550 A1 WO2009010550 A1 WO 2009010550A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination
segmentation
scene
images
Prior art date
Application number
PCT/EP2008/059363
Other languages
English (en)
French (fr)
Inventor
Peter Paul Deimel
Gerald Sobotta
Original Assignee
Eads Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eads Deutschland Gmbh filed Critical Eads Deutschland Gmbh
Publication of WO2009010550A1 publication Critical patent/WO2009010550A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • the invention relates to an image segmentation device for marking an object in an image of a scene comprising the object, as well as to a corresponding segmentation method.
  • segmentation of objects in digital images that show a particular scene, d. H. the recognition and marking of a contour or surface of an object to be recognized in the digital image is a fundamental and demanding task of digital image processing and analysis.
  • Searched objects in pictures can z. B. objects, persons or topological structures such. As holes, ditches or other geometric figures in real scenes.
  • segmentation is usually a low level preprocessing of a digital image that enables high level surveying, counting, or other quantitative analysis of the segmented objects, the quality of a segmentation process is critical to the reliability of a higher level optical monitor or quality analysis application.
  • a real-time image analysis is often required, which places considerable speed and, to that extent, quality requirements on a segmentation method.
  • An image segmentation device comprises an illumination device with at least one illumination unit for generating a temporal illumination modulation for actively illuminating a scene comprising an object, a capture device for capturing a static image sequence of the scene comprising at least two images, and a segmentation device connected to the capture device derived segmented result image in which the object is marked distinguishable from the background.
  • the illumination modulation generated by the at least one illumination unit the scene can be illuminated with a variable illumination.
  • the illumination modulation generated by the illumination device and the image recording of the recording device are controlled in a coordinated manner by a control device of the image segmentation device in such a way that the recording device records the at least two images of the image sequence with pairwise different illuminations.
  • the segmenting device initially forms at least one difference image by pointwise subtraction of two images of the image sequence in order to derive the segmented image from the resulting at least one difference image.
  • the illumination modulation generated by the illumination device can consist, for example, in a change over time of the illumination intensity or a variation of the electromagnetic spectrum of the illumination.
  • the object can be greatly brightened, while the background surrounding the object remains almost unchanged. Since, due to the control by the control device, the scene is illuminated differently for each image of the image sequence due to the illumination modulation, In a corresponding difference image (in the case of a sequence of images consisting of two images) or the corresponding difference images (in the case of a sequence of images comprising at least three images), clear differences in intensity between the object and its background occur.
  • the illumination modulation is configured and coordinated with the image acquisition such that it changes the light reflected by the object and recorded by the recording device as much as possible, while the light reflected by the background remains largely constant. Due to the resulting strong brightness difference between the object and the background in a difference image, the segmented image is transformed from the difference image by simple and robust image processing operations - eg. in the form of a binary image - derivable that marks the object against the background.
  • the image sequence is recorded in principle statically, ie with unchanged relative position and orientation of the recording device in relation to the recorded scene.
  • the simplest and correspondingly computationally efficient image processing operations such as As the pixel-by-pixel image subtraction, sufficient to obtain robust segmentation results.
  • the present invention is characterized by a comparatively low expenditure on equipment and accordingly low costs, as well as by a high computing efficiency, which allow overall reliable real-time image segmentation.
  • at least the image recording according to the invention at the usual recording frequency of 50 to 60 Hz is usually in less than 0.1 Seconds completed.
  • the relative brightness of the searched objects is changed from image to image in such a way that a robust segmentation can be achieved with very little computational effort by means of the calculation of difference images.
  • the binarization of a difference image with a suitable automatically detectable threshold already provides good and robust segmentation results.
  • the illumination device of the image segmentation device comprises at least one illumination unit with which it generates a lighting modulation of the scene as a function of the control by the control device.
  • Each illumination unit of the illumination device preferably emits in a narrow-band illumination spectrum, which can also be in the near-infrared region.
  • the narrow-band spectrum is preferably between 700 nm and 1000 nm, particularly preferably around 850 nm.
  • the illumination device may comprise at least two illumination units which generate different narrow-band illumination spectra in pairs for illuminating the scene, the illumination device being controlled such that with active illumination in each case one of the available lighting units, in each case exactly one image of the image sequence is taken by the recording device.
  • the illumination device and the recording device are preferably coordinated in such a way that an image (for example the first image of the image sequence) is recorded entirely without active illumination, ie exclusively by reflection of the ambient illumination by the object or the background.
  • an image for example the first image of the image sequence
  • active illumination ie exclusively by reflection of the ambient illumination by the object or the background.
  • Each additional image of the image sequence is then recorded with an active illumination modulation, which results in pairwise different illumination of the scene for each image of the image sequence.
  • the object in the recorded image changes more strongly than the background, since the intensity of a reflected illumination component with 1 / r 2 depends on the distance r of the object / background to the respective illumination unit.
  • the brightness of the object therefore changes much more in the picture with active illumination than the brightness of the background. Therefore, by the pointwise subtraction of two images of the image sequence - in particular by the subtraction of a captured in ambient lighting (ie without active illumination) image of each of all other actively illuminated images of the sequence - for the object to be assigned pixels of the respective difference image a high brightness value while pixels to be assigned to the background in a difference image have low or negligible brightness values.
  • the recording device can be equipped with corresponding spectral filters which can be switched on automatically or manually according to the respectively active illumination unit or its emitted spectrum. This achieves an image rejection suppression which very much attenuates the natural ambient illumination, but the illumination spectrum of the respectively active illumination unit can happen. For this reason, in a differential image obtained by subtracting an image that is not actively illuminated (ie only captured in ambient lighting) and an actively illuminated image that has been fitted with a fitted spectral filter, there is an object that is strongly highlighted against the background is easy to segment.
  • the fact that the illumination component reflected by the illuminated object and recorded by the recording device essentially depends on the geometric arrangement of the respective illumination unit, in particular on the angle of incidence of the illumination on the reflective surface of the object.
  • the segmentation of those scenes characterized by differently inclined surfaces e.g. in the detection of scratches and other surface defects in optical quality control.
  • the illumination modulation is generated by the different angles of incidence of the active illuminations of the existing illumination units.
  • the dependence of the reflection direction of the illumination component striking the object on the orientation of the respective object surfaces is used (which is described by the normal vector of the object surface). In this context, therefore shadow effects can be generated and exploited and with simultaneous illumination of the scene by more than one lighting unit and penumbra effects.
  • the illumination modulation by differently arranged illumination units preferably at least two illumination units arranged in pairs differently with respect to the scene are used, while the recording device records an image sequence encompassing at least three images, an image being taken with the illumination units switched off (ie only with ambient illumination), while the image is taken remaining images with active illumination by each one of the lighting units are recorded.
  • the illumination modulation by changing the angle of incidence can also be combined with an illumination modulation by pairs of different narrow-band illumination spectra, so that a high robustness of the segmentation result can also be achieved by the combination of different modulation effects in the images.
  • pairwise subtraction always results in at least two or more differential images.
  • the difference images are then preferably segmented separately and the resulting segmented images are then fused to form a result image, for example by a suitable algebraic operation, for. B. a Boolean operator.
  • a suitable algebraic operation for. B. a Boolean operator.
  • a sufficiently good segmentation of a generally polyvalent (or gray-scale) differential image is due to the comparatively high brightness
  • a difference image is segmented by an initial low-pass filtering, which aims at noise suppression, and a subsequent Binahstechnik the filtered difference image by a suitable global threshold.
  • This global threshold is a rather uncritical value due to the large brightness differences between object and background pixels in the difference images, so that in most cases sufficient segmentation quality is already achieved by thresholds that are slightly above the brightness level of the background, which varies due to the subtraction Illuminated pictures will generally be close to zero.
  • This global threshold segmentation is therefore very reliable and robust against (global) perturbations and artifacts.
  • the recording device may be a conventional camera, but preferably detects a spectrum that extends into the infrared range, preferably a reaching up to a wavelength of 1100 nm spectrum. Furthermore, the recording device can be a highly dynamic camera with a color depth of more than 8 bits, as a result of which the color or brightness resolution of the images of the image sequence and thus also the brightness resolution of the difference images and finally also the robustness of the segmentation operation are increased.
  • the illumination device is preferably constructed of diode arrays which form the individual illumination units.
  • the lighting units can additionally be equipped with polarizing filters.
  • the receiving device may be equipped with polarizing filters, which can be switched on when recording the image sequence depending on the respective active lighting unit.
  • the polarizing filters suppress diffuse reflecting light and allow only light of a certain polarization to pass through.
  • the surroundings Lighting can be suppressed very effectively, resulting in the subtraction of actively lit and not actively illuminated images to an even better distinguishability of object and background.
  • the camera of the recording device has a logahthmic characteristic, d. H. there is a logarithmic relationship between an input brightness of the light reflected from the object and the corresponding output signal representing the brightness values of a recorded image, so that with a linearly increasing input brightness, the brightnesses coded by the output signal increase only logarithmically.
  • the logarithmic characteristic curve transforms the inherently multiplicative relationship between the illumination component and the reflection component whose product is recorded by the recording device as input brightness into an additive relationship so that the brightness of the output signal reflected in the recorded image is the sum of the illumination component and the Reflectance results.
  • the reflection component can be separated from the illumination component, which would not be possible with a multiplicative relationship.
  • the illumination component which is variable by the illumination modulation, can thus be separated from the almost invariable reflection component, which in turn leads to simple and robust segmentation.
  • the segmentation device preferably comprises, in addition to a camera as recording device and an arrangement of diode fields or other illumination elements as lighting device, a computer with a memory and a processor, wherein the segmentation device has a memory stored in the memory and executable by the processor Segmentation program represents.
  • the image sequence is recorded by the recording device, the image sequence is stored via a data communication interface between the computer and the recording device in the memory of the computer for subsequent algorithmic segmentation.
  • the coordinating control device can be configured as a control program that can be executed on the computer, or as a camera control unit that controls the illumination device and is integrated in the camera. Such a control unit can then also take over the communication of the camera with the computer or the segmentation program.
  • FIG. 2 shows a structure of a first embodiment of the segmentation device according to the invention
  • Fig. 4 shows a construction of a second embodiment of the present invention.
  • the method is characterized by a high degree of robustness of the segmentation results, ie a low susceptibility to error and dependence on image artifacts, a B. common 3D recording techniques low equipment costs and extremely low algohthmischen calculation requirements, resulting in the overall real-time capability of the described segmentation method results.
  • the method is therefore particularly suitable for such image processing and segmentation applications which require a high processing speed with a simultaneous high reliability of the segmentation and recognition results. This applies in particular in the industrial sector for the monitoring of production processes and the optical quality control as well as for the area of personal monitoring, registration or recognition, for example at airports, at border authorities, for access control to protected areas and the like.
  • FIG. 1 A prototypical sequence of the segmentation method is shown in FIG. 1 in the form of a flow chart.
  • the steps S1 to S5 relate to the recording of an image sequence BO, B1,..., Bn
  • the steps S6 to S9 relate to the algorithmic further processing of the image sequence BO, B1,..., Bn, which finally takes place in a single segmented result image S results in one or more objects present in the scene clearly marked and distinguishable from the background, eg in the form of a binary image with white object pixels (binary value 1) and black background pixels (binary value 0).
  • step S2 After the beginning of the process with step S1 (START), the steps S2, S3 and S4 form a loop for the sequential recording of individual images of the image sequence.
  • the individual binders are each statically recorded by a camera (ACQUISITION) whose orientation and orientation does not change with respect to the scene to be recorded. Ideally, therefore, all captured images of the image sequence BO, B1,..., Bn have mutually corresponding pixels, each of which represents a nearly identical scene detail.
  • steps S3 SET MODULATION
  • S4 ILLUMINATION
  • step S3 the image BO is taken in ambient lighting in step S2, d. H. without active illumination by a lighting device.
  • a lighting (-smodulation) is then set or changed for the first time for taking the image B1, and in step S3 the scene is illuminated with the set illumination, in order subsequently to be recorded as image B1 in step S2.
  • step S5 SEQUENCE
  • the illumination modulation is adjusted imagewise in step S3 in such a way that the images BO, B1,..., Bn are each illuminated in pairs in such a different manner that pairs of different representations, in particular of the object, are present.
  • the type of illumination modulation is explained below in connection with FIGS. 2 and 4 in detail.
  • the objects in the difference images D1, D2,..., Dn are each clearly shown, while the background , to which the illumination modulation has little influence, has negligibly small brightness values in the difference images D1, D2,..., Dn.
  • the difference images D1, D2, ..., Dn are noise-filtered (LOW-PASS), for example, by a suitable low-pass, median or other noise filter, and in step S8, each of the filtered difference images is threshed by a threshold operation Binary images S1, S2, ..., Sn binahsiert (THRESHOLD).
  • the applied threshold value is chosen such that the brightnesses of the background pixels in a difference image are substantially below the threshold, while the brightnesses of the object pixels in the difference image are substantially above the threshold.
  • object pixels are represented, for example, with the binary value 1, while background pixels with the binary value 0 are shown.
  • Each binarized image S1, S2,..., Sn can exhibit a slightly modified object information or object representation due to the pairwise different illuminations by the illumination modulation, so that in step S9 a single resultant result image S of the segmentation process is achieved by merging the binary images S1, S2, ..., Sn is calculated (FUSION).
  • This fusion can be done, for example, by Boolean binary operators, e.g. By a logical AND, a logical OR, or an exclusive OR (XOR).
  • FIG. 2 shows a construction of a first preferred embodiment of the invention.
  • a camera 1 with an integrated control device 2 and an upstream spectral filter arrangement 3 records an image sequence B1, B2,..., Bn of the scene 11, which shows an object 12 in front of a background 13.
  • the object 12 is to be measured, registered or recognized as part of a security application or optical quality control, for example.
  • a lighting device 4 is provided which encompasses one or more lighting units 5.
  • the illumination units 5 can be, for example, diode fields which emit pairs of different narrow-band illumination spectra, which after reflection by the object 12 and the background 13 and a filtering by the spectral filter 3 are recorded by the camera 1.
  • the control device 2 of the camera 1 is in communication with the illumination device 4 and controls the illumination modulation caused by the illumination units 4 in such a way that the scene is not actively illuminated when the image BO is captured and when the further images B1, B2, .. ., Bn exactly one of the different lighting units 4, the scene 11 actively illuminated.
  • the images BO, B1,..., Bn are thus recorded in pairs with different illuminations.
  • the image sequence 10 is stored by the control device 2 in a memory 9 of a computer 6, which comprises a segmentation program 7 for calculating a segmentation of the scene 11 from the image sequence 10.
  • image sequences are generated with only two individual images BO and B1.
  • the camera 1 can be, for example, a black-and-white camera which is sensitive outside the visible spectral range up to a wavelength of 1100 nm in the near-infrared range.
  • the illumination units 5 are formed as diode arrays, wherein at least one of the illumination units 5 generates a narrow-band spectrum in the range of 850 nm, which is filtered by the camera when reflected by the object 12 by a narrow-band spectral filter 3 tuned to the spectral range of the illumination unit 5 1 is recorded.
  • the core of the segmentation method is the varying illumination of the object 12 with at the same time virtually unchanged illumination of the background 13 by the coordinated illumination modulation of the illumination device 4, for example by the use of pairs of different illumination spectra.
  • This fact results from a 1 / r 2 dependence of the illuminance of the distance r of a point light source to the object 12 and the background 13.
  • this in the difference image D1, ... Dn always have relatively low brightness values and are displayed dark.
  • the significant brightness difference between the object 12 and the background 13 can be supported by a spectral filter 3 for suppressing ambient lighting, in which case the generally diffuse ambient lighting that disturbs the segmentation process is not recorded in the individual binders B1,..., Bn.
  • the use of lighting outside the visible spectral range is useful, for example in the infrared range, since in this way a disturbance of the illumination modulation can be further minimized by environmental lighting.
  • a segmentation device operating in the infrared range or generally in the non-visible light range can work relatively inconspicuously.
  • the camera 1 may be a high dynamic camera with a dynamic intensity range above the 8-bit standard (corresponding to 256 digital intensity values).
  • the near-infrared range between 700 nm and 1000 nm is particularly preferred since conventional and thus inexpensive silicon technologies can be used as image-recording chips for this spectral range.
  • the camera 1 has a logarithmic characteristic, whereby the resulting from the input brightness on the camera 1 (or an image sensor of the camera 1), reflected in a digital image brightness of a corresponding output signal only logarithmic (instead of linear) with the entrance brightness grows.
  • the natural multiplicative relationship between a lighting proportion L (x, y) and a reflection proportion R (x, y) in the total brightness becomes
  • H (x, y) R (x, y) x L (x, y) (with x, y as image coordinates) (1)
  • log H (x, y) log R (x, y) + log L (x, y) (2)
  • log H 0 (BO) log R 0 (BO) + log L 0 (BO)
  • log H 0 (BI) log R 0 (BI) + log L 0 (BI) (3)
  • the surface illuminance L is composed of a constant component L const and a modulated component L mod :
  • the illumination device 4 is preferably designed such that the modulated component in the surface illumination intensity L 0 is substantially greater than the modulated component in the backlight intensity L N :
  • log H 0 (BI) - log H 0 (BO) log L 0 (BI) - log L 0 (BO)
  • a camera 1 with a logarithmic characteristic that is, the apparatus logarithmization during image acquisition
  • a logarithmic characteristic that is, the apparatus logarithmization during image acquisition
  • the illumination modulation is achieved by two illumination units 5 of the illumination device 4 arranged geometrically differently with respect to the scene to be recorded.
  • the surface reflectivity R 0 of an object 12 in the example of FIG. 4, a scratch in a piece of material which also forms the background 13
  • the reflectivity is that described by the normal vector of the respective surface Orientation of the surface determined, whereby also shadow and half-shadow effects can be created and exploited.
  • the illumination device 4 also comprises a plurality of geometrically differently aligned illumination units 5 and accordingly longer image sequences BO, B1,..., Bn are recorded, from which in turn correspondingly more differential D1,..., Dn and segmented images S1, ..., Sn are calculated, wherein when taking the images in pairs different combinations of active lighting units 5 are used.
  • the fusion of the segmented images S1,..., Sn into a result image S can be realized in a simple manner a logical AND operation, so that only those object pixels are set in the resulting result image S, which in all the difference images D1, ... , Dn are set.
  • polarization filters 16 are used in the illumination units 5 and / or in the camera 1.
  • z. B good reflective metal surfaces by strong differences in brightness, which lead to robust recognizable object areas in the corresponding difference images.
  • a scratch 12 can be represented and segmented differently from a smooth metal surface 13 in this way. As a result, a segmentation with regard to the alignment of the object surfaces in the coordinate system of the illumination device 4 is made possible.
  • This procedure can be combined with a camera-side polarization filtering, wherein a polarization filter 16 of the camera 1 is tuned to an optionally used polarizing filter 16 of the lighting units 5 and can be switched on automatically as needed.
  • the reflection of the unpolarized ambient light provides polarization-dependent brightnesses with respect to the normal vector of the various reflecting surfaces and thus enables segmentation with respect to the object surface orientation in the camera coordinate system.
  • the polarization filtering can also be used in connection with the arrangement according to FIG. 2 or with combinations of the spectral modulation according to FIG. 2 and the orientation modulation according to FIG. 4.
  • the polarization filtering on the illumination units 5 and the camera 1 in principle causes a further suppression of diffused ambient light and other lighting effects and artifacts, because it is recorded only reflected light of that polarization direction, which was actually emitted by the respective illumination device 5.
  • the illustrated embodiments of the present invention are generally characterized in that image sequences BO, B1,..., Bn with unchanged relative position and orientation of the camera 1 (static image sequence) in the scene coordina- be formed by different illumination modulation with respect to the geometry and the emitted illumination spectrum and by different spectral and / or polarization filtering of the incident light.
  • image sequences BO, B1,..., Bn with unchanged relative position and orientation of the camera 1 (static image sequence) in the scene coordina- be formed by different illumination modulation with respect to the geometry and the emitted illumination spectrum and by different spectral and / or polarization filtering of the incident light.
  • the entire image sequence BO, B1,..., Bn required for information extraction is usually recorded in less than 0.1 seconds in the usual 50 to 60 Hz recording technique.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Eine Bildsegmentierungsvorrichtung umfasst eine Beleuchtungseinrichtung (4), die eine ein Objekt (12) umfassende Szene (11) mit einer von zumindest einer Beleuchtungseinheit (5) erzeugten Beleuchtungsmodulation beleuchtet; eine Aufnahmeeinrichtung (1), die eine zumindest zwei Bilder (B0, B1,...,Bn) umfassende statische Bildfolge (10) der Szene (11) aufnimmt; sowie eine Steuereinrichtung (2), die die Beleuchtungsmodulation der Beleuchtungseinrichtung (5) sowie die Bildaufnahme der Aufnahmeeinrichtung (1) derart koordiniert steuert, dass die zumindest zwei Bilder (B0, B1,...,Bn) der Bildfolge (10) bei paarweise unterschiedlicher Beleuchtung aufgenommen werden. Ferner umfasst die Bildsegmentierungsvorrichtung eine mit der Aufnahmeeinrichtung (1) verbundene Segmentierungseinrichtung (7), die aus den zumindest zwei Bildern (B0, B1,...,Bn) der Bildfolge (10) zumindest ein Differenzbild (D1,...,Dn) bildet und das segmentierte Ergebnisbild (S1,...Sn; S) aus dem zumindest einen Differenzbild (D1,...,Dn) ableitet.

Description

Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern
Die Erfindung betrifft eine Bildsegmentierungsvorhchtung zum Markieren eines Objekts in einem Bild einer das Objekt umfassenden Szene, sowie ein entsprechendes Segmentierungsverfahren.
Die Segmentierung von Objekten in digitalen Bildern, die eine bestimmte Szene zeigen, d. h. die Erkennung und Markierung einer Kontur oder einer Fläche eines zu erkennenden Objektes in dem digitalen Bild, ist eine grundlegende und anspruchsvolle Aufgabe der digitalen Bildverarbeitung und -analyse. Gesuchte Objekte in Bildern können z. B. Gegenstände, Personen oder topologische Strukturen sein, wie z. B. Löcher, Gräben oder sonstige geometrische Figuren in realen Szenen. Da es sich bei der Segmentierung zumeist um eine (low level) Vorverarbeitung eines digitalen Bilds handelt, die eine (high level) Vermessung, Zählung oder anderweitige quantitative Analyse der segmentierten Objekte ermöglicht, ist die Qualität eines Segmentierungsverfahrens entscheidend für die Zuverlässigkeit einer übergeordneten optischen Überwachungs- oder Qualitätsanalyseanwendung. Hinzu kommt, dass bei der Überwachung von Personenbewegungen und/oder industriellen Prozessen oft eine Echtzeitbildanalyse erforderlich ist, die erhebliche Geschwindigkeits- und insofern auch Qualitätsanforderungen an ein Segmentierungsverfahren stellt.
Bei der Segmentierung von Einzelbildern, bei der kein Kontext- bzw. Modellwissen über die zu segmentierende Szene vorhanden ist oder ausnutzt werden kann, ist die erforderliche Zuverlässigkeit nicht ohne weiteres zu gewährleisten. Prinzipiell ist es jedoch möglich, zufriedenstellende Segmentierungsergebnisse entweder durch Verbesserungen der Beleuchtungs- und/oder Bildaufnahmetechnik oder durch algorithmische Weiterentwicklung zu erzielen. Im Zusammenhang mit dem erstgenannten Ansatz ist es bekannt, dreidimensionale Aufnahmetechniken einzu- setzen, die zwar umfangreiche Objektinformationen liefern und insofern eine bessere Ausgangslage für die algohthmische Bildsegmentierung schaffen, aber auch technisch wesentlich aufwendiger und kostenintensiver sind und deshalb eine Echtzeitbildverarbeitung weiter erschweren.
Ebenso ist sowohl bei der zweidimensionalen als auch bei der dreidimensionalen Bildaufnahme bekannt, die aufzunehmende Szene mit einer homogenen Beleuchtung oder mit einer strukturierten Beleuchtung zu beleuchten, also ein reproduzierbares oder zufälliges Muster auf die Objekte zu projizieren, um die Objekte im Bildvordergrund gegenüber dem Bildhintergrund zu betonen und dadurch eine bessere Unterscheidbarkeit von Objekt und Hintergrund zu erreichen. Darüber werden auch Ansätze mit einer Infrarotbeleuchtung bzw. einer Beleuchtung im nicht-sichtbaren Spektralbereich verfolgt, bei denen zumindest Störungen durch eine natürliche Umgebungsbeleuchtung der Szene ausgeschlossen werden können. Jedoch sind hierbei Objektkanten und -konturen jedoch zumeist nicht störungsfrei zu erkennen, da prinzipiell jegliche Art von indirekter Umgebungsbeleuchtung für eine zuverlässige Bildsegmentierung nachteilig ist.
Insbesondere für sensible Echtzeitanwendungen, wie z. B. in der Sicherheitstechnik oder bei der optischen Qualitätskontrolle, gilt für alle vorgenannten Ansätze, dass der algorithmische Aufwand zu Segmentierung der aufgenommenen Bilder erheblich ist, da bei derartigen Anwendungen eine hohe Detektionswahrschein- lichkeit bei gleichzeitiger Reduktion der Fehlerrate erforderlich ist.
Es ist demzufolge die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur einfachen Echtzeitbildsegmentierung vorzuschlagen.
Diese Aufgabe wird erfindungsgemäß durch eine Segmentierungsvorrichtung sowie ein Segmentierungsverfahren mit den Merkmalen der unabhängigen Ansprü- che gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung angegeben.
Eine erfindungsgemäße Bildsegmentierungsvorrichtung umfasst eine Beleuchtungseinrichtung mit zumindest einer Beleuchtungseinheit zur Erzeugung einer zeitlichen Beleuchtungsmodulation zur aktiven Beleuchtung einer ein Objekt umfassenden Szene, eine Aufnahmeeinrichtung zur Aufnahme einer zumindest zwei Bilder umfassenden statischen Bildfolge der Szene sowie eine mit der Aufnahmeeinrichtung verbundene Segmentierungseinrichtung, die aus der Bildfolge ein segmentiertes Ergebnisbild ableitet, in dem das Objekt von dem Hintergrund unterscheidbar markiert ist. Durch die von der zumindest einen Beleuchtungseinheit erzeugt Beleuchtungsmodulation, kann die Szene mit einer veränderlichen Beleuchtung beleuchtet werden. Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation sowie die Bildaufnahme der Aufnahmeeinrichtung werden durch eine Steuereinrichtung der Bildsegmentierungsvorrichtung derart koordiniert gesteuert, dass die Aufnahmeeinrichtung die zumindest zwei Bilder der Bildfolge bei paarweise unterschiedlichen Beleuchtungen aufnimmt. Die Segmentierungseinrichtung bildet zum Ableiten eines segmentierten Bildes aus den Bildern der Bildfolge zunächst zumindest ein Differenzbild durch punktweise Subtraktion zweier Bilder der Bildfolge, um aus dem resultierenden zumindest einen Differenzbild das segmentierte Bild abzuleiten.
Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation kann beispielsweise in einer zeitlichen Veränderung der Beleuchtungsintensität oder einer Variation des elektromagnetischen Spektrums der Beleuchtung bestehen. So kann beispielsweise bei entsprechender Beleuchtung das Objekt stark aufgehellt werden, während der das Objekt umgebende Hintergrund fast unverändert bleibt. Da aufgrund der Steuerung durch die Steuereinrichtung für jedes Bild der Bildfolge die Szene aufgrund der Beleuchtungsmodulation unterschiedlich beleuchtet wird, er- geben sich in einem entsprechenden Differenzbild (bei einer Bildfolge aus zwei Bildern) bzw. den entsprechenden Differenzbildern (bei einer Bildfolge aus zumindest drei Bildern) deutliche Intensitätsunterschiede zwischen dem Objekt und dessen Hintergrund. Die Beleuchtungsmodulation ist hierbei derart ausgestaltet und mit der Bildaufnahme koordiniert, dass sie das von dem Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Licht möglichst stark verändert, während das von dem Hintergrund reflektierte Licht weitestgehend konstant bleibt. Aufgrund der daraus resultierenden starken Helligkeitsdifferenz zwischen Objekt und Hintergrund in einem Differenzbild ist aus dem Differenzbild durch einfache und robuste Bildverarbeitungsoperationen ein segmentiertes Bild - z .B. in Form eines Binärbilds - ableitbar, das das Objekt gegenüber dem Hintergrund markiert.
Aufgrund der im Hinblick auf die Bildaufnahme gesteuerten Beleuchtungsmodulation werden große Helligkeitsdifferenzen des Objekts in den Bildern der Bildfolge verursacht. Dadurch können auch unter realen unvorteilhaften Umweltbedingungen - z.B. bei schlechten Umgebungsbeleuchtungsverhältnissen, hohen Rauschanteilen oder beweglichen Objekten mit einer zweidimensionalen Kameratechnik - zuverlässige und robuste Segmentierungsergebnisse erreicht werden.
Die Bildfolge wird prinzipiell statisch aufgenommen, d. h. bei unveränderter relativer Position und Ausrichtung der Aufnahmeeinrichtung im Verhältnis zu der aufgenommenen Szene. Dadurch sind einfachste und entsprechend rechenzeiteffi- ziente Bildverarbeitungsoperationen, wie z. B. die bildpunktweise Bildsubtraktion, ausreichend, um robuste Segmentierungsergebnisse zu erhalten. Die vorliegende Erfindung zeichnet sich also durch einen vergleichsweise geringen apparativen Aufwand und dementsprechend geringe Kosten sowie durch eine hohe Berechnungseffizienz aus, die insgesamt eine zuverlässige Echtzeitbildsegmentierung ermöglichen. Demzufolge ist zumindest die erfindungsgemäße Bildaufnahme bei der üblichen Aufnahmefrequenz von 50 bis 60 Hz in der Regel in weniger als 0,1 Sekunden abgeschlossen. Dabei wird abhängig von dem anwendungsspezifischen Aufbau einer aufzunehmenden Bildfolge die relative Helligkeit der gesuchten Objekte von Bild zu Bild derart verändert, dass eine robuste Segmentierung mit sehr geringem Berechnungsaufwand mittels der Berechnung von Differenzbildern erreicht werden kann. Die Binarisierung eines Differenzbildes mit einem geeigneten automatisch ermittelbaren Schwellenwert liefert dabei bereits gute und robuste Segmentierungsergebnisse. Diese mit der Erfindung einhergehenden Vorteile erlauben es, einen großen Umfang von Detektions-, Überwachungs- und Zählanwendungen mit geringem technischen Aufwand bei zufriedenstellender Zuverlässigkeit zu lösen, also insbesondere ohne den Einsatz einer 3D-Sensorik o- der aufwendigen algorithmischen Segmentierungsansätzen. Ferner sind die mit der Erfindung erzielbaren Segmentierungsergebnisse derart robust, dass der Kalibrierungsaufwand der erfindungsgemäßen Bildsegmentierungsvorrichtung im Hinblick auf Positionen, Entfernungen oder Ausrichtungen der Beleuchtungs- und Aufnahmeeinrichtung bezüglich der Szene zu vernachlässigen ist.
Die Beleuchtungseinrichtung der Bildsegmentierungsvorrichtung umfasst zumindest eine Beleuchtungseinheit, mit der sie abhängig von der Steuerung durch die Steuereinrichtung eine Beleuchtungsmodulation der Szene erzeugt. Jede Beleuchtungseinheit der Beleuchtungsvorrichtung emittiert vorzugsweise in einem schmalbandigen Beleuchtungsspektrum, das auch im Nahinfrarotbereich liegen kann. Das schmalbandige Spektrum liegt bevorzugt zwischen 700 nm und 1000 nm, besonders bevorzugt um 850 nm. Die Beleuchtungseinrichtung kann zumindest zwei Beleuchtungseinheiten umfassen, die zur Beleuchtung der Szene paarweise unterschiedliche schmalbandige Beleuchtungsspektren erzeugen, wobei die Beleuchtungseinrichtung derart gesteuert wird, dass bei einer aktiven Beleuchtung jeweils eine der zur Verfügung stehenden Beleuchtungseinheiten jeweils genau ein Bild der Bildfolge durch die Aufnahmeeinrichtung aufgenommen wird. Dadurch wird eine Beleuchtungsmodulation sichergestellt, die zu einer paarweise unter- schiedlichen Beleuchtung der Bilder der aufgenommenen Bildfolge führt. Hierbei werden die Beleuchtungseinrichtung und die Aufnahmeeinrichtung vorzugsweise derart koordiniert, dass ein Bild (z.B. das erste Bild der Bildfolge) gänzlich ohne eine aktive Beleuchtung aufgenommen wird, d.h. ausschließlich durch Reflektion der Umgebungsbeleuchtung durch das Objekt bzw. den Hintergrund. Jedes weitere Bild der Bildfolge wird dann bei einer aktiven Beleuchtungsmodulation aufgezeichnet, die paarweise unterschiedliche Beleuchtungen der Szene für jedes Bild der Bildfolge zur Folge hat.
Bei aktiver Beleuchtung der Szene durch die Beleuchtungseinrichtung ändert sich im aufgenommenen Bild das Objekt stärker als der Hintergrund, da die Intensität eines reflektierten Beleuchtungsanteils mit 1/r2 abhängig ist von dem Abstand r des Objekts/Hintergrunds zur jeweiligen Beleuchtungseinheit. Die Helligkeit des Objekts verändert sich im Bild bei aktiver Beleuchtung deshalb wesentlich stärker als die Helligkeit des Hintergrunds. Deshalb entsteht durch die punktweise Subtraktion von jeweils zwei Bildern der Bildfolge - insbesondere durch die Subtraktion eines bei Umgebungsbeleuchtung (d.h. ohne aktive Beleuchtung) aufgenommenen Bildes von jeweils sämtlichen anderen aktiv beleuchteten Bildern der Bildfolge - für die dem Objekt zuzuordnenden Bildpunkte des jeweiligen Differenzbildes ein hoher Helligkeitswert, während dem Hintergrund zuzuordnende Bildpunkte in einem Differenzbild geringe oder vernachlässigbare Helligkeitswerte aufweisen.
Zur Unterstützung der Beleuchtungsmodulation durch eine Beleuchtung mit paarweise unterschiedlichen Beleuchtungsspektren kann die Aufnahmeeinrichtung mit entsprechenden Spektralfiltern ausgestattet werden, die automatisch oder manuell entsprechend der jeweils aktiven Beleuchtungseinheit bzw. deren emittiertem Spektrum zugeschaltet werden können. Dadurch wird eine Störlichtunterdrückung bei der Bildaufnahme erreicht, die die natürliche Umgebungsbeleuchtung sehr stark abschwächt, jedoch das Beleuchtungsspektrum der jeweils aktiven Beleuch- tungseinheit passieren lässt. Aus diesem Grund findet sich in einem Differenzbild, das durch Subtraktion eines nicht aktiv beleuchteten (d. h. lediglich bei Umgebungsbeleuchtung aufgenommenen) Bildes und eines aktiv beleuchteten Bildes, bei dessen Aufnahme ein angepasstes Spektralfilter verwendet wurde, ein stark gegenüber dem Hintergrund hervorgehobenes Objekt, das deshalb auch einfach segmentierbar ist.
In einer weiteren Ausführungsform wird ausgenutzt, dass der von dem beleuchteten Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Beleuchtungsanteil wesentlich von der geometrischen Anordnung der jeweiligen Beleuchtungseinheit abhängt, insbesondere von dem Einfallswinkel der Beleuchtung auf die reflektierende Oberfläche des Objektes. Durch Verwendung einer Beleuchtungsmodulation, die durch mehrere bezüglich der aufzunehmenden Szene jeweils unterschiedlich geometrisch angeordnete Beleuchtungseinheiten erzeugt wird, wird insbesondere die Segmentierung von solchen Szenen verbessert, die durch verschieden zueinander geneigte Flächen gekennzeichnet sind, z.B. bei der Detektion von Kratzern und anderen Oberflächenfehlern bei der optischen Qualitätskontrolle.
Bei dieser Ausführungsform wird die Beleuchtungsmodulation durch die unterschiedlichen Einfallswinkel der aktiven Beleuchtungen der vorhandenen Beleuchtungseinheiten erzeugt. Bei jeweils vergleichbarem Abstand der Beleuchtungseinheiten von der aufzunehmenden Szene wird die Abhängigkeit der Reflektionsrich- tung des auf das Objekt auftreffenden Beleuchtungsanteils von der Ausrichtung der jeweiligen Objektoberflächen ausgenutzt (die durch den Normalenvektor der Objektoberfläche beschrieben wird). In diesem Zusammenhang können also Schatteneffekte erzeugt und ausgenutzt werden und bei gleichzeitiger Beleuchtung der Szene durch mehr als eine Beleuchtungseinheit auch Halbschatteneffekte. Bei der Beleuchtungsmodulation durch unterschiedlich angeordnete Beleuchtungseinheiten werden vorzugsweise zumindest zwei bezüglich der Szene geometrisch jeweils paarweise verschieden angeordnete Beleuchtungseinheiten verwendet, während die Aufnahmeeinrichtung eine zumindest drei Bilder umfassende Bildfolge aufnimmt, wobei ein Bild bei ausgeschalteten Beleuchtungseinheiten (d.h. lediglich bei Umgebungsbeleuchtung) aufgenommen wird, während die restlichen Bilder bei aktiver Beleuchtung durch jeweils eine der Beleuchtungseinheiten aufgenommen werden. Darüber hinaus ist es auch möglich, die Szene mit Kombinationen von jeweils zwei oder mehr aktiven Beleuchtungseinrichtungen zu beleuchten, die für jedes Bild paarweise verschieden sind, da sich auch auf diese Weise in den entsprechenden Differenzbildern unterscheidbare Objekte ergeben. Die Beleuchtungsmodulation durch Veränderung der Einfallswinkel kann auch mit einer Beleuchtungsmodulation durch paarweise verschiedene schmalbandige Beleuchtungsspektren kombiniert werden, so dass auch durch die Kombination von verschiedenen Modulationseffekten in den Bildern eine hohe Robustheit des Segmentierungsergebnisses erreicht werden kann.
Bei einer Bildfolge, die aus zumindest drei Bildern besteht, ergeben sich bei paarweiser Subtraktion immer zumindest zwei oder mehr Differenzbilder. Die Differenzbilder werden dann vorzugsweise jeweils separat segmentiert und die entstehenden segmentierten Bilder anschließend zu einem Ergebnisbild fusioniert, beispielsweise durch eine geeignete algebraische Operation, z. B. einen Bool'schen Operator. Auf diese Weise sind in dem resultierenden Ergebnisbild Objektinformationen aus sämtlichen Differenzbildern und somit auch aus sämtlichen Bildern der Bildfolge vorhanden.
Eine ausreichend gute Segmentierung eines in der Regel mehrwertigen (bzw. grauwertigen) Differenzbildes ist aufgrund der vergleichsweise hohen Helligkeits- dynamik der abgebildeten Objekte gegenüber dem jeweiligen Hintergrund mit einfachsten Bildverarbeitungsoperationen zu erreichen. Vorzugsweise wird ein Differenzbild durch eine initiale Tiefpassfilterung, die eine Rauschunterdrückung bezweckt, und eine anschließende Binahsierung des gefilterten Differenzbildes durch einen geeigneten globalen Schwellenwert segmentiert. Dieser globale Schwellenwert ist aufgrund der großen Helligkeitsunterschiede zwischen Objekt- und Hintergrundbildpunkten in den Differenzbildern ein eher unkritischer Wert, so dass in den meisten Fällen eine ausreichende Segmentierungsqualität bereits durch Schwellenwerte erreicht wird, die geringfügig über dem Helligkeitsniveau des Hintergrundes liegen, welches aufgrund der Subtraktion verschiedenartig beleuchteter Bilder im Allgemeinen nahezu Null sein wird. Diese globale Schwellenwertsegmentierung ist deshalb sehr zuverlässig und robust gegenüber (globalen) Störeinflüssen und Artefakten.
Die Aufnahmeeinrichtung kann eine herkömmliche Kamera sein, die jedoch vorzugsweise ein Spektrum erfasst, das in den Infrarotbereich hinein reicht, vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum. Ferner kann die Aufnahmeeinrichtung eine hochdynamische Kamera mit einer Farbtiefe von mehr als 8 Bit sein, wodurch die Färb- bzw. Helligkeitsauflösung der Bilder der Bildfolge und somit auch die Helligkeitsauflösung der Differenzbilder und schließlich auch die Robustheit der Segmentierungsoperation erhöht wird.
Die Beleuchtungseinrichtung ist vorzugsweise aus Diodenfeldern aufgebaut, die die einzelnen Beleuchtungseinheiten bilden. Die Beleuchtungseinheiten können zusätzlich mit Polarisationsfiltern ausgestattet sein. Entsprechend kann auch die Aufnahmeeinrichtung mit Polarisationsfiltern ausgestattet sein, die bei der Aufnahme der Bildfolge abhängig von der jeweils aktiven Beleuchtungseinheit zugeschaltet werden können. Die Polarisationsfilter unterdrücken diffus reflektierendes Licht und lassen nur Licht einer bestimmten Polarisation passieren. Die Umge- bungsbeleuchtung kann dadurch sehr wirkungsvoll unterdrückt werden, was bei der Subtraktion von aktiv beleuchteten und nicht aktiv beleuchteten Bildern zu einer noch besseren Unterscheidbarkeit von Objekt und Hintergrund führt.
Vorzugsweise besitzt die Kamera der Aufnahmeeinrichtung eine logahthmische Kennlinie, d. h. es besteht zwischen einer Eingangshelligkeit des von dem Objekt reflektierten Lichtes und dem entsprechenden von der Aufnahmeeinrichtung erzeugten Ausgangssignal, das die Helligkeitswerte eines aufgenommenen Bildes repräsentiert, ein logarithmischer Zusammenhang, so dass sich bei einer linear ansteigenden Eingangshelligkeit die durch das Ausgangssignals kodierten Helligkeiten lediglich logarithmisch erhöhen. Durch die logarithmische Kennlinie wird der an sich multiplikative Zusammenhang zwischen dem Beleuchtungsanteil und dem Reflektionsanteil, deren Produkt von der Aufnahmeeinrichtung als Eingangshelligkeit aufgezeichnet wird, in einen additiven Zusammenhang transformiert, so dass sich die im aufgezeichneten Bild niederschlagende Helligkeit des Ausgangssignals als Summe des Beleuchtungsanteils und des Reflektionsanteils ergibt. Dies hat den Vorteil, dass aufgrund des nunmehr additiven Zusammenhangs bei der anschließenden Bildsubtraktion der Reflektionsanteil von dem Beleuchtungsanteil getrennt werden kann, was bei einem multiplikativen Zusammenhang nicht möglich wäre. Im Differenzbild kann somit der durch die Beleuchtungsmodulation veränderliche Beleuchtungsanteil von dem nahezu unveränderlichen Reflektionsanteil getrennt werden, was wiederum zu einer einfachen und robusten Segmentierung führt.
Die erfindungsgemäße Segmentierungsvorrichtung umfasst vorzugsweise neben einer Kamera als Aufnahmeeinrichtung und einer Anordnung von Diodenfeldern oder sonstigen Beleuchtungselementen als Beleuchtungseinrichtung einen Computer mit einem Speicher und einem Prozessor, wobei die Segmentierungseinrichtung ein in dem Speicher gespeichertes und von dem Prozessor ausführbares Segmentierungsprogramm repräsentiert. Bei der Aufnahme der Bildfolge durch die Aufnahmeeinrichtung wird die Bildfolge über eine Datenkommunikationsschnitt- stelle zwischen Computer und Aufnahmeeinrichtung in den Speicher des Computers zur nachfolgenden algorithmischen Segmentierung gespeichert. Bei einer derartigen Ausgestaltung der erfindungsgemäßen Segmentierungsvorrichtung kann die koordinierende Steuereinrichtung als auf dem Computer ausführbares Steuerprogramm ausgestaltet sein, oder als in die Kamera integrierte, die Beleuchtungseinrichtung steuernde Steuereinheit der Kamera. Eine solche Steuereinheit kann dann auch die Kommunikation der Kamera mit dem Computer bzw. dem Segmentierungsprogramm übernehmen.
Weitere Merkmale der Erfindung ergeben sich aus der folgenden Beschreibung verschiedener erfindungsgemäßer Ausführungsbeispiele und Ausführungsalternativen. Es wird auf die folgenden Figuren verwiesen, welche zeigen:
Fig. 1 ein Flussdiagramm eines prototypischen erfindungsgemäßen Segmentierungsverfahrens;
Fig. 2 einen Aufbau einer ersten Ausführungsform der erfindungsgemäßen Segmentierungsvorrichtung;
Fig. 3 ein Beispiel der bei der Segmentierung entstehenden Bilddaten; und
Fig. 4 ein Aufbau einer zweiten Ausführungsform der vorliegenden Erfindung.
Nachfolgend wird eine Vorrichtung sowie ein Verfahren zum Erzeugen eines segmentierten Bildes einer Szene beschrieben, die ein oder mehrere Objekte um- fasst, die zu erkennen, zu vermessen, zu zählen oder anderweitig zu analysieren sind. Das Verfahren zeichnet sich durch eine hohe Robustheit der Segmentie- rungsergebnisse aus, d.h. einer geringen Fehleranfälligkeit und Abhängigkeit von Bildartefakten, einen im Vergleich zu z. B. gängigen 3D-Aufnahmetechniken geringen apparativen Aufwand sowie außerordentlich geringen algohthmischen Berechnungsanforderungen, woraus insgesamt die Echtzeitfähigkeit des beschriebenen Segmentierungsverfahrens resultiert. Das Verfahren ist deshalb insbesondere für solche Bildverarbeitungs- und Segmentierungsanwendungen geeignet, die eine hohe Verarbeitungsgeschwindigkeit bei einer gleichzeitigen hohen Zuverlässigkeit der Segmentierungs- und Erkennungsergebnisse erfordern. Dies gilt insbesondere im industriellen Bereich für die Überwachung von Produktionsvorgängen und die optische Qualitätskontrolle sowie für den Bereich der Personenüberwachung, -registrierung oder -erkennung, beispielsweise an Flughäfen, bei Grenzbehörden, zur Zugangskontrolle zu geschützten Bereichen und dergleichen.
Ein prototypischer Ablauf des Segmentierungsverfahrens ist in Fig. 1 in Form eines Flussdiagramms gezeigt. Die Schritte S1 bis S5 betreffen dabei die Aufnahme einer Bildfolge BO, B1 , ..., Bn, während die Schritte S6 bis S9 die algorithmische Weiterverarbeitung der Bildfolge BO, B1 , ..., Bn betreffen, die schließlich in einem einzelnen segmentierten Ergebnisbild S resultiert, das ein oder mehrere in der Szene vorhandene Objekte deutlich und von dem Hintergrund unterscheidbar markiert, z.B. in Form eines Binärbilds mit weißen Objektbildpunkten (Binärwert 1 ) und schwarzen Hintergrundbildpunkten (Binärwert 0).
Nach dem Beginn des Verfahrens mit Schritt S1 (START) bilden die Schritte S2, S3 und S4 eine Schleife zur sequentiellen Aufnahme von Einzelbildern der Bildfolge. In Schritt S2 werden die Einzelbinder jeweils von einer Kamera statisch aufgenommen (ACQUISITION), deren Ausrichtung und Orientierung sich gegenüber der aufzunehmenden Szene nicht verändert. Im Idealfall haben also alle aufgenommenen Bilder der Bildfolge BO, B1 , ..., Bn einander entsprechende Bildpunkte, die jeweils einen nahezu identischen Szenenausschnitt repräsentieren. In den Schrit- ten S3 (SET MODULATION) und S4 (ILLUMINATION) wird die Beleuchtung der Szene für das jeweils nächste aufzunehmende Einzelbild festgelegt.
Im ersten Durchlauf der Schleife S2, S3, S4 wird in Schritt S2 das Bild BO bei Umgebungsbeleuchtung aufgenommen, d. h. ohne eine aktive Beleuchtung durch eine Beleuchtungseinrichtung. In Schritt S3 wird dann erstmals für die Aufnahme des Bildes B1 eine Beleuchtung(-smodulation) eingestellt bzw. verändert und in Schritt S3 wird die Szene mit der eingestellten Beleuchtung beleuchtet, um anschließend in Schritt S2 als Bild B1 aufgenommen zu werden. Nach insgesamt n Schleifendurchläufen liegt in Schritt S5 schließlich die vollständige Bildfolge BO, B1 , ..., Bn vor (SEQUENCE). Die Beleuchtungsmodulation wird in Schritt S3 derart bildweise angepasst, dass die Bilder BO, B1 , ..., Bn jeweils paarweise derart verschieden beleuchtet sind, dass auch paarweise unterschiedliche Darstellungen insbesondere des Objekts vorliegen. Die Art der Beleuchtungsmodulation wird nachfolgend im Zusammenhang mit den Fig. 2 und 4 im Detail erläutert.
Die in Schritt S5 vorliegende Bildfolge BO, B1 , ..., Bn wird in Schritt S6 von einer Segmentierungseinrichtung in eine Folge von Differenzbildern D1 =B1 -B0, D2=B2- BO, ...,Dn=Bn-BO transformiert, indem jeweils aus dem unbeleuchtet aufgenommenen Bild BO und jedem der aktiv und paarweise unterschiedlich beleuchteten Bilder B1 , B2,..., Bn ein entsprechendes Differenzbild erzeugt wird (DIFFERENCE). Da die aktive Beleuchtung der Bilder B1 , B2,..., Bn gegenüber dem unbeleuchteten Bild BO zu einem deutlichen Helligkeitsänderung des Objekts führt, sind die Objekte in den Differenzbildern D1 , D2,..., Dn jeweils deutlich dargestellt, während der Hintergrund, auf den die Beleuchtungsmodulation einen geringen Einfluss hat, in den Differenzbildern D1 , D2,..., Dn vernachlässigbar kleine Helligkeitswerte besitzt. In Schritt S7 werden die Differenzbilder D1 , D2,..., Dn einer Rauschfilterung unterzogen (LOW-PASS), beispielsweise durch ein geeignetes Tiefpass-, Medianoder sonstiges Rauschfilter, und in Schritt S8 wird jedes einzelne der gefilterten Differenzbilder durch eine Schwellenwertoperation in die Binärbilder S1 , S2,...,Sn binahsiert (THRESHOLD). Der angelegte Schwellenwert ist dabei derart gewählt, dass die Helligkeiten der Hintergrundbildpunkte in einem Differenzbild im Wesentlichen unterhalb des Schwellenwerts liegen, während die Helligkeiten der Objektbildpunkte im Differenzbild im Wesentlichen oberhalb der Schwelle liegen. Demzufolge sind in den Binärbildern S1 , S2,..., Sn Objektbildpunkte z.B. mit dem Binärwert 1 dargestellt, während Hintergrundbildpunkte mit dem Binärwert 0 dargestellt sind. Jedes Binärbild S1 , S2,..., Sn kann aufgrund der paarweise unterschiedlichen Beleuchtungen durch die Beleuchtungsmodulation eine leicht veränderte Objektinformation bzw. Objektrepräsentation zeigen, so dass in Schritt S9 ein einzelnes resultierendes Ergebnisbild S des Segmentierungsprozesses durch eine Fusion der Binärbilder S1 , S2,..., Sn errechnet wird (FUSION). Diese Fusion kann beispielsweise durch Bool'sche Binäroperatoren erfolgen, z. B. durch ein logisches UND, ein logisches ODER oder ein exklusives ODER (XOR).
Fig. 2 zeigt einen Aufbau einer ersten bevorzugten Ausführungsform der Erfindung. Eine Kamera 1 mit einer integrierten Steuereinrichtung 2 und einer vorgeschalteten Spektralfilteranordnung 3 nimmt eine Bildfolge B1 , B2,..., Bn der Szene 11 auf, die ein Objekt 12 vor einem Hintergrund 13 zeigt. Nach einer erfolgreichen Aufnahme und Segmentierung soll das Objekt 12 im Rahmen einer Sicherheitsanwendung oder optischen Qualitätskontrolle beispielsweise vermessen, registriert oder erkannt werden. Zur Beleuchtung der Szene 11 ist eine Beleuchtungseinrichtung 4 vorgesehen, die eine oder mehrere Beleuchtungseinheiten 5 um- fasst. Die Beleuchtungseinheiten 5 können hierbei beispielsweise Diodenfelder sein, die jeweils paarweise unterschiedliche schmalbandige Beleuchtungsspektren emittieren, welche nach einer Reflektion durch das Objekt 12 und den Hintergrund 13 und einer Filterung durch das Spektralfilter 3 von der Kamera 1 aufgezeichnet werden.
Die Steuereinrichtung 2 der Kamera 1 steht mit der Beleuchtungseinrichtung 4 in Verbindung und steuert die durch die Beleuchtungseinheiten 4 hervorgerufene Beleuchtungsmodulation derart, dass bei der Aufnahme des Bildes BO die Szene nicht aktiv beleuchtet wird und bei der Aufnahme der weiteren Bilder B1 , B2,..., Bn jeweils genau eine der verschiedenen Beleuchtungseinheiten 4 die Szene 11 aktiv beleuchtet. Die Bilder BO, B1 ,..., Bn werden also jeweils mit paarweise unterschiedlichen Beleuchtungen aufgenommen.
Die Bildfolge 10 wird von der Steuereinrichtung 2 in einem Speicher 9 eines Computers 6 abgespeichert, der ein Segmentierungsprogramm 7 zur Berechnung einer Segmentierung der Szene 11 aus der Bildfolge 10 umfasst. Im einfachsten Falle werden Bildfolgen mit lediglich zwei Einzelbildern BO und B1 erzeugt. Beispielhaft ist in Fig. 2 ein unbeleuchtetes Bild BO mit einem dunklen Objekt sowie ein aktiv beleuchtetes Bild B1 mit einem beleuchteten helleren Objekt gezeigt, sowie das entsprechende Differenzbild D1 =B1 -B0 und ein sich durch eine Schwellenwertoperation ergebendes Binärbild S, das das weiße Objekt 12 von einem schwarzen Hintergrund 13 unterscheidbar markiert. Die Kamera 1 kann hierbei beispielsweise eine Schwarz/Weiß-Kamera sein, die auch außerhalb des sichtbaren Spektralbereichs bis zu einer Wellenlänge von 1100 nm im Nahinfrarotbereich empfindlich ist. Zur schmalbandigen Beleuchtung werden die Beleuchtungseinheiten 5 als Diodenfelder ausgebildet, wobei zumindest eine der Beleuchtungseinheiten 5 ein schmalbandiges Spektrum im Bereich von 850 nm erzeugt, das bei Reflektion durch das Objekt 12 durch ein auf den Spektralbereich der Beleuchtungseinheit 5 abgestimmtes schmalbandiges Spektralfilter 3 gefiltert von der Kamera 1 aufgenommen wird. Kern des Segmentierungsverfahrens ist die variierende Beleuchtung des Objekts 12 bei gleichzeitiger nahezu unveränderter Beleuchtung des Hintergrunds 13 durch die koordinierte Beleuchtungsmodulation der Beleuchtungseinrichtung 4, z.B. durch die Verwendung von paarweise unterschiedlichen Beleuchtungsspektren. Diese Tatsache resultiert aus einer 1/r2-Abhängigkeit der Beleuchtungsstärke von dem Abstand r einer Punktlichtquelle zum Objekt 12 bzw. zum Hintergrund 13. Dadurch wird unabhängig von der tatsächlichen Helligkeit des Hintergrunds 13 in der Bildfolge 10 dieser im Differenzbild D1 ,...Dn immer relativ geringe Helligkeitswerte haben und dunkel dargestellt werden. Die signifikante Helligkeitsdifferenz zwischen Objekt 12 und Hintergrund 13 kann dabei durch ein Spektralfilter 3 zur Unterdrückung einer Umgebungsbeleuchtung unterstützt werden, indem dann die in der Regel diffuse und den Segmentierungsprozess störende Umgebungsbeleuchtung in den Einzelbindern B1 ,...,Bn nicht aufgezeichnet wird. Dadurch wird eine ansonsten notwendige Subtraktion von hohen, vergleichbaren Hintergrundhelligkeiten verhindert, die ansonsten leicht zu verrauschten Differenzbildern führen könnte. Eine darüber hinaus entstehende Rauschkomponente in den Differenzbildern D1 ,...,Dn kann bei der eigentlichen Segmentierung durch eine Tiefpassfilterung weiter eliminiert werden. Daraus resultiert auch, dass bereits kleine Helligkeitsdifferenzen zwischen einem Objekt 12 und dem entsprechenden Hintergrund 13 aufgrund der oben erläuterten 1/r2-Abhängigkeit zur zuverlässigen Trennung des Objekts 12 von dem Hintergrund 13 ausreicht.
Bei Anwendungsgebieten aus der Sicherheitstechnik, dem Zählen oder Registrieren von Personen oder industriellen Gegenständen oder dergleichen ist die Verwendung einer Beleuchtung außerhalb des sichtbaren Spektralbereichs sinnvoll, beispielsweise im Infrarotbereich, da auf diese Weise eine Störung der Beleuchtungsmodulation durch eine Umweltbeleuchtung weiter minimiert werden kann. Darüber hinaus kann eine im Infrarotbereich bzw. allgemein im nicht sichtbaren Lichtbereich operierende Segmentierungsvorrichtung relativ unauffällig arbeiten. Die Kamera 1 kann eine hochdynamische Kamera mit einem dynamischen Intensitätsbereich oberhalb des 8-Bit-Standards (entspricht 256 digitalen Intensitätswerten) sein. Bei der Nutzung eines nicht-sichtbaren Spektralbereichs ist der Nahinfrarotbereich zwischen 700 nm und 1000 nm besonders bevorzugt, da für diesen Spektralbereich konventionelle und somit preiswerte Siliziumtechnologien als Bildaufnahmechips eingesetzt werden können.
Bei einer besonders bevorzugten Ausführungsvariante besitzt die Kamera 1 eine logarithmische Kennlinie, wodurch die sich aus der Eingangshelligkeit an der Kamera 1 (bzw. einem Bildaufnahmesensor des Kamera 1 ) ergebende, in einem digitalen Bild niederschlagende Helligkeit eines entsprechenden Ausgabesignals lediglich logarithmisch (anstatt linear) mit der Eingangshelligkeit wächst. Dadurch wird der natürliche multiplikative Zusammenhang zwischen einem Beleuchtungsanteil L(x,y) und einem Reflektionsanteil R(x, y) in der Gesamthelligkeit
H(x, y) = R(x,y) x L(x,y) (mit x,y als Bildkoordinaten) (1 )
eines Bilds (BO, B1 ,...,Bn) durch die Logahthmierung in einen additiven Zusammenhang
log H(x,y) = log R(x,y) + log L(x,y) (2)
der logahthmierten Beleuchtungs- und Reflektionsanteile transformiert, was insbesondere bei der Subtraktion (negative Addition) unterschiedlich beleuchteter Bilder nützlich ist.
Zwischen der Objekthelligkeit H0(BO) = R0(BO) * L0(BO) eines Objekts 12 in einem (nicht aktiv beleuchteten) Bild BO und der Helligkeit H0(BI ) = R0(BI ) x L0(BI 2) eines Objekts 12 in einem (aktiv beleuchteten) Bild B1 sowie zwischen den ent- sprechenden Hintergrundhelligkeiten HH(BO) = RH(BO) X LH(BO) und HH(B1 ) = RH(B1 ) x LH(B1 ) ergibt sich durch die logahthmischen Kennlinie der Kamera 1 in den Ausgangsbildern folgender Zusammenhang:
log H0(BO) = log R0(BO) + log L0(BO) log H0(BI ) = log R0(BI ) + log L0(BI ) (3)
log HH(BO) = log RN(BO) + log LN(BO) log HH(B1 ) = log RH(B1 ) + log LH(B1 ) (4)
woraus sich für ein Differenzbild D1 = B1 - BO bei einem helleren Bild B2 ergibt:
log H0(BI ) - log H0(BO) = log R0(BI ) - log R0(BO) + log L0(BI ) - log L0(BO) log HH(B1 ) - log HN(BO) = log RN(BI ) - log RN(BO) + log LN(BI ) - log LN(BO)
(5)
Hierbei setzt sich die Oberflächenbeleuchtungsstärke L aus einem konstanten Anteil Lconst und einem modulierten Anteil Lmod zusammen:
L = Lconst + Lmod mit Lmod = 0 für Bild BO. (6)
Für ein Objekt 12 vor einem Hintergrund 13 ist die Beleuchtungseinrichtung 4 vorzugsweise so ausgestaltet, dass der modulierte Anteil in der Oberflächenbeleuchtungsstärke L0 wesentlich größer ist, als der modulierte Anteil in der Hintergrundbeleuchtungsstärke LN:
I L0 mod s »^s^ I mod ( /~77)\ LN
was wegen des oben erläuterten Helligkeitsabfalls mit 1/r2 bei wachsendem Abstand r des Objekts 12 von der Lichtquelle 5 leicht realisierbar ist. Aufgrund der in jedem Bild BO, B1 ,...,Bn nahezu unveränderten Reflexionskomponente R und der unveränderten konstanten Anteile Lconstgilt:
log H0(BI ) - log H0(BO) = log L0(BI ) - log L0(BO)
== lloogg ((LLoo ccoonnsstt ((BB11 )) ++ LLoo mmoodd(B1 )) - log Lo const(B0)
= log (1 + Lo mod(B1 ) / Lo consi(B0) (8a)
log HH(B1 ) - log HN(BO) = log LH(B1 ) - log LN(BO)
= log (LH const (B1 ) + LH mod(B1 )) - log LH const(B0) = log (1 + LH mod(B1 ) / LH const(B0)) (8b)
woraus sich aus log (1 + LH mmoodα(/DB-1i ) w) a Λ.u ,-ffg».r.,u ..n—d ^J I Lo ccoonnsstt(/B0) = log 1 = 0 und log (1 + Lo mod(B1 ) / Lo const(B0)) » 0 die folgende entscheidende Relation ergibt:
log H0(BI ) - log H0(BO) » log HH(B1 ) - log HH(B0). (9)
Dies bedeutet, dass im Differenzbild D1 = B1 - BO die Helligkeitsdifferenzen von entsprechenden Bildpunkten des Objekts 12 wesentlich größer sind als die Helligkeitsdifferenzen von entsprechenden Bildpunkten des Hintergrunds 13, so dass sich das Objekt 12 im Differenzbild D1 sogar nahezu unabhängig von seiner Ober- flächenreflektivität R0(BO) bzw. R0(BI ) im Vergleich zur Hintergrundreflektivität RH(BO) bzw. RH(BI ) deutlich hervorhebt. Diese hohen Helligkeitsunterschiede zwischen Objekt 12 und Hintergrund 13 im Differenzbild D1 ermöglicht eine entsprechend einfache Segmentierung durch eine relativ robuste, globale Schwellenwertoperation.
Die Verwendung einer Kamera 1 mit logarithmischer Kennlinie (also die apparative Logarithmierung bei Bildaufnahme) ist deshalb besonders vorteilhaft, weil sich gegenüber der der eigentlichen Bildaufnahme nachgeschalteten algorithmischen Lo- garithmierung eine vorteilhaftere Rauschfehlerfortpflanzung ergibt. In diesem Zusammenhang wird auf die Bildbeispiele der Fig. 3 verwiesen, die zwei Einzelbilder BO (ohne aktive Beleuchtung) und B1 (mit aktiver Beleuchtung) zeigt, sowie das Differenzbild D1 = BO - B1 in Falschfarbendarstellung und ein segmentiertes Ergebnisbild S, das die hellen Objektbildpunkte von den dunklen Hintergrundbildpunkten deutlich markiert.
Fig. 4 zeigt eine zweite bevorzugte Ausführungsform der vorliegenden Erfindung, bei der die Beleuchtungsmodulation durch zwei im Hinblick auf die aufzunehmende Szene geometrisch unterschiedlich angeordnete Beleuchtungseinheiten 5 der Beleuchtungseinrichtung 4 erreicht wird. Hierbei wird ausgenutzt, dass die Ober- flächenreflektivität R0 eines Objekts 12 (im Beispiel der Fig. 4 eines Kratzers in einem Materialstück, das auch den Hintergrund 13 bildet) von der geometrischen Anordnung der Beleuchtungseinheit 5 abhängt, d. h. von dem Einfallswinkel der modulierten Beleuchtung auf die Objektoberfläche bzw. auf die im Verhältnis zur Objektoberfläche unterschiedlich ausgerichteten weiteren Oberflächen im Bereich des Kratzers 12 der Fig. 4. Bei einem vergleichbaren Abstand der beiden Beleuchtungseinheiten 5 zu der aufzunehmenden Szene 11 wird die Reflektivität von der durch den Normalenvektor der jeweiligen Oberfläche beschriebenen Ausrichtung der Oberfläche bestimmt, wobei auch Schatten- und Halbschattenbildeffekte erzeugt und ausgenutzt werden können.
In Fig. 4 finden sich neben der regulären Oberfläche des Werkstücks (Hintergrund 13) noch mindestens zwei Objekt- bzw. Kantenoberflächen, deren Ausrichtung sich von derjenigen der Hintergrundfläche 13 unterscheidet. Es ist deshalb sinnvoll, eine Bildfolge 10 aus zumindest drei Bildern BO, B1 , B2 mit einer entsprechenden Kamera 1 aufzuzeichnen, wobei das Bild BO bei ausgeschalteter Beleuchtungseinrichtung 4 (d.h. bei Umgebungsbeleuchtung) aufgenommen wird, während die Bilder B1 und B2 bei Beleuchtung durch jeweils eine der beiden Be- leuchtungseinheiten 5 aufgezeichnet werden. Daraus resultierend werden ausgehend von den Differenzbildern D1 = B1 - BO und D2 = B2 - BO zwei entsprechenden segmentierte Bilder S1 und S2 durch Tiefpassfilterung und eine Schwellenwertoperation erzeugt, die schließlich zu einem gemeinsamen Ergebnisbild S fusioniert werden. Durch die Fusion mehrerer segmentierter Bilder S1 ,..., Sn, die jeweils aus Bildpaaren BO, B1 ; ... ; BO, Bn gewonnen werden, erhält man ein einheitliches binäres Ergebnisbild S für die gesamte aufgenommene Bildfolge BO, B1 ,..., Bn. Das Ergebnisbild S vereint dabei alle Objektinformationen der segmentierten Bilder S1 ,...,Sn und ist in der Regel hinreichend robust gegenüber Artefakten bei der Aufnahme und/oder Beleuchtungsfehlern.
Grundsätzlich sind zur Segmentierung auch Schattenflächen 15, die keine direkte Beleuchtung erfahren, und Halbschattenflächen 14, die wenigsten von einer Beleuchtungseinheit 5 direkt beleuchtet werden, zur Objektsegmentierung nutzbar, so dass auch alle Positions- und Ausrichtungskombinationen von Kamera 1 und Beleuchtungseinrichtung 4 bezüglich der Szene 11 ausgenutzt werden können. Deshalb ist es sinnvoll, dass die Beleuchtungseinrichtung 4 auch mehrere geometrisch unterschiedliche ausgerichtete Beleuchtungseinheiten 5 umfasst und dementsprechend längere Bildfolgen BO, B1 ,..., Bn aufgezeichnet werden, aus denen wiederum entsprechend mehr Differenz- D1 ,..., Dn und segmentierte Bilder S1 ,..., Sn errechnet werden, wobei bei Aufnahme der Bilder paarweise unterschiedliche Kombinationen von aktiven Beleuchtungseinheiten 5 eingesetzt werden. Die Fusion der segmentierten Bilder S1 ,...,Sn zu einem Ergebnisbild S kann dabei auf einfache Weise eine logische UND-Operation realisiert werden, so dass im resultierenden Ergebnisbild S lediglich solche Objektbildpunkte gesetzt sind, die in allen Differenzbildern D1 ,..., Dn gesetzt sind.
Bei der in Fig. 4 illustrierten Beleuchtungsanordnung werden Polarisationsfilter 16 bei den Beleuchtungseinheiten 5 und/oder bei der Kamera 1 eingesetzt. Dadurch zeichnen sich z. B. gut reflektierende Metalloberflächen durch starke Helligkeitsdifferenzen aus, die zu robust erkennbaren Objektbereichen in den entsprechenden Differenzbildern führen. Bei der in Fig. 4 gezeigten Beleuchtungsanordnung lässt sich auf diese Weise z.B. ein Kratzer 12 unterschiedlich zu einer glatten Metalloberfläche 13 darstellen und segmentieren. Dadurch wird eine Segmentierung hinsichtlich der Ausrichtung der Objektoberflächen im Koordinatensystem der Beleuchtungseinrichtung 4 ermöglicht.
Dieses Vorgehen kann mit einer kameraseitigen Polarisationsfilterung verbunden werden, wobei ein Polarisationsfilter 16 der Kamera 1 auf ein gegebenenfalls eingesetztes Polarisationsfilter 16 der Beleuchtungseinheiten 5 abgestimmt ist und bei Bedarf automatisch zugeschaltet werden kann. Die Reflektion des unpolarisier- ten Umgebungslichts liefert hinsichtlich des Normalenvektors der verschiedenen reflektierenden Oberflächen polarisationsabhängige Helligkeiten und ermöglicht somit eine Segmentierung hinsichtlich der Objektoberflächenausrichtung im Kamerakoordinatensystem.
Die Polarisationsfilterung kann auch im Zusammenhang mit der Anordnung gemäß Fig. 2 oder bei Kombinationen der Spektralmodulation gemäß Fig. 2 und der Ausrichtungsmodulation gemäß Fig. 4 eingesetzt werden. Die Polarisationsfilterung an den Beleuchtungseinheiten 5 und der Kamera 1 bewirkt prinzipiell eine weitere Unterdrückung von diffusem Umgebungslicht und anderer Beleuchtungseffekte und -artefakte, denn es wird nur reflektiertes Licht derjenigen Polarisationsrichtung aufgezeichnet, die auch tatsächlich von der betreffenden Beleuchtungseinrichtung 5 emittiert wurde.
Die erläuterten Ausführungsformen der vorliegenden Erfindung zeichnen sich allgemein dadurch aus, dass Bildfolgen BO, B1 ,..., Bn mit unveränderter relativer Position und Ausrichtung der Kamera 1 (statische Bildfolge) im Szenenkoordina- tensystem aufgenommen werden, die durch unterschiedliche Beleuchtungsmodulationen hinsichtlich der Geometrie und des emittierten Beleuchtungsspektrums und durch unterschiedliche Spektral- und/oder Polarisationsfilterung des einfallenden Lichtes entstehen. Die gesamte zur Informationsextraktion erforderliche Bildfolge BO, B1 ,..., Bn ist bei der üblichen 50 bis 60 Hz Aufnahmetechnik in der Regel in weniger als 0,1 Sekunden aufgezeichnet. Wesentlich ist dabei die Tatsache, dass die anwendungsspezifische Komposition der Bildfolgen BO, B1 ,..., Bn die relative Helligkeit der gesuchten Objekte 12 derart verändert, dass eine robuste Segmentierung mit einem geringen algorithmischen Aufwand (Rechenzeit) lediglich durch bildpunktweise Bildsubtraktion und eine Schwellenwertoperation erreicht werden kann. Auf diese Weise ist eine Vielzahl von industriellen und anderen BiId- verarbeitungs- und Segmentierungsaufgaben mit sehr geringem technischen Aufwand und in Echtzeit durchführbar. Aufgrund der außergewöhnlichen Robustheit der Segmentierungsergebnisse ist der Kalibrierungsaufwand für die Beleuchtungsund die Aufnahmeeinrichtung grundsätzlich vernachlässigbar.

Claims

Patentansprüche
1. Bildsegmentierungsvorrichtung, umfassend eine Beleuchtungseinrichtung (4) zur aktiven Beleuchtung einer ein Objekt (12) umfassenden Szene (11 ); eine Aufnahmeeinrichtung (1 ) zur Aufnahme eines Bildes (BO, B1 ,...,Bn) der beleuchteten Szene (11 ); und eine mit der Aufnahmeeinrichtung (1 ) verbundene Segmentierungseinrichtung (7) zum Ableiten eines segmentierten Bildes (S) aus dem aufgenommenen Bild (BO, B1 ,...,Bn), in dem das Objekt (12) markiert ist, gekennzeichnet durch eine Steuereinrichtung (2) und dadurch, dass die Beleuchtungseinrichtung (4) zumindest eine Beleuchtungseinheit (5) um- fasst und eingerichtet ist, die Szene (11 ) mit einer von der zumindest einen Beleuchtungseinheit (5) erzeugten Beleuchtungsmodulation zu beleuchten; die Aufnahmeeinrichtung (1 ) eingerichtet ist, eine zumindest zwei Bilder (BO, B1 ,...,Bn) umfassende statische Bildfolge (10) der Szene (11 ) aufzunehmen; die Steuereinrichtung (2) eingerichtet ist, die Beleuchtungsmodulation der Beleuchtungseinrichtung (5) sowie die Aufnahmeeinrichtung (1 ) derart zu steuern, dass die zumindest zwei Bilder (BO, B1 ,...,Bn) der Bildfolge (10) mit paarweise unterschiedlicher Beleuchtung aufgenommen werden; und die Segmentierungseinrichtung (7) eingerichtet ist, aus den zumindest zwei Bildern (BO, B1 ,...,Bn) der Bildfolge (10) zumindest ein Differenzbild (D1 ,...,Dn) zu bilden und das segmentierte Bild (S1 ,...Sn; S) aus dem zumindest einen Differenzbild (D1 ,...,Dn) abzuleiten.
2. Segmentierungsvorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die zumindest eine Beleuchtungseinheit (5) zur Beleuchtung ein schmalban- diges Spektrum im Nahinfrarotbereich erzeugt, vorzugsweise zwischen 700 nm und 1000 nm, besonders bevorzugt bei 850 nm.
3. Segmentierungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (4) zumindest zwei Beleuchtungseinheiten (4) umfasst, die zur Beleuchtung paarweise verschiedene schmalbandige Spektren erzeugen, und die Steuereinrichtung (2) eingerichtet ist, die Beleuchtungseinrichtung (4) und die Aufnahmeeinrichtung (1 ) derart zu steuern, dass bei aktiver Beleuchtung jeweils einer der Beleuchtungseinheiten (5) jeweils ein Bild (BO, B1 ,...,Bn) der Bildfolge (10) aufgenommen wird.
4. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Steuereinrichtung (2) eingerichtet ist, die Beleuchtungseinrichtung (4) und die Aufnahmeeinrichtung (1 ) derart zu steuern, dass ein erstes Bild (BO) der Bildfolge (10) bei Umgebungsbeleuchtung aufgenommen wird und jedes weitere Bild (B1 ,..., Bn) der Bildfolge (10) bei aktiver Beleuchtung durch jeweils eine Beleuchtungseinheit (5) aufgenommen wird.
5. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1 ) ein auf die Beleuchtungsmodulation der Beleuchtungseinrichtung (4) abgestimmtes Spektralfilter (3) umfasst, das eine Umgebungsbeleuchtung unterdrückt und ein der aktive Beleuchtung der jeweiligen Beleuchtungseinheit (5) entsprechendes Spektralband passieren lässt, wobei die Aufnahmeeinrichtung (1 ) eingerichtet ist, das Spektralfilter (3) bei der Aufnahme der Bildfolge (10) abhängig von der jeweils aktiven Beleuchtung bildweise zuzuschalten.
6. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (4) zumindest zwei bezüglich der Szene (11 ) geometrisch jeweils unterschiedlich angeordnete Beleuchtungseinheiten (5) umfasst und eingerichtet sind, die Szene (11 ) mit einer aus der unterschiedlichen ge- ometrischen Anordnung der Beleuchtungseinheiten (5) resultierenden Beleuch- tungsmodulation zu beleuchten; die Aufnahmeeinrichtung (1 ) eingerichtet ist, eine zumindest drei Bilder (BO, B1 ,...,Bn) umfassende Bildfolge (10) aufzunehmen; und die Steuereinrichtung (2) eingerichtet ist, die Beleuchtungseinrichtung (4) und die Aufnahmeeinrichtung (1 ) derart zu steuern, dass ein erstes Bild (BO) der Bildfolge (10) bei Umgebungsbeleuchtung und weitere Bilder (B1 ,...,Bn) der Bildfolge (10) bei aktiver Beleuchtung durch jeweils zumindest eine Beleuchtungseinheit (5) aufgenommen wird.
7. Segmentierungsvorrichtung nach Anspruch 4 oder 6, dadurch gekennzeichnet, dass die Segmentierungseinrichtung (7) eingerichtet ist, jeweils ein Differenzbild (D1 ,...,Dn) aus dem bei Umgebungsbeleuchtung aufgenommenen Bild (BO) der Bildfolge (10) und jeweils einem bei aktiver Beleuchtung durch jeweils eine Beleuchtungseinheit (5) aufgenommenen weiteren Bild (B1 ,...,Bn) der Bildfolge (10) zu bilden und aus jedem Differenzbild (D1 ,..., Dn) jeweils ein segmentiertes Bild (S1 ,...Sn) abzuleiten und die segmentierten Bilder zu fusionieren.
8. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1 ) eine Kamera ist, die eingerichtet ist, ein in den Infrarotbereich hineinreichendes Spektrum zu erfassen, vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum.
9. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1 ) eine Kamera mit logarithmischer Kennlinie ist.
10. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1 ) eine hochdynamische Kamera mit einer Farbtiefe von mehr als 8 Bit ist.
11. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die zumindest eine Beleuchtungseinheit (5) der Beleuchtungseinrichtung (4) jeweils mit einem Polarisationsfilter (16) ausgestattet ist und/oder die Aufnahmeeinrichtung (1 ) ein Polarisationsfilter (16) umfasst und eingerichtet ist, das Polarisationsfilter (16) bei der Aufnahme der Bildfolge (10) abhängig von der jeweils aktiven Beleuchtung bildweise zuzuschalten.
12. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 11 , dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (4) Diodenfelder als zumindest eine Beleuchtungseinheit (5) umfasst.
13. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Segmentierungseinrichtung (7) eingerichtet ist, aus einem Differenzbild (D1 ,..., Dn) durch eine Tiefpassfilterung und eine Schwellenoperation ein segmentiertes Bild (S1 ,...,Sn) als Binärbild abzuleiten, wobei das Objekt (12) durch einen Binärwert des Binärbilds markiert wird.
14. Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 13, gekennzeichnet durch einen Computer (6) mit einem Speicher (9), einem Prozessor (8) und einer Datenkommunikationsschnittstelle, wobei die Segmentierungseinrichtung (7) ein in dem Speicher (9) gespeichertes und von dem Prozessor ausführbares Segmentierungsprogramm ist und die Aufnahmeeinrichtung (1 ) über die Datenkommunikationsschnittstelle an den Computer (6) angeschlossen ist.
15. Segmentierungsverfahren zum Markieren eines Objekts (12) in einem eine das Objekt (12) umfassende Szene (11 ) wiedergebenden Bild (BO, B1 ,...,Bn), umfassend die Schritte:
Aktives Beleuchten (S4) der das Objekt (12) umfassenden Szene (11 );
Aufnehmen (S2) eines Bildes (BO, B1 ,...,Bn) der beleuchteten Szene (11 );
Ableiten (S6-S9) eines segmentierten Bildes (S), in dem das Objekt (12) markiert ist, aus dem aufgenommenen Bild (BO, B1 ,...,Bn); dadurch gekennzeichnet, dass eine zumindest zwei Bilder (BO, B1 ,...,Bn) umfassende Bildfolge (10) aufgenommen wird (A2), wobei die Szene (11 ) derart mit einer Beleuchtungsmodulation beleuchtet wird (S3, S4), dass die Bilder (BO, B1 ,...,Bn) der Bildfolge (10) mit paarweise unterschiedlichen Beleuchtungen aufgenommen werden (S2); und aus den zumindest zwei Bildern (BO, B1 ,...,Bn) der Bildfolge (10) zumindest ein Differenzbild (D1 ,...,Dn) gebildet wird (S6) und das segmentierte Bild (S1 ,...,Sn; S) aus dem zumindest einen Differenzbild (D1 ,...,Dn) abgeleitet wird (S7, S8).
16. Segmentierungsverfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Szene (11 ) bei der Beleuchtungsmodulation mit zumindest einem schmalbandigen Spektrum im Nahinfrarotbereich beleuchtet wird (S2), vorzugsweise mit einer Wellenlänge zwischen 700 nm und 1000 nm, besonders bevorzugt bei einer Wellenlänge von 850 nm.
17. Segmentierungsverfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die Szene (11 ) bei der Beleuchtungsmodulation derart mit zumindest zwei paarweise verschiedenen schmalbandigen Spektren beleuchtet wird (S3, S4), dass bei Beleuchtung durch jeweils eines der zumindest zwei paarweise verschiedenen Spektren jeweils ein Bild (BO, B1 ,..., Bn) der Bildfolge (10) aufgenommen wird (S2).
18. Segmentierungsverfahren nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass die Bildfolge (10) derart aufgenommen wird (S5), dass ein erstes Bild (BO) der Bildfolge (10) bei Umgebungsbeleuchtung aufgenommen wird (S2) und jedes weitere Bild (B1 ,...,Bn) der Bildfolge (10) bei jeweils paarweise unterschiedlichen Beleuchtungen aufgenommen wird.
19. Segmentierungsverfahren nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass bei der Aufnahme (S2) der Bildfolge (10) das von der Szene (11 ) reflektierte Licht abhängig von der jeweiligen Beleuchtung derart bildweise spektral gefiltert wird, dass eine Umgebungsbeleuchtung unterdrückt und ein der jeweiligen Beleuchtung entsprechendes Spektralband passieren gelassen wird.
20. Segmentierungsverfahren nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass eine zumindest drei Bilder (BO, B1 ,...,Bn) umfassende Bildfolge (10) aufgenommen wird (S5), wobei die Szene (11 ) derart mit einer aus zumindest zwei bezüglich der Szene geometrisch unterschiedlich ausgerichteten Beleuchtungen resultierenden Beleuchtungsmodulation beleuchtet wird (S3, S4), dass ein erstes Bild (BO) der Bildfolge bei Umgebungsbeleuchtung aufgenommen wird (S2) und jedes weitere Bild (B1 ,...,Bn) der Bildfolge (10) bei jeweils zumindest einer der geometrisch unterschiedlich ausgerichteten Beleuchtungen aufgenommen wird (S2).
21. Segmentierungsverfahren nach Anspruch 18 oder 20, dadurch gekennzeichnet, dass jeweils ein Differenzbild (D1 ,...,Dn) aus dem bei Umgebungsbeleuchtung aufgenommenen Bild (BO) und jeweils einem bei Beleuchtung aufgenommenen weiteren Bild (B1 ,...,Bn) der Bildfolge (10) abgeleitet wird, wobei aus jedem der Differenzbilder (D1 ,...,Dn) jeweils ein segmentiertes Bild (S1 ,...,Sn) abgeleitet wird und die segmentierten Bilder (S1 ,...,Sn) fusioniert werden.
22. Segmentierungsverfahren nach einem der Ansprüche 15 bis 21 , dadurch gekennzeichnet, dass bei der Aufnahme der Bildfolge (10) ein in den Infrarotbereich hineinreichendes Spektrum erfasst wird (S2), vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum.
23. Segmentierungsverfahren nach einem der Ansprüche 15 bis 22, dadurch gekennzeichnet, dass die Bilder (BO, B1 ,...,Bn) der Bildfolge (10) derart aufgenommen werden, dass zwischen einer Eingangsintensität des zur Aufnahme eines Bildes (BO, B1 ,...,Bn) erfassten Lichts und einem das Bild (BO, B1 ,...,Bn) bildenden Ausgangssignal eine logarithmische Abhängigkeit besteht und das ein Differenzbild (D1 ,... ,Dn) derart gebildet wird, dass Bildpunkte des Differenzbildes (D1 ,...,Dn), die einen das Objekt (12) umgebenden Hintergrund (13) der aufgenommenen Szene (11 ) wiedergeben, im Vergleich zu Bildpunkten des Differenzbildes (D1 ,...,Dn), die das Objekt (12) wiedergeben, vernachlässigbare Helligkeitswerte besitzt.
24. Segmentierungsverfahren nach einem der Ansprüche 15 bis 23, dadurch gekennzeichnet, dass die Bilder (BO, B1 ,...,Bn) der Bildfolge (10) mit einer Farbtiefe von mehr als 8 Bit aufgenommen werden (S2).
25. Segmentierungsverfahren nach einem der Ansprüche 15 bis 24, dadurch gekennzeichnet, dass die Szene (11 ) mit polarisiertem Licht beleuchtet wird und/oder bei der Aufnahme der Bildfolge (10) das von der Szene (11 ) reflektierte Licht bildweise polarisationsgefiltert wird.
26. Segmentierungsverfahren nach einem der Ansprüche 15 bis 25, dadurch gekennzeichnet, dass die Beleuchtung durch Diodenfelder erzeugt wird.
27. Segmentierungsverfahren nach einem der Ansprüche 15 bis 26, dadurch gekennzeichnet, dass durch eine Tiefpassfilterung und eine Schwellenoperation aus einem Differenzbild (D1 ,...,Dn) ein segmentiertes Bild (S1 ,...,Sn) als Binärbild abgeleitet wird, wobei das Objekt (12) durch einen Binärwert des Binärbilds markiert wird.
28. Segmentierungsverfahren nach einem der Ansprüche 15 bis 27, dadurch gekennzeichnet, dass die Szene von einer Beleuchtungseinrichtung (4) beleuchtet wird, die mit einer die Bildfolge (10) aufnehmenden Aufnahmeeinrichtung (1 ) derart koordiniert wird, dass die Bildfolge (10) bei einer Beleuchtungsmodulation aufgenommen wird, und die aufgenommene Bildfolge (10) einem auf einem Computer (6) ausgeführten Segmentierungsprogramm (7) bereitgestellt wird, das aus der Bildfolge (10) das segmentierte Bild (S) ableitet.
1/3
Figure imgf000034_0001
Figure imgf000034_0002
Fig. 3 2/3
Figure imgf000035_0001
Figure imgf000035_0002
Fig. 2 3/3
Figure imgf000036_0001
PCT/EP2008/059363 2007-07-18 2008-07-17 Bildaufnahmetechnik zur direkten objektsegmentierung in bildern WO2009010550A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007033835.1 2007-07-18
DE102007033835A DE102007033835B4 (de) 2007-07-18 2007-07-18 Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern

Publications (1)

Publication Number Publication Date
WO2009010550A1 true WO2009010550A1 (de) 2009-01-22

Family

ID=39828471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/059363 WO2009010550A1 (de) 2007-07-18 2008-07-17 Bildaufnahmetechnik zur direkten objektsegmentierung in bildern

Country Status (2)

Country Link
DE (1) DE102007033835B4 (de)
WO (1) WO2009010550A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536154B2 (en) 2013-05-08 2017-01-03 Axis Ab Monitoring method and camera
CN108242042A (zh) * 2016-12-23 2018-07-03 南京理工大学 基于fpga的目标自适应平台直方图均衡实现方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009024030B3 (de) * 2009-06-05 2011-01-27 Walter Maschinenbau Gmbh Verfahren zur optischen Ermittlung von geometrischen Oberflächenmerkmalen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923380A (en) * 1995-10-18 1999-07-13 Polaroid Corporation Method for replacing the background of an image
US20070098288A1 (en) * 2003-03-19 2007-05-03 Ramesh Raskar Enhancing low quality videos of illuminated scenes
US20070154063A1 (en) * 1995-06-07 2007-07-05 Automotive Technologies International, Inc. Image Processing Using Rear View Mirror-Mounted Imaging Device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6298149B1 (en) * 1996-03-21 2001-10-02 Cognex Corporation Semiconductor device image inspection with contrast enhancement
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070154063A1 (en) * 1995-06-07 2007-07-05 Automotive Technologies International, Inc. Image Processing Using Rear View Mirror-Mounted Imaging Device
US5923380A (en) * 1995-10-18 1999-07-13 Polaroid Corporation Method for replacing the background of an image
US20070098288A1 (en) * 2003-03-19 2007-05-03 Ramesh Raskar Enhancing low quality videos of illuminated scenes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GOUDAIL F ET AL: "Target detection and segmentation in coherent active polarimetric images", PROCEEDINGS 2001 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP 2001. THESSALONIKI, GREECE, OCT. 7 - 10, 2001; [INTERNATIONAL CONFERENCE ON IMAGE PROCESSING], NEW YORK, NY : IEEE, US, vol. 3, 7 October 2001 (2001-10-07), pages 632 - 635, XP010563429, ISBN: 978-0-7803-6725-8 *
MORIMOTO C H ET AL: "Real-time multiple face detection using active illumination", AUTOMATIC FACE AND GESTURE RECOGNITION, 2000. PROCEEDINGS. FOURTH IEEE INTERNATIONAL CONFERENCE ON GRENOBLE, FRANCE 28-30 MARCH 2000, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 28 March 2000 (2000-03-28), pages 8 - 13, XP010378316, ISBN: 978-0-7695-0580-0 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536154B2 (en) 2013-05-08 2017-01-03 Axis Ab Monitoring method and camera
CN108242042A (zh) * 2016-12-23 2018-07-03 南京理工大学 基于fpga的目标自适应平台直方图均衡实现方法

Also Published As

Publication number Publication date
DE102007033835A1 (de) 2009-01-29
DE102007033835B4 (de) 2010-07-15

Similar Documents

Publication Publication Date Title
EP1173749B1 (de) Bildbearbeitung zur vorbereitung einer texturanalyse
DE69934068T2 (de) Bestimmung der position von augen durch blitzreflexerkennung und korrektur von defekten in einem aufgenommenen bild
DE69027616T2 (de) Gerät und Verfahren zum Bestimmen von Konturen und Linien
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE112012001243B4 (de) Verfahren zum Messen von Tiefenwerten in einer Szene
EP1784978B1 (de) Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
DE69226551T2 (de) System und Verfahren zur Einordnung und Gewinnung hervorstehender Konturen für Zielerkennung
DE112020004391T5 (de) Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
DE112006001017B4 (de) Verfahren und Vorrichtung zum Eingliedern von Irisfarbe in eine Rotes-Auge-Korrektur
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE102009038364A1 (de) Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
DE10346481B4 (de) Dreidimensionale Rekonstruktion von Oberflächenprofilen
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
EP3688725B1 (de) Verfahren und vorrichtung zum erzeugen einer 3d-rekonstruktion eines objekts
DE112020004301T5 (de) Objekterkennungsvorrichtung
DE102016100134B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE112017004391T5 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren, Aufzeichungsmedium und Bildanzeigesystem
WO2020178198A1 (de) Schätzung der bewegung einer bildposition
WO2009010550A1 (de) Bildaufnahmetechnik zur direkten objektsegmentierung in bildern
DE10313019B4 (de) Einhandbedienung von Endgeräten per Gestikerkennung
DE112022005406T5 (de) KI-basierte Produktoberflächeninspektionsvorrichtung und Verfahren
DE102022119259A1 (de) Weissabgleich und Farbkorrektur für Fahrzeuginnenkamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08786202

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 08786202

Country of ref document: EP

Kind code of ref document: A1