WO2017041795A1 - Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen - Google Patents

Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen Download PDF

Info

Publication number
WO2017041795A1
WO2017041795A1 PCT/DE2016/200351 DE2016200351W WO2017041795A1 WO 2017041795 A1 WO2017041795 A1 WO 2017041795A1 DE 2016200351 W DE2016200351 W DE 2016200351W WO 2017041795 A1 WO2017041795 A1 WO 2017041795A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
stereo camera
camera device
image
motor vehicle
Prior art date
Application number
PCT/DE2016/200351
Other languages
English (en)
French (fr)
Inventor
Konrad ROTHENHÄUSLER
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to DE112016002025.2T priority Critical patent/DE112016002025A5/de
Publication of WO2017041795A1 publication Critical patent/WO2017041795A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation

Definitions

  • the invention relates to a stereo camera device for environmental detection of a motor vehicle according to the preamble of claim 1. Furthermore, the invention relates to a motor vehicle with such a stereo camera device and a method for detecting raindrops or deposits.
  • the cameras are focused on a target area in the vicinity of the motor vehicle.
  • a distance range with a distance to the cameras of at least half a meter, in particular of at least five meters, in particular of at least ten meters, is focused in the images. Consequently, the windshield of the motor vehicle is not focused in a blurred area of the cameras, in other words, by the cameras.
  • the first and the second camera are each designed to capture an image with detection areas of different sizes, preferably at the same time.
  • the Erfas ⁇ sungs Kunststoffe the first and second camera are particularly acquired with a different imaging scale.
  • the image sensor and the optics of the respective camera jointly specify a horizontal and vertical image angle, wherein the horizontal and vertical image angles span the detection area.
  • the first and the second optronics have different sized horizontal image angles, so that the detection regions differ, in particular in the horizontal direction.
  • the first and second optronics have different vertical angles of view so that the detection areas are different in the vertical direction.
  • the redundant signal changes are frequency changes determined by means of a Fourier transformation. Due to the two-dimensional Fou ⁇ rier transform and the analysis of the spatial frequencies, in particular of high-frequency components or the restriction on brightness and / or color differences of pixels within the image area smaller than the total size of each image are the influences of the overall image of the target area and its Contrast richness for the evaluation significantly lower.
  • the stereo camera device includes at least one illumination source for generating He ⁇ a light beam directed onto the disc.
  • the first and second cameras are arranged to detect the light reflected from the raindrops or the deposition of the light beam which causes partial whitening in the images.
  • the evaluation device is designed to evaluate the partial brightening in the two images as a redundant signal change that depends on the disk state.
  • the images of the first and second camera are each a color value image. In this way it is possible to evaluate the partial, color-specific Farbän ⁇ tion as a redundant signal change.
  • the images of the first and second camera are each a gray level image.
  • Monochrome image sensors which represent a grayscale image, characterized by their high resolution quality, so that ei ⁇ comparatively achieved necard an improved edge contrast of the raindrop or the deposition to a color scale image, on the other hand, the detection of the partial whitening is possible.
  • the first camera has a horizontal image angle of at least 100 degrees and / or a vertical image angle of at least 50 degrees.
  • the optics of the first camera is designed in particular as a wide-angle lens.
  • the second camera comprises a hori zontal ⁇ picture angle of at least 30 degrees and / or of at most 50 degrees.
  • the appearance of the second camera is designed to ⁇ special as a telephoto lens.
  • the detection range of the first camera is formed horizontally and / or vertically at least twice, in particular at least four times larger than the detection range of the second camera.
  • the stereo camera device is behind a disc, especially behind the windshield or the Rear window arranged in the interior of the vehicle.
  • Be ⁇ Sonders preferably, the motor vehicle to a driver assistance ⁇ tenzvorraum, which is connected to the stereo camera device or comprises.
  • the first and the second camera are arranged relative to one another in such a way that the detection areas penetrate, at least in sections, the same area of the window of the motor vehicle.
  • the images of the cameras comprise at least one image area with the same penetrated pane detail.
  • Stereo camera device Figure 2 schematically shows the stereo camera device of Figure 1 with a first and a second camera; Figure 3 schematically illustrates the horizontal
  • Figures 4a, 4b each one captured by the first and the second camera image
  • FIG. 1 shows a top view of a motor vehicle 1 with a stereo camera device 2.
  • the stereo camera device 2 comprises a first and a second camera 3, 4, each of which is designed to receive an image of a preceding surrounding region of the motor vehicle 2.
  • the images are used for object recognition such. For example, in the images, a distance range is focused with a distance to the cameras 3, 4 of at least half a meter. Thus, the windshield is located in a Un ⁇ sharp portion of the first and second cameras 3, 4.
  • the stereo camera apparatus 2 includes an evaluation device 5 for the evaluation of rain and debris on a disk, and in particular the windshield 6 of the vehicle 2 from the, from the cameras 3 4 captured images.
  • FIG. 2 shows the schematic structure of the stereo camera device 2 with the two cameras 3, 4.
  • the Ste ⁇ reogenvorides 2 is behind the windshield 6 in an interior of the motor vehicle 1 is arranged.
  • the first and the second camera 2, 3 each comprise an image sensor 8, which are connected to a printed circuit board 9 and an optical system 7, which is designed for the projection of light onto a photosensitive surface of the image sensor 8.
  • the optics 7 is z. B. formed as a lens with a fixed focal length.
  • the stereo camera device 2 comprises a housing 12, in which the first and the second camera 3, 4 are arranged.
  • the two cameras 3, 4 are arranged side by side in a horizontal viewing direction and have a distance B of at most 80 mm from each other to the centers of the optics 7.
  • the stereo camera device 2 also includes the stereo camera device illumination source a loading 11 for generating a directed onto the windshield ⁇ disc 6 light beam.
  • the first and second cameras 3, 4 are arranged to detect a light beam reflected from a raindrop or deposit on the windshield 6.
  • the stereo camera device 2 has a lens hood 10.
  • the first and the second camera 3, 4 are inclined relative to one another in such a way that the optical axes A of the cameras 3, 4 extend in antiparallel to one another.
  • the first and the second camera 3, 4 each capture an image with detection areas od, which differ from each other, in this exemplary embodiment, the first and the second camera 3, 4 have a different horizontal viewing angle ex, so that the detection areas in As an alternative or optional supplement, it can be provided that the first and the second Camera 3, 4 different sized vertical image angle on ⁇ wise.
  • FIGS. 4a, 4b show the same partial area TB of the windshield 6 penetrated by the cameras 3, 4, represented pictorially by the final frame. Due to the differently sized detection ranges of the cameras 3, 4, a different magnification is present in the images.
  • the evaluation ⁇ device 5 For the detection of the raindrop or the deposition R on the windshield 6 of the motor vehicle 2, the evaluation ⁇ device 5 is formed, thus evaluate the images captured by the first and second cameras 3, 4 dependent on the disk state re ⁇ dant signal changes, for example, redundant signal differences .
  • the raindrop or the deposit R is possible for example by means of the evaluation of a local contrast difference in the images. Due to the different background results in the presence of raindrops a different Sig ⁇ nalausgabe in the two images.
  • a redundant signal change in particular the redundant signal difference before, z. B. can be determined by the evaluation of two consecutive images of each camera. In this way, detection of rain and debris with a low error rate identifier is provided ⁇ .

Abstract

Es wird eine Stereokameravorrichtung (2) zur Umgebungserfassung eines Kraftfahrzeugs (1) vorgeschlagen, mit einer ersten Kamera (3) und einer zweiten Kamera (4), wobei die erste und die zweite Kamera (3, 4) jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen (α1, α1) erfassen, mit einer Auswerteeinrichtung (5), wobei zur Erkennung von Regentropfen und Ablagerungen (R) auf einer Scheibe des Kraftfahrzeugs die Auswerteeinrichtung ausgebildet ist, beide Bilder auf vom Scheibenzustand abhängige redundante Signaländerungen auszuwerten.

Description

Beschreibung / Description
Stereokameravorrichtung zur Umgebungserfassung eines Kraft¬ fahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravor¬ richtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
Die Erfindung betrifft eine Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs nach dem Oberbegriff des Anspruchs 1. Ferner betrifft die Erfindung ein Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen.
In Kraftfahrzeugen werden zukünftig im vermehrten Umfang Kamerasensoren zur Umfelderkennung wie z. B. für Fahrspurerkennung oder Objekterkennung mit Blick in Fahrtrichtung oder in den Rückfahrtbereich eingesetzt. Ein Kamerasensor zur Umfelderkennung ist beispielsweise auf ein Zielgebiet in der Umgebung des Kraftfahrzeugs fokussiert, also außerhalb der Abmessungen des Kraftfahrzeugs auf die Fahrbahn in einem Bereich von typischerweise einigen Metern vor der Front des Fahrzeugs. Die Kamera ist also gerade nicht auf die Windschutzscheibe fokussiert und kann daher nicht direkt Niederschlagspartikel erkennen, da er diese nicht scharf abbilden kann.
Die Druckschrift DE 10 2012 103 873 AI offenbart ein Verfahren zur Erkennung von Regen oder Niederschlag auf der Außenseite einer Scheibe mittels einer hinter der Scheibe angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamera. Eine Beleuchtungsquelle erzeugt mindestens einen auf die Scheibe gerichteten Lichtstrahl, wobei die Beleuchtungsquelle den mindestens einen Lichtstrahl so auf die Scheibe richtet, dass mindestens ein von der Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft. Die Kamera nimmt eine Abbildung des mindestens einen von der Außenseite der Scheibe reflektierten Strahls auf. Die Struktur der Abbildung des mindestens einen reflektierten Strahls wird zur Klassifikation der Art des Regens oder Niederschlags ausgewertet.
Bei Kameravorrichtungen, welche auf einen Bereich außerhalb des Kraftfahrzeugs fokussiert sind und bei denen Regentropfen oder andere Ablagerungen auf der Scheibe anhand partieller Unscharfen im Bild erkannt werden, können Fehlentscheidungen bzgl. eines Wischvorgangs nicht ausgeschlossen werden, da es schwierig ist zu entscheiden, ob Unscharfen im Bild an der beobachteten Szene selbst liegen oder tatsächlich durch Niederschlagspartikel auf der Scheibe verursacht werden. Der Erfindung liegt die Aufgabe zugrunde, die Erkennung von Regentropfen und Ablagerungen mit einer funktional verbesserten Kameravorrichtung bereitzustellen.
Diese Aufgabe wird durch eine Stereokameravorrichtung mit den Merkmalen des Anspruchs 1, durch ein Kraftfahrzeug mit den Merkmalen des Anspruchs 11 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 12 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt.
Es wird eine Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs vorgeschlagen. Beispielsweise handelt es sich bei der durch die Stereokameravorrichtung erfassten Umgebung um einen vorausliegenden Umgebungsbereich oder um einen Rückfahrtbereich des Kraftfahrzeugs. Vorzugsweise ist die Stereokameravorrichtung in eine Fahrerassistenzvorrichtung integrierbar oder mit dieser verbindbar, wobei die Fahrerassistenzvorrichtung insbesondere zur Objekterkennung wie z. B. zur Spurerkennung, Erkennung weiterer Verkehrsteilnehmer, Verkehrszeichenerkennung usw. aus den von der Stereokameravorrichtung bereitgestellten Bilddaten ausgebildet ist.
Zur Umgebungserfassung umfasst die Stereokameravorrichtung eine erste und eine zweite Kamera. Die erste und die zweite Kamera weisen jeweils eine Optik zur Projektion von Licht sowie mindestens oder genau einen Bildsensor zur Erfassung des von der Optik projizierten Lichts auf. Vorzugsweise sind die erste und/oder die zweite Kamera mit einer Festbrennweite ausgebildet. Bevorzugt sind die erste und die zweite Kamera im Fahrzeug¬ innenraum hinter einer Scheibe anzuordnende und in oder entgegen der Fahrtrichtung gerichtete Kameras.
Insbesondere sind die Kameras auf ein Zielgebiet in der Umgebung des Kraftfahrzeugs fokussiert. Beispielsweise ist in den Bildern jeweils ein Entfernungsbereich mit einer Entfernung zu den Kameras von mindestens einem halben Meter, insbesondere von mindestens fünf Metern, im Speziellen von mindestens zehn Metern fokussiert. Folglich ist die Windschutzscheibe des Kraft- fahrzeugs in einem Unscharfebereich der Kameras, mit anderen Worten von den Kameras nicht fokussiert.
Die erste und die zweite Kamera sind ausgebildet, jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen vorzugsweise zeitgleich zu erfassen. Somit sind die Erfas¬ sungsbereiche der ersten und zweiten Kamera insbesondere mit einem unterschiedlichen Abbildungsmaßstab erfasst . Vorzugsweise geben der Bildsensor und die Optik der jeweiligen Kamera gemeinsam einen horizontalen und vertikalen Bildwinkel vor, wobei der horizontale und vertikale Bildwinkel den Erfassungsbereich aufspannen. Besonders bevorzugt weisen die erste und die zweite Optronik unterschiedlich große horizontale Bildwinkel auf, sodass sich die Erfassungsbereiche insbesondere in horizontaler Richtung unterscheiden. Alternativ oder optional ergänzend weisen die erste und zweite Optronik unterschiedlich große vertikale Bildwinkel auf, sodass sich die Erfassungsbereiche in vertikaler Richtung unterscheiden. Durch die unterschiedlich großen Erfassungsbereiche wird insbesondere derselbe Regen- tropfen bzw. dieselbe Ablagerung in den Bildern mit einem unterschiedlichen Abbildungsmaßstab erfasst.
Beispielsweise sind die erste und die zweite Kamera in einer horizontalen Betrachtungsrichtung neben-, übereinander oder diagonal zueinander angeordnet. Insbesondere sind die erste und die zweite Kamera derart zueinander angeordnet, dass bei An¬ ordnung der Kameras im Fahrzeuginnenraum zumindest abschnittsweise ein selber Teilbereich der Scheibe, im Speziellen ein selber Teilbereich einer außenseitigen Scheibenoberfläche des Kraftfahrzeugs durchdringt wird. Durch die Durchdringung desselben Teilbereichs, mit anderen Worten desselben Scheibenausschnitts der Scheibe werden zumindest bereichsweise dieselben Regentropfen und Ablagerungen erfasst. Besonders bevorzugt sind die erste und die zweite Kamera geneigt, also gewinkelt zueinander angeordnet, sodass die optischen Achsen der Kameras antiparallel zueinander verlaufen und somit derselbe Teilbereich der Scheibe erfassbar ist. Besonders bevorzugt kreuzen sich die optischen Achsen. Durch die Reduzierung des zur Blickrichtung seitlichen Abstands der beiden Kameras erweitert sich der identische Erfassungs¬ bereich der Scheibe. Vor diesem Hintergrund ist bevorzugt, dass die erste und die zweite Kamera seitlich zu deren Blickrichtung, im Kraftfahrzeug angeordnet insbesondere quer zur Fahrzeug- längsrichtung, beispielsweise höchstens 80 mm, insbesondere höchstens 50 mm, im Speziellen höchstens 30 mm voneinander beabstandet sind. Die Stereokameravorrichtung umfasst eine Auswerteeinrichtung zur Erkennung von Regentropfen und Ablagerungen auf der Scheibe, somit insbesondere auf demselben von den Kameras durchdringten Teilbereich der Scheibe mittels den insbesondere zeitgleich erfassten Bildern der ersten und zweiten Kamera. Zur Erkennung von Regentropfen oder Ablagerungen auf der Scheibe ist die Auswerteeinrichtung ausgebildet, die von den Kameras erfassten Bilder, insbesondere die zeitgleich erfassten Bilder der ersten und zweiten Kamera auf vom Scheibenzustand abhängige redundante Signaländerungen auszuwerten. Unter den vom Scheibenzustand abhängigen Signaländerungen sind in diesem Zusammenhang für Regentropfen oder Ablagerungen charakteristische Signalände¬ rungen wie z. B. partielle Unschärfen zu verstehen. Mit anderen Worten ist die Auswerteeinrichtung insbesondere ausgebildet, in den Bildern denselben durchdringten Teilbereich der Scheibe auf vergleichbare Bildartefakte bei gegebenem unterschiedlichen Hintergrund, der aus den unterschiedlich großen Erfassungsbereichen resultiert, zu untersuchen. Zur Auswertung der Redundanz der Signaländerungen werden insbesondere vergleichbare Bildinformationen miteinander verglichen, die einen Rückschluss auf Regentropfen und Ablagerungen, im Speziellen einen Rückschluss auf denselben Regentropfen bzw. dieselbe Ablagerung ermöglichen . Erfindungsgemäß wird in den Bildern insbesondere derselbe Regentropfen bzw. dieselbe Ablagerung erfasst, wobei dieser Regentropfen bzw. diese Ablagerung aufgrund der unterschiedlich großen Erfassungsbereiche im Bild der ersten Kamera einen anderen Hintergrund aufweist als im Bild der zweiten Kamera. Bei Vorhandensein eines Regentropfens oder einer Ablagerung werden aufgrund des unterschiedlichen Hintergrunds in den Bildern der ersten und zweiten Kamera zwar zwei voneinander unterschiedliche Signale ausgegeben, jedoch sind die Signaländerungen aufgrund desselben Regentropfens bzw. derselben Ablagerung identisch oder zumindest im Rahmen der Messgenauigkeit annähernd identisch. Auf diese Weise kann die Auswertung einer durch die beobachtete Szene verursachten partiellen Unschärfe als ein Regentropfen oder als eine Ablagerung ausgeschlossen werden, sodass insgesamt eine verbesserte Scheibenzustandserkennung generiert ist. Folglich können durch die Auswertung redundanter Signaländerungen in den beiden Bildern Fehlentscheidungen hinsichtlich des Wischvorgangs vermieden oder zumindest reduziert werden. Bevorzugt handelt es sich bei den vom Scheibenzustand abhängigen redundanten Signaländerungen um mindestens eine Kontrast-, Helligkeits- und/oder Farbänderungen innerhalb eines Bildbe¬ reichs kleiner als die Gesamtgröße des jeweiligen Bildes. Optional ergänzend ist vorgesehen, eine Struktur des Regen- tropfens bzw. der Ablagerung anhand der Kontrast-, Helligkeits¬ und/oder Farbänderung auszuwerten. Die Auswertung mindestens einer dieser Indikatoren erzielt eine zuverlässige Erkennung von Regentropfen und Ablagerungen. Regentropfen und Ablagerungen führen auf einer nicht fokus- sierten Scheibe zu einer lokalen Reduktion von Schärfe eines Bildes. Dies lässt sich im Frequenzbereich durch die Dämpfung hoher Frequenzanteile nachweisen. Vor diesem Hintergrund ist bevorzugt, dass es sich bei den redundanten Signaländerungen um mittels einer Fourier-Transformation ermittelte Frequenzänderungen handelt. Durch die zweidimensionale Fou¬ rier-Transformation und die Auswertung der Ortsfrequenzen, insbesondere der hochfrequenten Anteile oder die Beschränkung auf Helligkeits- und/oder Farbunterschiede von Pixeln innerhalb des Bildbereichs kleiner als die Gesamtgröße des jeweiligen Bildes sind auch die Einflüsse des Gesamtbildes des Zielgebiets und dessen Kontrastreichtum für die Auswertung deutlich geringer . Bei einer bevorzugten Ausführungsform umfasst die Stereokameravorrichtung mindestens eine Beleuchtungsquelle zur Er¬ zeugung eines auf die Scheibe gerichteten Lichtstrahls. Ins¬ besondere sind die erste und zweite Kamera derart angeordnet, den vom Regentropfen oder von der Ablagerung reflektierten Lichtstrahl, welcher eine partielle Aufhellung in den Bildern bewirkt, zu erfassen. Insbesondere ist die Auswerteeinrichtung ausgebildet, die partielle Aufhellung in den beiden Bildern als vom Scheibenzustand abhängige redundante Signaländerung aus- zuwerten.
Bei einer bevorzugten Weiterbildung ist die Beleuchtungsquelle ausgebildet, einen farbspezifischen, im Speziellen einen einfarbigen Lichtstrahl auszusenden, sodass der am Regentropfen bzw. an der Ablagerung reflektierte Lichtstrahl eine partielle Farbänderung in dem Bild bewirkt. Insbesondere ist die Aus¬ werteeinrichtung ausgebildet, die partielle, farbspezifische Farbänderung des reflektierten Lichtstrahls in den beiden Bildern als vom Scheibenzustand abhängige redundante Signal- änderung auszuwerten. Beispielsweise ist die Beleuchtungsquelle eine blaue oder eine rote LED. Durch die Aussendung eines farbspezifischen, mit anderen Worten eines auf ein Farbspektrum begrenzten Lichtstrahls wird sichergestellt, dass aus¬ schließlich der vom Regentropfen oder von der Ablagerung re- flektierte Lichtstrahl als redundante Signaländerung in den Bildern ausgewertet wird.
Bei einer bevorzugten Ausgestaltung der Erfindung sind die Bilder der ersten und zweiten Kamera jeweils ein Farbwertbild. Auf diese Weise ist es möglich, die partielle, farbspezifische Farbän¬ derung als redundante Signaländerung auszuwerten.
Alternativ kann jedoch ebenso vorgesehen sein, dass die Bilder der ersten und zweiten Kamera jeweils ein Grauwertbild sind. Monochrome Bildsensoren, welche ein Grauwertbild abbilden, zeichnen sich durch ihre hohe Auflösungsgüte aus, sodass ei¬ nerseits ein verbesserter Kantenkontrast des Regentropfens bzw. der Ablagerung vergleichsweise zu einem Farbwertbild erzielt, andererseits die Erfassung der partiellen Aufhellung ermöglicht ist .
Bei einer weiteren Alternative ist das Bild der ersten Kamera ein Farbwertbild und das Bild der zweiten Kamera ein Grauwertbild. Die Erfassung von einem Färb- und Grauwertbild erzielt den Vorteil, sowohl den Regentropfen bzw. die Ablagerung mit einem hohen Kantenkontrast zu erfassen, andererseits die partielle, farbspezifische Farbänderung den von dem Regentropfen bzw. von der Ablagerung reflektierten Lichtstrahl auswerten zu können.
Beispielsweise umfasst die erste Kamera einen horizontalen Bildwinkel von mindestens 100 Grad und/oder einen vertikalen Bildwinkel von mindestens 50 Grad. Somit ist die Optik der ersten Kamera insbesondere als ein Weitwinkelobjektiv ausgebildet. Weiterhin ist bevorzugt, dass die zweite Kamera einen hori¬ zontalen Bildwinkel von mindestens 30 Grad und/oder von höchstens 50 Grad umfasst. Somit ist die Optik der zweiten Kamera ins¬ besondere als ein Teleobjektiv ausgebildet. Besonders bevorzugt ist der Erfassungsbereich der ersten Kamera horizontal und/oder vertikal mindestens doppelt, im Speziellen mindestens vierfach größer als der Erfassungsbereich der zweiten Kamera ausgebildet. Ein Vorteil der unterschiedlichen Abbildungsmaßstäbe ist die Vermeidung des gleichen Hintergrunds des Regentropfens oder der Ablagerung in beiden Bildern.
Ein weiterer Gegenstand der Erfindung betrifft ein Kraftfahrzeug mit einer Stereokameravorrichtung nach der vorhergehenden Beschreibung. Die Stereokameravorrichtung ist hinter einer Scheibe, insbesondere hinter der Windschutzscheibe oder der Heckscheibe im Innenraum des Kraftfahrzeugs angeordnet. Be¬ sonders bevorzugt weist das Kraftfahrzeug eine Fahrerassis¬ tenzvorrichtung auf, welche mit der Stereokameravorrichtung verbunden ist oder diese umfasst. Die erste und die zweite Kamera sind derart zueinander angeordnet, dass die Erfassungsbereiche zumindest abschnittsweise den gleichen Bereich der Scheibe des Kraftfahrzeugs durchdringen. Mit anderen Worten umfassen die Bilder der Kameras zumindest einen Bildbereich mit demselben durchdringten Scheibenausschnitt .
Die Erfindung betrifft ferner ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen auf einer Scheibe, insbesondere auf einer Außenfläche der Scheibe des Kraftfahrzeugs mit einer Stereokameravorrichtung nach der vorhergehenden Beschreibung, wobei die erste und die zweite Kamera jeweils ein Bild erfassen, und wobei die Auswerteeinrichtung beide Bilder auf redundante Signaländerungen auswertet. Insbesondere ist die Auswerte¬ einrichtung ausgebildet, aus den beiden Bildern jeweils eine Signaländerung auszuwerten und bei Vorhandensein einer Sig- naländerung in den beiden Bildern diese miteinander zur Feststellung einer Redundanz zu vergleichen.
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausfüh- rungsbeispiele der Erfindung. Dabei zeigen:
Figur 1 in einer Draufsicht ein Kraftfahrzeug mit einer
Stereokameravorrichtung; Figur 2 schematisch dargestellt die Stereokameravorrichtung aus Figur 1 mit einer ersten und einer zweiten Kamera; Figur 3 schematisch dargestellt die horizontalen
Bildwinkel der Erfassungsbereiche der ersten und zweiten Kamera der Stereokameravorrichtung aus Figur 1 ;
Figuren 4a, 4b jeweils ein von der ersten und der zweiten Kamera erfasstes Bild;
Figuren 5a, 5b jeweils ein von der ersten und zweiten Kamera erfasstes Bild bei Vorhandensein eines Regen¬ tropfens .
Einander entsprechende Teile sind in allen Figuren mit denselben Bezugszeichen versehen.
Figur 1 zeigt in einer Draufsicht ein Kraftfahrzeug 1 mit einer Stereokameravorrichtung 2. Die Stereokameravorrichtung 2 um- fasst eine erste und eine zweite Kamera 3, 4, welche jeweils zur Aufnahme eines Bildes eines vorausliegenden Umgebungsbereichs des Kraftfahrzeugs 2 ausgebildet sind. Die Bilder dienen zur Objekterkennung wie z. B. zur Verkehrszeichenerkennung in dem vorausliegenden Umgebungsbereich des Kraftfahrzeugs 2. Beispielsweise ist in den Bildern ein Entfernungsbereich mit einer Entfernung zu den Kameras 3, 4 von mindestens einem halben Meter fokussiert. Somit liegt die Windschutzscheibe in einem Un¬ scharfebereich der ersten und zweiten Kamera 3, 4. Die Stereokameravorrichtung 2 umfasst eine Auswerteeinrichtung 5 zur Auswertung von Regen und Ablagerungen auf einer Scheibe, insbesondere auf der Windschutzscheibe 6 des Kraftfahrzeugs 2 aus den von den Kameras 3, 4 erfassten Bildern.
In Figur 2 ist der schematische Aufbau der Stereokameravorrichtung 2 mit den zwei Kameras 3, 4 dargestellt. Die Ste¬ reokameravorrichtung 2 ist hinter der Windschutzscheibe 6 in einem Innenraum des Kraftfahrzeugs 1 angeordnet. Die erste und die zweite Kamera 2, 3 umfassen jeweils einen Bildsensor 8, welche mit einer Leiterplatte 9 verbunden sind sowie eine Optik 7, welche zur Projektion von Licht auf eine für Licht sensitive Fläche des Bildsensors 8 ausgebildet ist. Die Optik 7 ist z. B. als ein Objektiv mit einer Festbrennweite ausgebildet. Beispielsweise umfasst die Stereokameravorrichtung 2 ein Gehäuse 12, in dem die erste und die zweite Kamera 3, 4 angeordnet sind. Bei diesem Ausführungsbeispiel sind die beiden Kameras 3, 4 in einer horizontalen Betrachtungsrichtung nebeneinander angeordnet und weisen zu den Mittelpunkten der Optiken 7 einen Abstand B von höchstens 80 mm zueinander auf.
Weiterhin umfasst die Stereokameravorrichtung 2 eine Be- leuchtungsquelle 11 zur Erzeugung eines auf die Windschutz¬ scheibe 6 gerichteten Lichtstrahls. Die erste und die zweite Kamera 3, 4 sind derart angeordnet, einen Lichtstrahl, welcher von einem auf der Windschutzscheibe 6 befindlichen Regentropfen oder einer Ablagerung reflektiert wird, zu erfassen. Optional weist die Stereokameravorrichtung 2 eine Streulichtblende 10 auf .
Wie in Figur 3 vereinfacht dargestellt, sind die erste und die zweite Kamera 3, 4 derart zueinander geneigt, dass die optischen Achsen A der Kameras 3, 4 antiparallel zueinander verlaufen. Somit werden zwei Bilder aus voneinander abweichenden Richtungen erfasst. Die erste und die zweite Kamera 3, 4 erfassen jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen od, 0(2. Bei diesem Ausführungsbeispiel weisen die erste und die zweite Kamera 3, 4 einen unterschiedlich großen horizontalen Bildwinkel ex auf, sodass sich die Erfassungsbereiche in horizontaler Richtung unterscheiden. Alternativ oder optional ergänzend kann vorgesehen sein, dass die erste und die zweite Kamera 3, 4 unterschiedlich große vertikale Bildwinkel auf¬ weisen .
Durch die Neigung der Kameras 3, 4 zueinander überschneiden sich die Erfassungsbereiche, sodass zumindest abschnittsweise ein selber Teilbereich TB der Windschutzscheibe 6 durchdringt wird. Durch die Durchdringung desselben Teilbereichs TB der Windschutzscheibe 6 sind in den Bildern der Kameras 3, 4 dieselben Regentropfen und Ablagerungen R abgebildet.
Die Figuren 4a, 4b zeigen denselben durch die Kameras 3, 4 durchdringten Teilbereich TB der Windschutzscheibe 6, bildhaft durch den abschließenden Rahmen dargestellt. Aufgrund der unterschiedlich großen Erfassungsbereiche der Kameras 3, 4 liegt in den Bildern ein unterschiedlicher Abbildungsmaßstab vor.
In der Figur 5a ist das von der ersten Kamera 3 erfasste Bild und in der Figur 5b das von der zweiten Kamera 4 erfasste Bild bei Vorhandensein eines Regentropfens oder einer Ablagerung R dargestellt. Aufgrund der Durchdringung desselben Teilbereichs TB der Windschutzscheibe 6 ist die Relativposition des Re¬ gentropfens bzw. der Ablagerung R in den Bildern identisch, jedoch ist der hinter dem Regentropfen bzw. der Ablagerung befindliche Hintergrund aufgrund der unterschiedlichen Ab- bildungsmaßstäbe in den Bildern unterschiedlich.
Zur Erkennung des Regentropfens bzw. der Ablagerung R auf der Windschutzscheibe 6 des Kraftfahrzeugs 2 ist die Auswerte¬ einrichtung 5 ausgebildet, die von der ersten und zweiten Kamera 3, 4 erfassten Bilder auf vom Scheibenzustand abhängige re¬ dundante Signaländerungen, somit beispielsweise redundante Signaldifferenzen auszuwerten. Der Regentropfen bzw. die Ablagerung R ist beispielsweise mittels der Auswertung eines lokalen Kontrastunterschieds in den Bildern möglich. Aufgrund des unterschiedlichen Hintergrunds resultiert bei Vorhandensein des Regentropfens eine unterschiedliche Sig¬ nalausgabe in den beiden Bildern. Jedoch liegt durch die Auswertung desselben Regentropfens, welcher beispielsweise durch die Relativposition in den Bildern bestimmt werden kann, eine redundante Signaländerung, insbesondere die redundante Signaldifferenz vor, die z. B. durch die Auswertung von zwei aufeinanderfolgenden Bildern der jeweiligen Kamera ermittelt werden kann. Auf diese Weise wird eine Erkennung von Regen und Ablagerungen mit einer geringen Fehlerkennungsquote bereit¬ gestellt.
Bezugszeichenliste
1 Kraftfahrzeug
2 Stereokameravorrichtung
3 Erste Kamera
4 Zweite Kamera
5 Auswerteeinrichtung
6 Windschutzscheibe
7 Optik
8 Bildsensor
9 Leiterplatte
10 Streulichtblende
11 Beleuchtungsquelle
12 Gehäuse
R Regentropfen und Ablagerung
B Seitliche Beabstandung der Kameras
l Erfassungsbereich der ersten Kamera
2 Erfassungsbereich der zweiten Kamera
TB Derselbe aufgenommene Teilbereich der Windschutzscheibe

Claims

Patentansprüche / Patent Claims
Stereokameravorrichtung (2) zur Umgebungserfassung eines Kraftfahrzeugs (1) , mit einer ersten Kamera (3) und einer zweiten Kamera (4) , wobei die erste und die zweite Kamera (3, 4) jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen
( l , 2 ) erfassen, mit einer Auswerteeinrichtung (5) , wobei zur Erkennung von Regentropfen und Ablagerungen (R) auf einer Scheibe des Kraftfahrzeugs die Auswerteeinrichtung (5) ausgebildet ist, die von den Kameras erfassten Bilder auf vom Scheibenzustand abhängige redundante Signaländerungen auszuwerten.
Stereokameravorrichtung (2) nach Anspruch 1, wobei es sich bei den vom Scheibenzustand abhängigen redundanten Signaländerungen um mindestens eine Kontrast-, Helligkeitsund/oder Farbänderung innerhalb eines Bildbereichs kleiner als die Gesamtgröße des jeweiligen Bildes handelt.
Stereokameravorrichtung (2) nach Anspruch 1 oder 2, wobei es sich bei den redundanten Signaländerungen um mittels einer Fourier-Transformation ermittelte Frequenzänderungen handelt .
Stereokameravorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die Stereokameravorrichtung (2) mindestens eine Beleuchtungsquelle (11) zur Erzeugung eines auf die Scheibe gerichteten Lichtstrahls umfasst, wobei die erste und die zweite Kamera (3, 4) derart angeordnet sind, den vom Regentropfen oder von der Ablagerung reflektierten Lichtstrahl zu erfassen, und wobei die Auswerteeinrichtung (5) ausgebildet ist, den in den Bildern erfassten Lichtstrahl als redundante Signaländerung auszuwerten. 5. Stereokameravorrichtung (2) nach einem der vorhergehenden
Ansprüche, wobei das Bild der ersten Kamera (3) ein Farbwertbild und das Bild der zweiten Kamera (4) ein Grauwertbild ist. 6. Stereokameravorrichtung (2) nach einem der vorhergehenden
Ansprüche, wobei in den Bildern ein Entfernungsbereich mit einer Entfernung zu den Kameras (3, 4) von mindestens einem halben Meter fokussiert ist. 7. Stereokameravorrichtung (2) nach einem der vorhergehenden
Ansprüche, wobei die erste und die zweite Kamera (3, 4) in einer Querrichtung zur Blickrichtung höchstens 50 Millimeter voneinander beabstandet sind. 8. Stereokameravorrichtung (2) nach einem der vorhergehenden
Ansprüche, wobei der Erfassungsbereich der ersten Kamera (3) horizontal und/oder vertikal mindestens doppelt, insbesondere mindestens vierfach größer als der Erfas¬ sungsbereich der zweiten Kamera (4) ausgebildet ist.
9. Stereokameravorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die erste Kamera (3) einen horizontalen Bildwinkel ( l) von mindestens 100 Grad und/oder einen vertikalen Bildwinkel von mindestens 50 Grad umfasst.
10. Stereokameravorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die zweite Kamera (4) einen horizontalen Bildwinkel ( 2) von mindestens 30 Grad und/oder von höchstens 50 Grad umfasst.
11. Kraftfahrzeug (1) mit einer Stereokameravorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die erste und die zweite Kamera (3, 4) derart zueinander angeordnet sind, dass die Erfassungsbereiche zumindest abschnitts¬ weise denselben Teilbereich (TB) einer Scheibe des Kraftfahrzeugs (1) durchdringen.
12. Verfahren zur Erkennung von Regentropfen oder Ablagerungen (R) auf einer Scheibe eines Kraftfahrzeugs (1) mit einer Stereokameravorrichtung (2) nach einem der vorhergehenden Ansprüche 1 bis 10, wobei die erste und die zweite Kamera (3, 4) jeweils ein Bild erfassen, und wobei die Auswerteeinrichtung (5) beide Bilder auf redundante Signaländerungen auswertet.
PCT/DE2016/200351 2015-09-10 2016-08-01 Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen WO2017041795A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112016002025.2T DE112016002025A5 (de) 2015-09-10 2016-08-01 Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015217265.1A DE102015217265A1 (de) 2015-09-10 2015-09-10 Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
DE102015217265.1 2015-09-10

Publications (1)

Publication Number Publication Date
WO2017041795A1 true WO2017041795A1 (de) 2017-03-16

Family

ID=57406021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2016/200351 WO2017041795A1 (de) 2015-09-10 2016-08-01 Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen

Country Status (2)

Country Link
DE (2) DE102015217265A1 (de)
WO (1) WO2017041795A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215279B4 (de) * 2018-09-07 2021-03-18 Audi Ag Optische Überwachung eines Fahrzeugbereichs
DE102019200421A1 (de) * 2019-01-16 2020-07-16 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Unterdrückung von Scheibenspiegelungen
JP7321987B2 (ja) 2020-10-01 2023-08-07 ダイハツ工業株式会社 車両用複眼カメラ

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029056A2 (en) * 2001-10-04 2003-04-10 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
EP1923280A1 (de) * 2006-11-15 2008-05-21 Valeo Vision Photosensibler Sensor für den Automobilsektor
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
DE102008043737A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
US20100208060A1 (en) * 2009-02-16 2010-08-19 Masanori Kobayashi Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
DE102011013527A1 (de) * 2011-03-10 2012-01-05 Daimler Ag Verfahren und Vorrichtung zur Ermittlung von Wasser auf einer Fahrzeugscheibe
DE102011103302A1 (de) * 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
US20150070499A1 (en) * 2012-01-09 2015-03-12 Volker Roelke Camera system, in particular for a vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
FR2921027B1 (fr) * 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
DE102010023591A1 (de) * 2010-06-12 2011-12-15 Conti Temic Microelectronic Gmbh Stereokamerasystem
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
WO2014111814A2 (en) * 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029056A2 (en) * 2001-10-04 2003-04-10 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
EP1923280A1 (de) * 2006-11-15 2008-05-21 Valeo Vision Photosensibler Sensor für den Automobilsektor
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
DE102008043737A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
US20100208060A1 (en) * 2009-02-16 2010-08-19 Masanori Kobayashi Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
DE102011013527A1 (de) * 2011-03-10 2012-01-05 Daimler Ag Verfahren und Vorrichtung zur Ermittlung von Wasser auf einer Fahrzeugscheibe
DE102011103302A1 (de) * 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
US20150070499A1 (en) * 2012-01-09 2015-03-12 Volker Roelke Camera system, in particular for a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUU TANAKA ET AL: "Removal of Adherent Waterdrops from Images Acquired with a Stereo Camera System", 7 July 2006 (2006-07-07), XP055336912, Retrieved from the Internet <URL:http://www.robot.t.u-tokyo.ac.jp/~yamashita/paper/A/A019Final.pdf> [retrieved on 20170119] *

Also Published As

Publication number Publication date
DE102015217265A1 (de) 2017-03-16
DE112016002025A5 (de) 2018-01-18

Similar Documents

Publication Publication Date Title
DE102017210558B3 (de) Verfahren und Vorrichtung zur Vermessung von Karosserieschäden
DE19757840C1 (de) Vorrichtung zur optischen Erfassung und Abstandermittlung von Objekten von einem Fahrzeug aus
DE102006020192B4 (de) Vorrichtung und Verfahren zum Vorhersagen von Kollision
DE102014209197A1 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
EP2040220B1 (de) Verfahren zur Hinderniserkennung
DE112008001384T5 (de) Verfahren zur Verschmutzungserkennung bei einer TOF-Distanzbildkamera
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE102015215561A1 (de) Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung zur Objekterkennung mit einer solchen Fahrzeugkameravorrichtung
EP3046076A1 (de) Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
WO2017041795A1 (de) Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen
DE102017217072B4 (de) Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102017122432A1 (de) Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102015218500A1 (de) Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
WO2015165448A1 (de) Vorrichtung zum erkennen von niederschlag für ein kraftfahrzeug
WO2013041292A1 (de) Bilderfassungsvorrichtung für ein fahrzeug
DE102019102672A1 (de) Intersensorisches lernen
DE102012104131A1 (de) Automatische anpassung der ansteuerung eines insbesondere für fahrerassistenzsysteme vorgesehenen imagers an äussere einflüsse
DE102020119116B3 (de) Verfahren zur Detektion von Verunreinigungen einer optischen Sensoranordnung
DE102021003728B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102017000454B4 (de) Verfahren und System zum Kalibrieren von Bilddaten zweier Kameras
WO2008135295A1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16801703

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016002025

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112016002025

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16801703

Country of ref document: EP

Kind code of ref document: A1