WO2008046458A1 - Method and device for capturing the surroundings in motor vehicles with the aid of aerial images - Google Patents
Method and device for capturing the surroundings in motor vehicles with the aid of aerial images Download PDFInfo
- Publication number
- WO2008046458A1 WO2008046458A1 PCT/EP2007/002582 EP2007002582W WO2008046458A1 WO 2008046458 A1 WO2008046458 A1 WO 2008046458A1 EP 2007002582 W EP2007002582 W EP 2007002582W WO 2008046458 A1 WO2008046458 A1 WO 2008046458A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- vehicle
- image information
- recordings
- aerial
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
Definitions
- the invention relates to a method and apparatus for aerial image-based environmental detection in motor vehicles.
- map data For example, lane curvature information is retrieved from map data to enhance camera-based lane detection, particularly in poor visibility.
- geometric data of the vehicle environment from map data is used to improve the operation of vehicle control systems, such as distance control systems (ACC systems).
- Map data advantageously provides information about the statistical vehicle environment, but these often have the disadvantage that they are inaccurate and outdated.
- the actualization of card data is associated with high costs and is therefore carried out by the manufacturers only in the course of months or years.
- JP 2001050754 A a navigation system for motor vehicles is shown.
- This navigation system should be distinguished from previous navigation systems in which map information is deposited in that its accuracy with respect to the correspondence of the navigation information and the current vehicle position is improved.
- improved navigation information is provided by taking aerial images of the earth's surface and displayed.
- the aerial photographs are image recordings which are obtained by aircraft or satellites and then stored in the navigation system.
- DE 102004048347 A1 describes a driver assistance system, with which the driver of a motor vehicle is shown the further course of the road in the correct position on a vehicle display.
- the road and the road are detected and detected by means of an imaging sensor.
- the road course outside the field of view of the imaging sensor is determined from the road map data of a navigation device of the motor vehicle.
- the navigation data is thereby improved by the road map data and the image information are brought together in the correct position. These are then displayed on an image display to allow predicting the course of the road.
- the invention is therefore based on the object to provide a method and apparatus for aerial image-based environmental detection in motor vehicles, which in terms of reliability and accuracy improved environmental detection is possible.
- the object is achieved according to the invention by a method with the Merkmaien of claim 1 and a device having the features of claim 12.
- Advantageous embodiments and further developments are shown in the subclaims.
- a method and an apparatus for aerial image-based environmental detection in motor vehicles are provided.
- the device essentially comprises a vehicle sensor for detecting environmental images, a communication unit with which further image information is retrieved and a computer unit for processing image recordings or image information.
- vehicle-related image recordings which contain the vehicle surroundings, are detected by means of at least one vehicle sensor.
- further image information from aerial photographs and / or image recordings of at least one stationaryly arranged image sensor is used.
- the vehicle-related image recordings are supplemented by the further image information.
- the quality of the environmental detection is improved in a particularly advantageous manner compared to purely vehicle-related environmental detection. It not only achieves greater accuracy and reliability in environmental detection, but also captures the vehicle environment completely without shadowing. In a purely vehicle-related environment detection, in contrast, depending on Shadowings may be included in captured environmental images from the position of the respective image capture unit used. In the case of purely vehicle-related environmental detection, it is therefore only possible to obtain a shadow-free detection of the vehicle surroundings at great expense through the use of a multiplicity of image sensors or through corresponding methods for tracking (object tracking).
- a shadow-free environment detection is possible. The driver can thus see the entire surrounding area of the vehicle.
- no card data is needed when using the invention.
- the image information of aerial photographs or stationary arranged image sensors are used directly by at least one Vehicle sensor recorded vehicle-related image recordings to supplement in an advantageous manner.
- a vehicle sensor for capturing environmental images and a stationary image sensor may be any type of image sensor. For example, this includes camera, radar and Lidarsensoren.
- supplementing vehicle-related image recordings and the further image information is an image fusion.
- the processing of the vehicle-related image recordings and the aerial photographs or the image recordings of a stationary one Image recording unit preferably takes place in the vehicle.
- the environment of the vehicle is measured and parameters from the vehicle environment, such as the course of the road, determined.
- the image information is processed, for example, so that they relate to a common reference coordinate system and their sizes such as magnification, colors, brightness, etc. can be related to each other.
- the aerial photographs are evaluated with image information of a camera or a radar sensor at the same time in the vehicle.
- vehicle-related image recordings and the further image information may also be in the addition of vehicle-related image recordings and the further image information to a superposition of images or image information.
- images of the same size are preferably superimposed in the correct position, whereby images of different sizes are scaled or cut out, for example, within the scope of preprocessing.
- an object recognition is then carried out, for example, with the positionally correct superposition taking place as a function of the same features contained in the individual images.
- the positionally correct superimposition it has proven particularly useful to use features such as the immediate vehicle environment with the road surface, markings, lane edges, building edges, etc.
- individual image recordings are composed.
- the further image information is transmitted to the vehicle via a suitable communication interface.
- a suitable communication interface such as a wireless communication link.
- a wireless communication link such as a wireless communication link.
- a Bluetooth or WLAN connection by means of which the image information is transmitted to the vehicle.
- the communication connection can be continuous, so that the environment images are continuously updated.
- the update may be performed at certain time intervals, e.g. during a stay in the workshop or in the garage, whereby the image information in the vehicle is stored in a storage unit.
- other communication links may also be used in connection with the invention, e.g. optical connection or telephone connections, these are particularly useful if local information in a specific location location information in the form of image information is to be selectively retrieved.
- the further image information is preferably image recordings, which are obtained by satellite, aircraft or stationary image sensors.
- the image information or image recordings of the earth's surface with associated height profile obtained by means of satellite or aircraft are already being used, for example, in conjunction with so-called Geographic Information Systems (GIS).
- GIS Geographic Information Systems
- the stationary image information obtained is in most cases more accurate than purely vehicle-related image acquisition.
- the image information obtained by means of a stationary image acquisition unit is usually more current than stored in the vehicle map information.
- the further image information is registered with high accuracy.
- the aerial photography must be registered with high accuracy, which is already common in satellite images. If the image recordings are not registered with enough accuracy, for example, there is a risk that errors in the position of the road will occur due to a not accurately recorded height profile. Also stationary image sensors must be calibrated accordingly, so that a reliability of the detected environmental information can be guaranteed.
- the vehicle-related image recordings and / or the further image information in the vehicle are corrected. As a result, any inaccuracies in the image acquisition can then be compensated in the vehicle by means of suitable algorithms.
- an object detection is performed.
- the further image information may be image information from external databases and / or the Internet. Access to the Internet is already possible with today's vehicles, for example, software and portals for retrieving environmental information are already available on the Internet, eg "Google Earth”. Also in this context payment services are possible, which are available, for example, by mobile phone.
- the further image information to a single environment scene can also come from at least two independent image sources in an advantageous manner, so as to determine the reliability of the further image information.
- the detection method of the environmental detection can determine independently whether the image information acquired with it is consistent and correct. For example, the image acquisition of a camera after a structural change of a street does not coincide with an image information previously acquired by means of satellite. An error in vehicle-related image capture can not be reconciled with the satellite image, whereas image information from two independent image sources can be matched for further image information if consistent and thus correct. Otherwise, a deviation would indicate an erroneous detection of the environmental information.
Abstract
A method for capturing the surroundings in motor vehicles with the aid of aerial images is described. Vehicle-related recorded images which contain the surroundings of a vehicle are captured here by means of at least one vehicle sensor. Within the scope of the capturing of the surroundings, further image information from aerial image recordings or image recordings of at least one fixedly arranged image sensor are also used. The vehicle-related image recordings are supplemented here by the further image information. As a result, improved capturing of the surroundings is possible in terms of the reliability and the accuracy compared to previous systems for capturing the surroundings, in which case, in particular, there are no shadow effects in the image recordings which are captured.
Description
Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen Method and device for aerial image-based environmental detection in motor vehicles
[0001] Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen .The invention relates to a method and apparatus for aerial image-based environmental detection in motor vehicles.
[0002] In modernen Kraftfahrzeugen werden zunehmend mehr Assistenzsysteme eingesetzt, welche auf KartInformation zugreifen. Beispielsweise kommen dabei NavigationsSysteme oder Systeme, welche den Fahrer vor engen Kurven warnen zum Einsatz. Neuere Systeme basieren auf einer Kombination aus Kartendaten und Daten von Fahrzeugsensoren zur Umgebungserfassung. Beispielsweise werden Informationen über die Krümmung der Fahrspur aus Kartendaten abgerufen, um eine kamerabasierte Fahrspurerkennung, insbesondere bei schlechter Sicht, zu verbessern. Auch werden beispielsweise Geometriedaten der Fahrzeugumgebung aus Kartendaten herangezogen um die Funktionsweise von Fahrzeugregelsystemen zu verbessern, beispielsweise von AbstandsregelSystemen (ACC- Systemen) . Kartendaten liefern dabei in vorteilhafter Weise Informationen über die statistische Fahrzeugumgebung, jedoch weisen diese häufig den Nachteil auf, dass sie ungenau und veraltet sind. Die Aktμalisierung von Kartendaten ist mit hohen Kosten verbunden und wird deshalb von den Herstellern nur im Laufe von Monaten bzw. Jahren durchgeführt.
[0003] In der JP 2001050754 A wird ein Navigationssystem für Kraftfahrzeuge gezeigt. Dieses Navigationssystem soll sich gegenüber bisherigen Navigationssystemen, bei denen Karteninformationen hinterlegt sind, dadurch auszeichnen, dass dessen Genauigkeit hinsichtlich der Korrespondenz der Navigationsinformation und der aktuellen Fahrzeugposition verbessert wird. Hierbei wird verbesserte Navigationsinformation geliefert, indem Luftbilder der Erdoberfläche aufgenommen und angezeigt werden. Bei den Luftbildern handelt es sich dabei um Bildaufnahmen, welche mittels Flugzeug oder von Satelliten gewonnnen und sodann im Navigationssystem abgespeichert werden.In modern motor vehicles, more and more assistance systems are being used, which access card information. For example, navigation systems or systems which warn the driver of tight bends are used. Newer systems are based on a combination of map data and vehicle sensor data for environmental sensing. For example, lane curvature information is retrieved from map data to enhance camera-based lane detection, particularly in poor visibility. Also, for example, geometric data of the vehicle environment from map data is used to improve the operation of vehicle control systems, such as distance control systems (ACC systems). Map data advantageously provides information about the statistical vehicle environment, but these often have the disadvantage that they are inaccurate and outdated. The actualization of card data is associated with high costs and is therefore carried out by the manufacturers only in the course of months or years. In JP 2001050754 A a navigation system for motor vehicles is shown. This navigation system should be distinguished from previous navigation systems in which map information is deposited in that its accuracy with respect to the correspondence of the navigation information and the current vehicle position is improved. In this case, improved navigation information is provided by taking aerial images of the earth's surface and displayed. The aerial photographs are image recordings which are obtained by aircraft or satellites and then stored in the navigation system.
[0004] DE 102004048347 Al beschreibt ein Fahrerassistenzsystem, womit dem Fahrer eines Kraftfahrzeugs der weitere Straßenverlauf positionsrichtig auf einem Fahrzeugdisplay dargestellt wird. Hierbei werden die Fahrbahn und der Straßenverlauf mittels eines bildgebenden Sensors erfasst und erkannt. Der außerhalb des Sichtfeldes des bildgebenden Sensors liegende StraSenverlauf wird aus den Straßenkartendaten einer Navigationsvorrichtung des Kraftfahrzeugs ermittelt. Die Navigationsdaten werden dabei verbessert, indem die Straßenkartendaten und die Bildinformationen positionsrichtig zusammengeführt werden. Diese werden sodann auf einer Bildanzeige dargestellt, um damit eine Vorhersage des Straßenverlaufs zu ermöglichen.DE 102004048347 A1 describes a driver assistance system, with which the driver of a motor vehicle is shown the further course of the road in the correct position on a vehicle display. Here, the road and the road are detected and detected by means of an imaging sensor. The road course outside the field of view of the imaging sensor is determined from the road map data of a navigation device of the motor vehicle. The navigation data is thereby improved by the road map data and the image information are brought together in the correct position. These are then displayed on an image display to allow predicting the course of the road.
[0005] Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen zu schaffen, womit hinsichtlich der Zuverlässigkeit und der Genauigkeit eine verbesserte Umgebungserfassung möglich wird.
[0006] Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmaien des Patentanspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Patentanspruchs 12 gelöst . Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.The invention is therefore based on the object to provide a method and apparatus for aerial image-based environmental detection in motor vehicles, which in terms of reliability and accuracy improved environmental detection is possible. The object is achieved according to the invention by a method with the Merkmaien of claim 1 and a device having the features of claim 12. Advantageous embodiments and further developments are shown in the subclaims.
[0007] Gemäß der Erfindung werden ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen bereitgestellt. Die Vorrichtung umfasst im Wesentlichen einen Fahrzeugsensor zur Erfassung von Umgebungsbildern, eine Kommunikationseinheit womit weitere Bildinformation abgerufen werden sowie eine Rechnereinheit zur Verarbeitung von Bildaufnahmen bzw. Bildinformation. Im Rahmen des erfindungsgemäßen Verfahrens werden fahrzeugbezogene Bildaufnahmen, welche die Fahrzeugumgebung beinhalten, mittels wenigstens eines Fahrzeugsensors erfasst. Im Rahmen der Umgebungserfassung wird weitere Bildinformation aus Luftbildaufnahmen und/oder Bildaufnahmen wenigstens eines stationär angeordneten Bildsensors herangezogen. Dabei werden die fahrzeugbezogenen Bildaufnahmen durch die weitere Bildinformation ergänzt. Hierdurch wird eine luftbildgestützte Umgebungserfassung bei Kraftfahrzeugen, welche eine verbesserte Umgebungserfassung hinsichtlich der Zuverlässigkeit und der Genauigkeit aufweist, erst möglich. Durch die Ergänzung fahrzeugbezogener Bildaufnahmen mit weiterer Bildinformation aus Luftbildaufnahmen und/oder stationär angeordneter Bildsensoren wird in besonders vorteilhafter Weise die Qualität der Umgebungserfassung gegenüber einer rein fahrzeugbezogenen Umgebungserfassung deutlich verbessert. Dabei wird nicht nur eine höhere Genauigkeit und Zuverlässigkeit bei der Umgebungserfassung erzielt, sondern auch die Fahrzeugumgebung vollständig ohne Abschattungen erfasst . Bei einer rein fahrzeugbezogenen Umgebungserfassung können im Gegensatz dazu in Abhängigkeit
von der Position der jeweils eingesetzten Bilderfassungseinheit Abschattungen in erfassten Umgebungsbildern enthalten sein. Bei einer rein fahrzeugbezogenen Umgebungserfassung ist daher nur bei großem Aufwand durch den Einsatz einer Vielzahl an Bildsensoren oder durch entsprechende Verfahren zum Verfolgen (Tracking) von Objektbewegungen eine abschattungsfreie Erfassung der Fahrzeugumgebung möglich. Bei einer Ergänzung fahrzeugbezogener Bildaufnahmen mit Bildinformationen aus Luftbildaufnahmen wird selbst beim Einsatz eines einzigen Bildsensors möglich, eine abschattungsfreie Umgebungserfassung ermöglicht. Der Fahrer kann somit den kompletten Umgebungsbereich des Fahrzeugs einsehen. In vorteilhafter Weise werden beim Einsatz der Erfindung keine Kartendaten benötigt. Anstelle Informationen aus Luftbildaufnahmen zu entnehmen und daraus digitalisierte Karteninformationen zu generieren und anschließend die Karteninformationen für den Einsatz im Fahrzeug in aufwendiger Weise zu vektorisieren, werden im Rahmen der Erfindung die Bildinformationen von Luftbildaufnahmen bzw. von stationär angeordneten Bildsensoren direkt genutzt, um die mittels wenigstens eines Fahrzeugsensors erfassten fahrzeugbezogenen Bildaufnahmen in vorteilhafter Weise zu ergänzen. Im Zusammenhang mit dieser Erfindung kann es sich bei einem Fahrzeugsensor zur Erfassung von Umgebungsbildern und bei einem stationär angeordneten Bildsensor um eine beliebige Art von Bildsensor handeln. Beispielsweise gehören hierzu Kamera-, Radar- und Lidarsensoren.According to the invention, a method and an apparatus for aerial image-based environmental detection in motor vehicles are provided. The device essentially comprises a vehicle sensor for detecting environmental images, a communication unit with which further image information is retrieved and a computer unit for processing image recordings or image information. In the context of the method according to the invention, vehicle-related image recordings, which contain the vehicle surroundings, are detected by means of at least one vehicle sensor. As part of the environmental detection, further image information from aerial photographs and / or image recordings of at least one stationaryly arranged image sensor is used. The vehicle-related image recordings are supplemented by the further image information. As a result, an aerial image-based environmental detection in motor vehicles, which has an improved environmental detection in terms of reliability and accuracy, only possible. By supplementing vehicle-related image recordings with further image information from aerial photographs and / or image sensors arranged in a stationary manner, the quality of the environmental detection is improved in a particularly advantageous manner compared to purely vehicle-related environmental detection. It not only achieves greater accuracy and reliability in environmental detection, but also captures the vehicle environment completely without shadowing. In a purely vehicle-related environment detection, in contrast, depending on Shadowings may be included in captured environmental images from the position of the respective image capture unit used. In the case of purely vehicle-related environmental detection, it is therefore only possible to obtain a shadow-free detection of the vehicle surroundings at great expense through the use of a multiplicity of image sensors or through corresponding methods for tracking (object tracking). By supplementing vehicle-related image recordings with image information from aerial photography, even without the use of a single image sensor, a shadow-free environment detection is possible. The driver can thus see the entire surrounding area of the vehicle. Advantageously, no card data is needed when using the invention. Instead of taking information from aerial photographs and to generate digitized map information and then to vectorize the map information for use in the vehicle, within the scope of the invention, the image information of aerial photographs or stationary arranged image sensors are used directly by at least one Vehicle sensor recorded vehicle-related image recordings to supplement in an advantageous manner. In the context of this invention, a vehicle sensor for capturing environmental images and a stationary image sensor may be any type of image sensor. For example, this includes camera, radar and Lidarsensoren.
[0008] In einer gewinnbringenden Weise handelt es sich bei einer Ergänzung von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation dabei um eine Bildfusion. Die Verarbeitung der fahrzeugbezogenen Bildaufnahmen und der Luftbildaufnahmen bzw. der Bildaufnahmen einer stationären
Bildaufnahmeeinheit findet dabei vorzugsweise im Fahrzeug statt. Im Rahmen der Bildauswertung wird daraus die Umgebung des Fahrzeugs vermessen und Parameter aus der Fahrzeugumgebung, wie z.B. der Straßenverlauf, bestimmt. Hierbei besteht die Möglichkeit die Bildinformationen unterschiedlicher Arten von Bildsensoren bzw. unterschiedlicher Arten von Bildquellen zu fusionieren. Die Bildinformationen werden dabei beispielsweise derart verarbeitet, sodass diese sich auf ein gemeinsames Bezugskoordinatensystem beziehen und deren Größen wie z.B. Abbildungsmaßstab, Farben, Helligkeit usw. miteinander in Bezug gesetzt werden können. Beispielsweise werden die Luftbildaufnahmen mit Bildinformationen einer Kamera oder eines Radarsensors zeitgleich im Fahrzeug ausgewertet .In a profitable manner, supplementing vehicle-related image recordings and the further image information is an image fusion. The processing of the vehicle-related image recordings and the aerial photographs or the image recordings of a stationary one Image recording unit preferably takes place in the vehicle. As part of the image analysis, the environment of the vehicle is measured and parameters from the vehicle environment, such as the course of the road, determined. In this case, it is possible to fuse the image information of different types of image sensors or different types of image sources. The image information is processed, for example, so that they relate to a common reference coordinate system and their sizes such as magnification, colors, brightness, etc. can be related to each other. For example, the aerial photographs are evaluated with image information of a camera or a radar sensor at the same time in the vehicle.
[0009] Auch kann es sich bei der Ergänzung von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation um eine Überlagerung von Bildern oder Bildinformationen handeln. Hierbei werden vorzugsweise Bilder gleicher Größe positionsrichtig überlagert, wobei Bilder mit unterschiedlicher Größe beispielsweise im Rahmen einer Vorverarbeitung entsprechend skaliert oder ausgeschnitten werden. Zur positionsrichtigen Überlagerung wird sodann beispielsweise eine Objekterkennung durchgeführt, wobei die positionsrichtige Überlagerung in Abhängigkeit gleicher Merkmale, die in den einzelnen Bildern enthalten sind, erfolgt. Bei der positionsrichtigen Überlagerung hat es sich dabei besonders bewährt Merkmale wie z.B. die unmittelbare Fahrzeugumgebung mit der Fahrbahnoberfläche, Markierungen, Fahrspurränder, Gebäudekanten usw. heranzuziehen. Weiterhin besteht auch die Möglichkeit, dass zur Ergänzung von fahrzeugbezogenen Bildaufnahmen mit der weiteren Bildinformation einzelne Bildaufnahmen zusammengesetzt werden. Beim Zusammensetzen wenigstens einer
fahrzeugbezogenen Bildaufnahme mit der Bildinformation einer Luftbildaufnahme bzw. der Bildinformation wenigstens eines stationär angeordneten Bildsensors wird aufgrund der unterschiedlichen Perspektiven eine lückenlose und abschattungsfreie Umgebungserfassung möglich, was mit einer einzelnen fahrzeugbezogenen Bildaufnahme nicht der Fall wäre.It may also be in the addition of vehicle-related image recordings and the further image information to a superposition of images or image information. In this case, images of the same size are preferably superimposed in the correct position, whereby images of different sizes are scaled or cut out, for example, within the scope of preprocessing. For positionally correct superimposition, an object recognition is then carried out, for example, with the positionally correct superposition taking place as a function of the same features contained in the individual images. In the positionally correct superimposition, it has proven particularly useful to use features such as the immediate vehicle environment with the road surface, markings, lane edges, building edges, etc. Furthermore, there is also the possibility that, to supplement vehicle-related image recordings with the further image information, individual image recordings are composed. When assembling at least one vehicle-based image recording with the image information of an aerial image or the image information of at least one stationary image sensor is due to the different perspectives a complete and shading free environment detection possible, which would not be the case with a single vehicle-related image acquisition.
[0010] In einer weiteren gewinnbringenden Weise der Erfindung wird die weitere Bildinformation über eine geeignete Kommunikationsschnittstelle an das Fahrzeug übertragen. Beispielsweise kann es sich hierbei um eine drahtlose Kommunikationsverbindung handeln, wie z.B. eine Bluetooth oder WLAN Verbindung mittels der die Bildinformationen an das Fahrzeug übertragen werden. Dabei kann die Kommunikationsverbindung ununterbrochen bestehen, sodass die Umgebungsbilder fortwährend aktualisiert werden. Auch kann die Aktualisierung in bestimmten Zeitintervallen, z.B. beim Aufenthalt in der Werkstatt oder in der Garage erfolgen, wobei die Bildinformationen im Fahrzeug in einer Speichereinheit hinterlegt sind. Es können aber auch andere Kommunikationsverbindungen im Zusammenhang mit der Erfindung genutzt werden, wie z.B. optische Verbindung oder Telefonverbindungen, diese eignen sich besonders dann falls lokal an einem bestimmten Ort UmgebungsInformation in Form von Bildinformation gezielt abgerufen werden soll.In a further advantageous manner of the invention, the further image information is transmitted to the vehicle via a suitable communication interface. For example, this may be a wireless communication link, such as a wireless communication link. a Bluetooth or WLAN connection by means of which the image information is transmitted to the vehicle. In this case, the communication connection can be continuous, so that the environment images are continuously updated. Also, the update may be performed at certain time intervals, e.g. during a stay in the workshop or in the garage, whereby the image information in the vehicle is stored in a storage unit. However, other communication links may also be used in connection with the invention, e.g. optical connection or telephone connections, these are particularly useful if local information in a specific location location information in the form of image information is to be selectively retrieved.
[0011] Bei der weiteren Bildinformation handelt es sich dabei vorzugsweise um Bildaufnahmen, welche mittels Satellit, Flugzeug oder stationär angeordneten Bildsensoren gewonnen werden. Die mittels Satellit oder Flugzeug gewonnen Bildinformationen oder Bildaufnahmen von der Erdoberfläche mit zugehörigem Höhenprofil werden beispielsweise bereits in Verbindung mit so genannten Geografischen Informationssystemen (GIS) eingesetzt. Auch sind im
Zusammenhang mit den weiteren Bildinformationen stationär angeordnete Biidsensoren möglich, derartige Sensoren werden z.B. im Bereich von Verkehrskreuzungen oder Tunneln bereits eingesetzt. Bei der Bestimmung der stationären Fahrzeugumgebung ist die stationär gewonnene Bildinformation gegenüber einer rein fahrzeugbezogenen Bildaufnahme in den allermeisten Fällen genauer. Auch sind die mittels einer stationär angeordneten Bilderfassungseinheit gewonnenen Bildinformationen in der Regel aktueller als im Fahrzeug hinterlegte Karteninformationen.In the further image information is preferably image recordings, which are obtained by satellite, aircraft or stationary image sensors. The image information or image recordings of the earth's surface with associated height profile obtained by means of satellite or aircraft are already being used, for example, in conjunction with so-called Geographic Information Systems (GIS). Also are in the Connection with the further image information stationarily arranged biosensors possible, such sensors are already used for example in the field of traffic intersections or tunnels. In determining the stationary vehicle environment, the stationary image information obtained is in most cases more accurate than purely vehicle-related image acquisition. Also, the image information obtained by means of a stationary image acquisition unit is usually more current than stored in the vehicle map information.
[0012] Im Zusammenhang mit der Erfindung ist es von großem Vorteil, falls die weitere Bildinformation mit hoher Genauigkeit registriert ist. Die Luftbildaufnahmen müssen dabei mit hoher Genauigkeit registriert sein, was bei Satellitenbildern bereits üblich ist. Falls die Bildaufnahmen nicht genau genug registriert sind, besteht z.B. die Gefahr dass Fehler in der Position des Straßenverlaufs aufgrund eines nicht genau genug erfassten Höhenprofils entstehen. Auch müssen stationär angeordnete Bildsensoren entsprechend kalibriert sein, damit eine Verlässlichkeit der erfassten Umgebungsinformation gewährleistet werden kann. Weiterhin ist es daher vorteilhaft, falls die fahrzeugbezogenen Bildaufnahmen und/oder die weitere Bildinformation im Fahrzeug korrigiert werden. Dadurch können etwaige Ungenauigkeiten bei der Bilderfassung anschließend im Fahrzeug mittels geeigneter Algorithmen ausgeglichen werden. Hierzu wird bei einer besonders bevorzugten Ausgestaltung der Erfindung im Rahmen der Korrektur eine Objekterkennung durchgeführt. Aufgrund der Objekterkennung können dabei Abweichungen anhand von Merkmalen die in den fahrzeugbezogenen Bildaufnahmen und in den weiteren Bildaufnahmen enthalten sind bzw. anhand deren Positionen auf einfache und zuverlässige Weise bestimmt werden.
[0013] Auch kann es sich bei der weiteren Bildinformation um Bildinformation aus fahrzeugexternen Datenbanken und/oder dem Internet handeln. Der Zugriff auf das Internet ist bei heutigen Fahrzeugen bereits möglich, beispielsweise werden im Internet Software und Portale zum Abruf von Umgebungsinformation bereits angeboten, z.B. "Google Earth" . Auch sind in diesem Zusammenhang Bezahldienste möglich, die beispielsweise per Mobiltelefon abrufbar sind.In the context of the invention, it is of great advantage if the further image information is registered with high accuracy. The aerial photography must be registered with high accuracy, which is already common in satellite images. If the image recordings are not registered with enough accuracy, for example, there is a risk that errors in the position of the road will occur due to a not accurately recorded height profile. Also stationary image sensors must be calibrated accordingly, so that a reliability of the detected environmental information can be guaranteed. Furthermore, it is therefore advantageous if the vehicle-related image recordings and / or the further image information in the vehicle are corrected. As a result, any inaccuracies in the image acquisition can then be compensated in the vehicle by means of suitable algorithms. For this purpose, in a particularly preferred embodiment of the invention as part of the correction, an object detection is performed. Because of the object recognition, deviations can be determined based on features contained in the vehicle-related image recordings and in the further image recordings or on the basis of their positions in a simple and reliable manner. Also, the further image information may be image information from external databases and / or the Internet. Access to the Internet is already possible with today's vehicles, for example, software and portals for retrieving environmental information are already available on the Internet, eg "Google Earth". Also in this context payment services are possible, which are available, for example, by mobile phone.
[0014] Die weitere Bildinformation zu einer einzigen Umgebungsszene kann in vorteilhafter Weise auch aus wenigstens zwei unabhängigen Bildquellen stammen, um damit die Zuverlässigkeit der weiteren Bildinformation zu bestimmen. Durch die Erfassung der weiteren Bildinformation mittels zweier unabhängiger Bildquellen ist es möglich, dass das Erkennungsverfahren der Umgebungserfassung selbständig feststellt, ob die damit erfasste Bildinformation konsistent und korrekt ist. Beispielsweise stimmt die Bildaufnahme einer Kamera nach einer baulichen Veränderung einer Straße nicht mit einer mittels Satellit zuvor erfassten Bildinformation überein. Ein Fehler bei der fahrzeugbezogenen Bilderfassung lässt sich nicht mit der Satellitenaufnahme in Deckung bringen, wohingegen Bildinformationen zweier unabhängiger Bildquellen für die weitere Bildinformation in Deckung gebracht werden können, falls diese konsistent und damit korrekt sind. Andernfalls würde eine Abweichung auf eine fehlerhafte Erfassung der Umgebungsinformation hinweisen.The further image information to a single environment scene can also come from at least two independent image sources in an advantageous manner, so as to determine the reliability of the further image information. By capturing the further image information by means of two independent image sources, it is possible for the detection method of the environmental detection to determine independently whether the image information acquired with it is consistent and correct. For example, the image acquisition of a camera after a structural change of a street does not coincide with an image information previously acquired by means of satellite. An error in vehicle-related image capture can not be reconciled with the satellite image, whereas image information from two independent image sources can be matched for further image information if consistent and thus correct. Otherwise, a deviation would indicate an erroneous detection of the environmental information.
[0015] Verwendung des Verfahrens zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis 11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der absoluten
Fahrzeugposition. Durch den Einsatz der Erfindung wird es sogar möglich, die genaue Fahrzeugposition in einem vorgegebenen Koordinatensystem genau zu bestimmen. Beispielsweise lässt sich mit gängigen GPS-Systemen ohne Referenzsignal nur eine Genauigkeit im Bereich von mehreren Metern bei der Positionsbestimmung erzielen. Durch die Auswertung von fahrzeugbezogenen Bildaufnahmen in Verbindung mit der weiteren Bildinformation von Luftbildaufnahmen bzw. ortsfest angeordneten Bildsensoren wird demgegenüber eine Genauigkeit im Bereich von wenigen Zentimetern möglich. Neben der höheren Genauigkeit bietet ein Einsatz der Erfindung den Vorteil, dass die damit durchführbare Umgebungserfassung überall weltweit einsetzbar ist. Demgegenüber stehen beispielsweise GPS-Daten nur in bestimmten Bereichen und teilweise nur mit eingeschränkter Auflösung zur Verfügung.Use of the method for aerial image-based environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for aerial image-based environmental detection in motor vehicles according to claim 12 for the exact determination of the absolute Vehicle position. By using the invention, it is even possible to accurately determine the exact vehicle position in a given coordinate system. For example, can be achieved with current GPS systems without reference signal only an accuracy in the range of several meters in the position determination. On the other hand, an accuracy in the range of a few centimeters becomes possible by evaluating vehicle-related image recordings in conjunction with the further image information of aerial image recordings or image sensors arranged in a stationary manner. In addition to the higher accuracy offers an application of the invention has the advantage that the feasible environment detection is used anywhere in the world. By contrast, for example, GPS data are available only in certain areas and sometimes only with limited resolution.
[0016] Verwendung des Verfahrens zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis 11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der Relativposition zwischen Fahrzeugen. Falls zwei oder mehr Kraftfahrzeuge mit der erfindungsgemäßen Vorrichtung und dem erfindungsgemäßen Verfahren ausgestattet sind und diese jeweils fahrzeugbezogene Bildaufnahmen sowie weitere Bildinformation aus Luftbildaufnahmen bzw. eines stationär angeordneten Bildsensors erfassen und verarbeiten, besteht durch eine gemeinsame Auswertung dieser Bildaufnahmen bzw. Bildinformation damit die Möglichkeit die Relativposition zwischen diesen Kraftfahrzeugen exakt zu bestimmen. Beispielsweise bestimmen zwei sich begegnende Kraftfahrzeuge anhand der gemeinsamen Bildinformation ihre relative Position zueinander. Darüber hinaus besteht z.B. auch die Möglichkeit, dass neben der relativen Position zwischen den Fahrzeugen für
jedes Fahrzeug anhand der gemeinsamen Bildinformation dessen Abstand zum Fahrspurrand bestimmt wird.
Use of the method for aerial image-based environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for aerial image-based environmental detection in motor vehicles according to claim 12 for the exact determination of the relative position between vehicles. If two or more motor vehicles are equipped with the device according to the invention and the method according to the invention and they each capture and process vehicle-related image recordings and further image information from aerial photographs or a stationary image sensor, the possibility of the relative position exists through a joint evaluation of these image recordings or image information to determine exactly between these vehicles. For example, two motor vehicles that meet each other determine their relative position to each other on the basis of the common image information. In addition, there is also the possibility that, in addition to the relative position between the vehicles for Each vehicle is determined based on the common image information whose distance from the lane edge.
Claims
1. Verfahren zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen, wobei fahrzeugbezogene Bildaufnahmen, welche die1. A method for aerial image-based environmental detection in motor vehicles, wherein vehicle-related image recordings, which
Fahrzeugumgebung beinhalten, mittels wenigstens einesContain vehicle environment, by means of at least one
Fahrzeugsensors erfasst werden, wobei im Rahmen der Umgebungserfassung weitereVehicle sensor are detected, wherein in the context of environment detection more
Bildinformation aus Luftbildaufnahmen und/oderImage information from aerial photographs and / or
Bildaufnahmen wenigstens eines stationär angeordnetenImage taken at least one stationary
Bildsensors herangezogen werden und wobei die fahrzeugbezogenen Bildaufnahmen durch die weitere Bildinformation ergänzt werden.Image sensor are used and wherein the vehicle-related image recordings are supplemented by the further image information.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass es sich bei einer Ergänzung von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation um eine Bildfusion handelt .2. The method according to claim 1, characterized in that it is an addition of vehicle-related image recordings and the further image information is an image fusion.
3. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei einer Ergänzung von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation um eine Überlagerung von Bildern oder Bildinformationen handelt 3. The method according to any one of the preceding claims, characterized in that it is a supplementation of vehicle-related image recordings and the further image information is a superposition of images or image information
4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass zur Ergänzung von fahrzeugbezogenen Bildaufnahmen mit der weiteren Bildinformation einzelne Bildaufnahmen zusammengesetzt werden.4. The method according to any one of the preceding claims, characterized in that are combined to supplement vehicle-related image recordings with the further image information individual image recordings.
5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die weitere Bildinformation über eine geeignete Kommunikationsschnittstelle an das Fahrzeug übertragen wird.5. The method according to any one of the preceding claims, characterized in that the further image information is transmitted via a suitable communication interface to the vehicle.
6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei der weiteren Bildinformation um Bildaufnahmen handelt, welche mittels Satellit, Flugzeug oder stationär angeordneten Bildsensoren gewonnen werden.6. The method according to any one of the preceding claims, characterized in that the further image information is image recordings, which are obtained by means of satellite, aircraft or stationary image sensors.
7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die weitere Bildinformation mit hoher Genauigkeit registriert ist.7. The method according to any one of the preceding claims, characterized in that the further image information is registered with high accuracy.
8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die fahrzeugbezogenen Bildaufnahmen und/oder die weitere Bildinformation im Fahrzeug korrigiert werden.8. The method according to any one of the preceding claims, characterized in that the vehicle-related image recordings and / or the further image information are corrected in the vehicle.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass im Rahmen der Korrektur eine Objekterkennung durchgeführt wird. 9. The method according to claim 8, characterized in that in the context of the correction, an object detection is performed.
10. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei der weiteren Bildinformation um Bildinformation aus fahrzeugexternen Datenbanken und/oder dem Internet handelt.10. The method according to any one of the preceding claims, characterized in that it is in the further image information to image information from external databases and / or the Internet.
11. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die weitere Bildinformation zu einer einzigen Umgebungsszene aus wenigstens zwei unabhängigen Bildquellen stammt, um damit die Zuverlässigkeit der weiteren Bildinformation zu bestimmen.11. The method according to any one of the preceding claims, characterized in that the further image information comes from a single environment scene from at least two independent image sources in order to determine the reliability of the further image information.
12. Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen, wobei wenigstens ein Fahrzeugsensor fahrzeugbezogene12. A device for aerial image-based environmental detection in motor vehicles, wherein at least one vehicle sensor vehicle-related
Bildaufnahmen, welche die Fahrzeugumgebung beinhalten, erfasst , wobei ein geeignetes Kommunikationsmittel vorhanden ist, um im Rahmen der Umgebungserfassung weitereImage captures, which include the vehicle environment, detected, with a suitable means of communication is present in the context of the environment detection more
Bildinformation aus Luftbildaufnahmen und/oderImage information from aerial photographs and / or
Bildaufnahmen wenigstens eines stationär angeordnetenImage taken at least one stationary
Bildsensors heranzuziehen und wobei eine Rechnereinheit die fahrzeugbezogenenUsing an image sensor and wherein a computer unit, the vehicle-related
Bildaufnahmen durch die weitere Bildinformation ergänzt.Images added by the additional image information.
13. Verwendung des Verfahrens zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis 11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der13. Use of the method for aerial image-based environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for aerial image-based environmental detection in motor vehicles according to claim 12 for the exact determination of
Fahrzeugposition . Vehicle position.
14. Verwendung des Verfahrens zur luftbildgestützten14. Use of the method for aerial photography
Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis 11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der Relativposition zwischen Fahrzeugen. Environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for aerial image-based environmental detection in motor vehicles according to claim 12 for the exact determination of the relative position between vehicles.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006049707.4 | 2006-10-18 | ||
| DE102006049707 | 2006-10-18 | ||
| DE102006051539.0 | 2006-10-27 | ||
| DE102006051539A DE102006051539A1 (en) | 2006-10-18 | 2006-10-27 | Method and device for aerial image-based environmental detection in motor vehicles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2008046458A1 true WO2008046458A1 (en) | 2008-04-24 |
Family
ID=38169251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2007/002582 WO2008046458A1 (en) | 2006-10-18 | 2007-03-23 | Method and device for capturing the surroundings in motor vehicles with the aid of aerial images |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102006051539A1 (en) |
| WO (1) | WO2008046458A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117723029A (en) * | 2024-02-07 | 2024-03-19 | 昆明理工大学 | Data acquisition and modeling method and system suitable for wide area surface mine |
| CN117723029B (en) * | 2024-02-07 | 2024-04-26 | 昆明理工大学 | Data acquisition and modeling method and system suitable for wide area surface mine |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009045496B4 (en) | 2009-10-08 | 2023-11-09 | Robert Bosch Gmbh | Method and control device for using image information from an image provision device external to the vehicle |
| DE102012024873A1 (en) * | 2012-12-19 | 2014-06-26 | Audi Ag | Method and control device for providing a road ahead |
| DE102016012884A1 (en) | 2016-10-28 | 2017-05-04 | Daimler Ag | Environment sensing arrangement |
| DE102017001364A1 (en) | 2017-02-14 | 2017-10-19 | Daimler Ag | Method for environment detection and visualization |
| DE102022004338B3 (en) | 2022-11-21 | 2023-12-28 | Mercedes-Benz Group AG | Method for determining a road condition |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6133947A (en) * | 1995-11-15 | 2000-10-17 | Casio Computer Co., Ltd. | Image processing system capable of displaying photographed image in combination with relevant map image |
| DE102004048347A1 (en) * | 2004-10-01 | 2006-04-20 | Daimlerchrysler Ag | Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display |
| US20060164412A1 (en) * | 2005-01-26 | 2006-07-27 | Cedric Dupont | 3D navigation system for motor vehicles |
-
2006
- 2006-10-27 DE DE102006051539A patent/DE102006051539A1/en not_active Withdrawn
-
2007
- 2007-03-23 WO PCT/EP2007/002582 patent/WO2008046458A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6133947A (en) * | 1995-11-15 | 2000-10-17 | Casio Computer Co., Ltd. | Image processing system capable of displaying photographed image in combination with relevant map image |
| DE102004048347A1 (en) * | 2004-10-01 | 2006-04-20 | Daimlerchrysler Ag | Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display |
| US20060164412A1 (en) * | 2005-01-26 | 2006-07-27 | Cedric Dupont | 3D navigation system for motor vehicles |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117723029A (en) * | 2024-02-07 | 2024-03-19 | 昆明理工大学 | Data acquisition and modeling method and system suitable for wide area surface mine |
| CN117723029B (en) * | 2024-02-07 | 2024-04-26 | 昆明理工大学 | Data acquisition and modeling method and system suitable for wide area surface mine |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102006051539A1 (en) | 2008-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2579601B1 (en) | Method and device for determining a calibration parameter of a stereo camera | |
| EP2769373B1 (en) | Acquisition of data from image data-based map services by an assistance system | |
| DE102019112002A1 (en) | SYSTEMS AND METHOD FOR THE AUTOMATIC DETECTION OF PENDING FEATURES | |
| DE102004010197B4 (en) | Method for checking the function of a position-finding or environment detection device of a vehicle or for controlling a digital map | |
| EP3292423B1 (en) | Diagnostic method for a vision sensor of a vehicle and vehicle having a vision sensor | |
| EP1673589B1 (en) | Method and device for determining the actual position of a geodetic instrument | |
| WO2020216559A1 (en) | Method for detecting a functionality of an environment sensor, control device and vehicle | |
| WO2017215964A1 (en) | Method and apparatus for producing an optimised localisation map, and method for producing a localisation map for a vehicle | |
| DE112018004529T5 (en) | POSITION ESTIMATING DEVICE AND POSITION ESTIMATING METHOD OF A MOBILE UNIT | |
| DE112016000689T5 (en) | Kameraparametereinstellvorrichtung | |
| WO2008046458A1 (en) | Method and device for capturing the surroundings in motor vehicles with the aid of aerial images | |
| DE102017118078A1 (en) | Localization device for a motor vehicle, driver assistance device, motor vehicle and method for locating a motor vehicle | |
| DE102010064480B3 (en) | Device for automated detection of objects by means of a moving vehicle | |
| DE102016106978A1 (en) | Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle | |
| DE102006044615A1 (en) | Image capturing device calibrating method for vehicle, involves locating objects in vehicle surrounding based on image information detected by image capturing device, and evaluating geometrical relations of objects | |
| CN114841188A (en) | Vehicle fusion positioning method and device based on two-dimensional code | |
| DE102019216548A1 (en) | Method and mobile detection device for the detection of infrastructure elements of an underground line network | |
| DE102021204363A1 (en) | Method for calibrating a sensor using a means of transportation | |
| EP3739511A1 (en) | Method for embedding local sensor data in a map | |
| CN113378719B (en) | Lane line identification method, lane line identification device, computer equipment and storage medium | |
| DE102018211326A1 (en) | Method and device for determining a position of a vehicle | |
| EP3649520B1 (en) | Method for locating a more highly automated vehicle, and corresponding driver assistance system and computer program | |
| EP2630632A1 (en) | Determination of the base width of a stereo image capture system | |
| DE102019213776A1 (en) | Method for calibrating sensors and detecting decalibration | |
| DE102011111856B4 (en) | Method and device for detecting at least one lane in a vehicle environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 07723532 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 07723532 Country of ref document: EP Kind code of ref document: A1 |