WO2016150440A1 - Vorrichtung zum automatischen erfassen eines zustands eines objekts, auswertevorrichtung zum automatischen bestimmen eines vorbestimmten zustands eines objekts und verfahren zum automatischen bestimmen eines vorbestimmten zustands eines objekts - Google Patents

Vorrichtung zum automatischen erfassen eines zustands eines objekts, auswertevorrichtung zum automatischen bestimmen eines vorbestimmten zustands eines objekts und verfahren zum automatischen bestimmen eines vorbestimmten zustands eines objekts Download PDF

Info

Publication number
WO2016150440A1
WO2016150440A1 PCT/DE2016/200127 DE2016200127W WO2016150440A1 WO 2016150440 A1 WO2016150440 A1 WO 2016150440A1 DE 2016200127 W DE2016200127 W DE 2016200127W WO 2016150440 A1 WO2016150440 A1 WO 2016150440A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
information
classified
detected
image data
Prior art date
Application number
PCT/DE2016/200127
Other languages
English (en)
French (fr)
Inventor
Tobias Huber
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to DE112016000252.1T priority Critical patent/DE112016000252A5/de
Publication of WO2016150440A1 publication Critical patent/WO2016150440A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • Apparatus for automatically detecting a condition of an object an evaluation apparatus for automatically determining a predetermined condition of an object, and methods for automatically determining a predetermined condition of an object.
  • the present invention relates to a device for automatically detecting a predetermined condition of an object, an evaluation device for automatically determining a predetermined state of an object so as ⁇ a method for automatically determining a predetermined state of an object.
  • the present invention relates to an automatic detection of predetermined conditions, such as contamination or damage to objects, in particular traffic signs.
  • the present invention provides a detecting device for automatically detecting a state of an object according to a first ⁇ As pect.
  • the detection device comprises a camera, a detection device, a classification device and a transmission device.
  • the camera is designed to capture image data.
  • the detection device is designed to detect an object in the acquired image data.
  • the classifying device is configured to classify the state of the object detected in the acquired image data.
  • the transmitting device is adapted to transmit Informa ⁇ functions on the classified condition of the detected object with a position indication of the detektier ⁇ th object to a receiving device.
  • the present invention provides a ⁇ evaluation device for automatically determining a predetermined condition of an object.
  • the evaluation device comprises a receiving device and an analysis device.
  • the receiving device is configured to receive information about a classified state of an object together with a position indication of the object.
  • the analyzer is to designed basie ⁇ rend on the received information on the classified state of the object to detect a predetermined state of the object.
  • the present ⁇ invention provides a method for the automatic determination of a predetermined condition of an object.
  • the method includes the steps of capturing image data by a camera in a vehicle; detecting an object in the captured image data; classifying the detected object to ⁇ stands of; and transmitting information about the classified state of the detected object together with a position indication of the detected object from the vehicle to a central evaluation device; and recognizing a predetermined state of an object using the classified state information of the object transmitted from the vehicle to the central evaluation device.
  • the present invention is based on the idea Whether ⁇ projects such as road signs while driving a vehicle continuously automatically check and to evaluate the condition of the objects. In this way, a comprehensive monitoring of the state of the objects is possible by means of a large number of vehicles. Since the vehicles are moving along the traffic routes anyway, with a sufficiently large number of vehicles, a very good, nationwide monitoring of all traffic signs can be achieved.
  • the transmitting device of the detecting device for automatically detecting a state of an object additionally transmits further metadata together with the information about the classified state of the detected object to the receiving device.
  • the additional transmission of further metadata can additionally improve the evaluation and the detection of undesired properties of an object to be monitored.
  • the metadata thereby such as comprising at least the captured image data itself, a time ⁇ stamp with the time and / or date, a speed and a direction of motion during the automatic detection of the object and / or ambient conditions during the automatic detection, a Tempe ⁇ temperature, an indication of the brightness during Erfas ⁇ sen, information about any existing precipitation and an intensity of the current rainfall and further information on visibility conditions such as fog, etc.
  • the evaluation of such additional information in the metadata can in the evaluation of the classification of a detected object, a possible interference by external boundary conditions are quickly detected. Thus, the probability of a false alarm can be reduced.
  • the detection device comprises a data collection device.
  • Such data collection device may be adapted to receive additional information, such as the metadata described above and / or other information from additional sensors, and this as a further Informatio ⁇ nen as to provide, for example, as the additional metadata for further processing.
  • additional information such as the metadata described above and / or other information from additional sensors
  • the data collection device can also receive the position information or the speed and / or direction of travel of a vehicle from a driver assistance system or a navigation system and make it available for further processing.
  • the receiving device of the evaluation device receives a plurality of information about a state of an object to be classified from a plurality of different transmission devices.
  • the analysis device is adapted to detect a predetermined state of an object ba ⁇ sierend on the plurality of received information.
  • the analysis device of the evaluation device is designed to detect a predetermined state of an object using further metadata.
  • the further metadata may in particular be the metadata already described above.
  • the analysis device of the evaluation device determines at least one environmental condition of the object based on the metadata.
  • This environmental condition may be, for example, current weather conditions or the like.
  • the current weather conditions can be determined, for example, with knowledge of the position and the ak ⁇ tual date and the current time from an external source or an internal database. Based on this, the visibility can be found in the special ⁇ possible impairments that make it possible to eliminate possible false alarms.
  • the method includes a step of He ⁇ grasp of other metadata in the vehicle, wherein the step of transmitting information about the classified condition of the object on the captured Metada ⁇ th of the vehicle transmits to a central evaluation device.
  • the step of recognizing a predetermined state of an object is performed using a plurality of previously transmitted information about the classified state of the object.
  • the plurality of information about the classified stand of the object provided by a plurality of different motor vehicles.
  • Figure 3 is a schematic representation of a Erfas ⁇ sungsvorraum for automatically detecting a state of an object according to an embodiment; a schematic representation of a Auswer tevoroplasty for automatically determining a predetermined state according to an embodiment; and
  • FIG. 5 shows a schematic representation of a flow diagram, as shown in a method for automatic determining a state of an object is based.
  • FIG. 1 shows a schematic representation of a periodic Ver ⁇ character in a first state.
  • the traffic sign shown is usually well perceived without any restrictions.
  • the traffic sign has neither damage nor contamination. Therefore, the traffic sign in this state can be classified as "OK".
  • FIG. 2 shows the traffic sign from FIG. 1 in another state.
  • the hatching in FIG. 2 can represent soiling, for example.
  • contamination can be caused, for example, by fluidized dust or other dirt.
  • a traffic sign can not be correctly perceived neither by an automatic system, such as a driver assistance system, nor by a user. Therefore, a traffic sign can be "wrong" is classified as shown in FIG. 2 In this case, for example, cleaning or gegebe ⁇ applicable, also a repair of the road sign is erfor ⁇ sary so that the traffic signal can then be perceived by a user correctly again and can also be correctly identified by an automatic system.
  • the traffic sign shown in FIGS. 1 and 2 is a relatively simple traffic signal. character.
  • the present invention is not limited to such simple traffic signs. Rather, the present invention can be applied to almost any type of objects.
  • the present invention can be applied to any type of traffic sign, such as static, non-illuminated traffic signs, be ⁇ illuminated traffic signs, dynamic traffic signs, traffic signs that indicate different information by different lighting, and in particular for traffic lights such as traffic lights or the like.
  • Figure 3 shows a schematic representation of a Erfas ⁇ sungsvorraum 1 for automatically detecting a state of an object 3.
  • the detection device 1 for automatically detecting a state of an object 3 is arranged in this embodiment in a motor vehicle 2.
  • the detecting device 1 for automatically detecting a state of an object 3 in this case comprises egg ⁇ ne camera 10, a detection device 11, a classification ⁇ fiz istsvorraum 12, and a transmitting device 13.
  • the device 1 for automatically detecting a state of an object 3 can also be a Spei ⁇ cher 15, and possibly also comprise other components.
  • the camera 10 of the apparatus 1 for automatically detecting a state of an object 3 may be, for example, be an existing already in a motor vehicle 2 camera that is in connection with a driving support system of the motor vehicle 2 already ⁇ is. Thus, in particular for the camera 10 already existing resources are used.
  • the camera 10 of the apparatus 1 for automatically detecting a state of an object 3 can look before ⁇ preferably in the direction of travel of the motor vehicle 2. In this case, the camera 10, for example, continuously detect Sparda ⁇ th.
  • the image data can either be acquired at a predetermined fixed image data rate or, alternatively, the image data rate can also be adapted as a function of the speed of the motor vehicle 2. In principle, however, it is also sufficient for the subsequent processing to capture a single image by the camera 10.
  • the image data of the captured image is forwarded by the camera 10 to the detection device 11.
  • the detection device 11 first detects an object, in particular the object 3, in the image data acquired by the camera 10.
  • the detection device 10 can store the image data from the camera 10 in a database (not shown here) deposited objects, in particular of traffic signs, compare. If a match is found with objects stored in such a database, then the corresponding object can be detected in the image data.
  • a database not shown here
  • other methods and other algorithms for obj ektdetetation and for the detection of traffic signs are possible.
  • the classification device Device 12 determines a quality based on the image data provided by the camera 10 and the further information provided by the detection device 11.
  • This finish can for example be a likely ⁇ ness at which the detected in the image data object is actually a predetermined object. About ⁇ this probability increases a predetermined value, the condition can this object as "OK" are classified ⁇ sified. Otherwise, the condition of the Ob ⁇ jekts is "out of order" is classified as. But ei ⁇ ne classification of the state of the object in more than two stages is also possible. Other criteria for classifying the state of the object are also possible.
  • the determination of the Posi ⁇ tion at which the object 3 is, can be carried out at ⁇ play, with a position determining device fourteenth For example, it may be in this posi ⁇ tion intended device 14 by a GPS receiver.
  • the current position can be at the He ⁇ capture device 1 transmitted to the automatic detection of a condition also provided by a Navigati ⁇ ons réelle of the motor vehicle.
  • the classification of this object can ge ⁇ jointly with the position of the object 3 are first stored in a memory 15. In this way, it is possible to classify a plurality of objects successively, and to keep them locally this classification together with the position of the objects and, optionally, further Informati ⁇ ones.
  • the transmission device 13 may be a wireless transmission device that transmits information to a receiver via a radio link.
  • a wireless transmission may, for example, be a mobile radio connection (GSM, UMTS, LTE or the like).
  • GSM mobile radio connection
  • UMTS mobile radio connection
  • WLAN wireless network connection
  • Bluetooth Bluetooth connection
  • NFC NFC connection
  • data transmission by means of infrared light or further wireless transmission are possible.
  • the information about the classification of the objects and their position information can also be stored in a removable memory, such as a USB stick, or another removable memory card.
  • the removable memory can be removed after completion of the drive of the motor vehicle 2 and ma ⁇ nually be plugged for further processing at a corresponding reader.
  • the detecting device 1 for automatically detecting a state of an object 3 can detect the next classifi ⁇ cation of an object 3 and the associated Positi ⁇ onschal also additionally comprise further data, called metadata and link these data to each other. These additional metadata may be, to which detects an object 3 and classi ⁇ has been fied, for example, the current date or the current clock time ⁇ . Furthermore, the movement ⁇ direction of the detection device 1 for automatically detecting a state, ie the direction of travel of the
  • the motor vehicle 2, and the speed and, where appropriate, ⁇ are also determined, the lane of the motor vehicle 2 and connected to the classification of the object. Furthermore, current environmental conditions, such as temperature, humidity, precipitation intensity or snowfall, as well as information on the Hellig ⁇ speed or more information on visibility conditions, such as fog or the like can be detected by additional sensors and linked to the classification of the object 3. Further, it is also possible that the image data provided by the camera 10 are themselves linked as additional information with the classification of the object 3 and stored together and discharged via ⁇ .
  • a central evaluation device 4 for automatic ⁇ rule determining a predetermined state of an object 3 is shown for example in FIG. 4
  • the central evaluation device 4 includes a case Emp ⁇ catching device 40, and an analysis device 42. Further, the evaluation unit 4 can also comprise one or more memory 41, and a display device 43rd Other components, such as a entranc ⁇ before direction for manual user input or the like are also possible beyond.
  • the receiving device 40 receives from one or more detection devices 1 for automatically detecting a state of an object 3 information about a klassifi ⁇ ed state of an object 3.
  • the receiving device 40 receives at least the position information of the object 3, as well as possibly also other metadata already described above.
  • the transmitting apparatus 13 of the apparatus for automatically detecting a state of an object 3 and the processing can be Empfangsvorrich ⁇ 40 of the evaluation device 4 connected to each other via a wireless or wired connection previously described thereby.
  • a wireless connection or the manual transmission of a removable memory while the information about the states of several classified objects 3 are first collected in the mobile detection devices 1 for automatic detection and then bundled transmitted to the central Ausretevor ⁇ direction 4.
  • Even in the case of a wireless transmission such a bundled transmission of several classifications for a plurality of objects 3 can take place.
  • a transmission in real time is possible. In this case, immediately after the detection and classification of an object 3, this classification, together with the further information, can be transmitted to the evaluation device 4 without the need for intermediate storage.
  • the evaluation device 4 and in particular the integrated therein analyzer 42 determines based on the received information a predetermined state of an object 3.
  • a predetermined level too ⁇ may also contain, in particular, information showing whether the object 3, such as a United ⁇ traffic sign, is still in order, that is, the traffic sign by a user or an automatic driver assistance system is still sufficiently well recognizable.
  • the analysis device 42 can first of the Detecting device 1 for automatically detecting a condition provided classification evaluate. Ge ⁇ jointly with the position data of the object 3 can be carried out an unambiguous assignment of the object.
  • 3 Said Koen ⁇ NEN be, for example, a plurality of different detection devices 1 provided for automatically sensing a condition associated classifications based on the same position information with each other and compared.
  • the false alarm rate can be further reduced.
  • the image data acquired by the camera 10 can also be transmitted to the central evaluation device 4.
  • the image data can be displayed to a user so that the user can then manually check again whether the automatic CLASSIFICA ⁇ tion was indeed correct.
  • false alarms due to unfavorable environmental conditions can be minimized by the additional metadata. For example, information about possible rainfall or snowfall, and Beeintrumble ⁇ adjustments of vision can already be recorded due to fog or the like during the classification in the classification device 12 and transmitted as metadata with the classifi cation ⁇ together. In this case classifications under poor conditions may be given less importance.
  • the analysis device 42 can only classify an object 3 to be faulty if a greater number under unfavorable environmental conditions (first threshold) of classifications is present, whereas, under favorable environmental conditions, a smaller number already (second threshold) of classification for a Signalisie ⁇ tion sufficient ,
  • the analysis device 42 can also additionally provide external information about possible impairments Include in the analysis process.
  • the analysis device 42 can additionally receive a time stamp with date or time as metadata and subsequently read the environmental conditions, such as weather or the like, based on this time stamp from an internal or external database and include it in the analysis process. In this way, can already be reliably eliminated false alarms due to poor environmental conditions already by a small amount of data transferred ⁇ such as classification along with timestamps.
  • the classifications of the objects 3 are initially collected in a memory 41 of the evaluation device 4.
  • the classification ⁇ fications of the objects 3 are preferably provided by a plurality of devices 1 for automatically detecting a state.
  • a plurality of devices 1 for automatically detecting a state can thereby be integrated one for automatically detecting a state in a variety of vehicles such Vorrich ⁇ obligations.
  • it may be an entire fleet of vehicles.
  • a municipality or a city for the maintenance of the Traffic Sign ⁇ chen responsible these community or city can provide part or all of their fleet vehicles with corresponding devices 1 for automatically detecting a condition. All these vehicles can thereby automatic ⁇ table collect during their daily use of the conditions of the road signs along the roadways and analyze and subsequently all transmitted together to a central evaluation device 4.
  • FIG. 5 shows a schematic illustration of a flow diagram ⁇ as it is based on a method for automatically determining a state of an object 3 in accordance with an off ⁇ guide die.
  • image data are first acquired by a camera 10 of a vehicle 2. Subsequently, in step S2, an object is detected in the acquired image data and then in
  • Step S3 the state of the detected object Klassifi ⁇ ed.
  • the information about the classified state of the detected object can then be transmitted together with a position specification of the detected object from the vehicle 2 to a central evaluation device 4.
  • step S5 a predetermined state of the object is detected using the information of the classified state of the object transmitted from the vehicle 2 to the central evaluation device 4.
  • the present invention relates to the automatic detection and evaluation of objects such as traffic signs, in particular by a vehicle fleet, and a subsequent central analysis of this classification.
  • objects such as traffic signs
  • a vehicle fleet a vehicle fleet
  • a subsequent central analysis of this classification e.g., the state of road signs ent ⁇ monitored for a traffic network and evaluated the ⁇ . Dirty and damaged traffic signs can be detected quickly.

Abstract

Die vorliegende Erfindung offenbart eine automatische Detektion und Bewertung von Objekten wie zum Beispiel Verkehrszeichen, insbesondere durch eine Fahrzeugflotte, sowie eine anschließende zentrale Analyse dieser Klassifizierung. Somit kann auf sehr einfache und kostengünstige Weise der Zustand von Verkehrszeichen entlang eines Verkehrsnetzes überwacht und ausgewertet wer-den. Verschmutzte und beschädigte Verkehrszeichen können rasch erkannt werden.

Description

Beschreibung
Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts.
Die vorliegende Erfindung betrifft eine Vorrichtung zum automatischen Erfassen eines vorbestimmten Zustandes eines Objekts, eine Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts so¬ wie ein Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts. Insbesondere betrifft die vorliegende Erfindung eine automatische Detektion von vorbestimmten Zuständen, wie zum Beispiel Verunreinigungen oder Beschädigungen von Objekten, insbesondere von Verkehrszeichen .
Stand der Technik
Für einen ordnungsgemäßen Ablauf des Straßenverkehrs sind im Verkehrsraum, insbesondere entlang von Kraftfahrstra¬ ßen, zahlreiche Verkehrszeichen angeordnet. Diese Ver¬ kehrszeichen müssen von allen Verkehrsteilnehmern entsprechend beachtet werden. Hierzu ist es erforderlich, dass die Verkehrszeichen durch alle Verkehrsteilnehmer auch stets gut wahrgenommen werden können.
Moderne Kraftfahrzeuge verfügen darüber hinaus in der Re¬ gel über Fahrassistenzsysteme (FAS bzw. Advanced Driver Assistance Systems, ADAS) , die den Führer eines Kraft- fahrzeugs unterstützen sollen. Hierzu müssen die Fahras¬ sistenzsysteme auch die Verkehrszeichen im Straßenverkehr erkennen und korrekt interpretieren können. Auf diese Weise kann das Fahrassistenzsystem beispielsweise Informationen über eine mögliche Geschwindigkeitsbegrenzung oder andere Gebote bzw. Verbote erhalten. Für das Erkennen der Verkehrszeichen durch ein Fahrassistenzsystem in einem Kraftfahrzeug muss das entsprechende Kraftfahrzeug über ein Bildaufzeichnungssystem, wie zum Beispiel eine Kamera, verfügen und anschließend die von diesem Bildauf¬ zeichnungssystem bereitgestellten Bilddaten mittels Objekterkennung detektieren. Hierzu ist es erforderlich, dass die Verkehrszeichen entlang den Straßen sich stets in einem ausreichend guten Zustand befinden, so dass die Verkehrszeichen einerseits von den Fahrassistenzsystemen korrekt interpretiert werden können und andererseits auch der Fahrer eines Fahrzeugs selbst die Verkehrszeichen stets schnell und ohne Schwierigkeiten wahrnehmen kann.
Aufgrund des ständig wachsenden Verkehrsnetzes und der großen Anzahl von Verkehrszeichen stellt daher die Instandhaltung und Überwachung aller Verkehrszeichen eine große Herausforderung dar. Eine manuelle Überprüfung und Überwachung aller Verkehrszeichen entlang eines ausgedehnten Verkehrsnetzes erfordert einen großen personellen Einsatz und ist daher mit hohen Kosten verbunden. Aufgrund der großen Bedeutung, die von ordnungsgemäßen, gut wahrnehmbaren Verkehrszeichen ausgeht, ist eine nur stichprobenartige Überprüfung von nur wenigen Verkehrs¬ zeichen nicht akzeptabel. Daher besteht ein Bedarf nach einer automatischen Zustandserfassung von Objekten, insbesondere von Verkehrszeichen. Insbesondere besteht ein Bedarf nach einer automatischen Erfassung bzw. Bestimmung von Zuständen von Objekten wie Verkehrszeichen, die kostengünstig und effizient durchgeführt werden kann.
Offenbarung der Erfindung
Die vorliegende Erfindung schafft gemäß einem ersten As¬ pekt eine Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts. Die Erfassungsvorrich¬ tung umfasst eine Kamera, eine Detektionsvorrichtung, eine Klassifizierungsvorrichtung und eine Sendevorrichtung. Die Kamera ist dazu ausgelegt, Bilddaten zu erfassen. Die Detektionsvorrichtung ist dazu ausgelegt, in den erfassten Bilddaten ein Objekt zu detektieren. Die Klassifizierungsvorrichtung ist dazu ausgelegt, den Zustand des in den erfassten Bilddaten detektierten Objekts zu klassifizieren. Die Sendevorrichtung ist dazu ausgelegt, Informa¬ tionen über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektier¬ ten Objekts an eine Empfangsvorrichtung zu übertragen.
Gemäß einem weiteren Aspekt schafft die vorliegende Er¬ findung eine Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts. Die Auswertevorrichtung umfasst eine Empfangsvorrichtung und eine Analysevorrichtung. Die Empfangsvorrichtung ist dazu ausgelegt, Informationen über einen klassifizierten Zustand eines Objekts zusammen mit einer Positionsangabe des Objekts zu empfangen. Die Analysevorrichtung ist dazu ausgelegt, einen vorbestimmten Zustand des Objekts basie¬ rend auf der empfangenen Information über den klassifizierten Zustand des Objekts zu erkennen.
Gemäß einem weiteren Aspekt schafft die vorliegende Er¬ findung ein Verfahren zur automatischen Bestimmung eines vorbestimmten Zustands eines Objekts. Das Verfahren um- fasst die Schritte des Erfassens von Bilddaten durch eine Kamera in einem Fahrzeug; des Detektierens eines Objekts in den erfassten Bilddaten; des Klassifizierens des Zu¬ stands des detektierten Objekts; und des Übertragens von Informationen über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts von dem Fahrzeug an eine zentrale Auswertevorrichtung; und des Erkennens eines vorbestimmten Zustands eines Objekts unter Verwendung der von dem Fahrzeug an die zentrale Auswertevorrichtung übertragenen Informationen des klassifizierten Zustands des Objekts.
Der vorliegenden Erfindung liegt die Idee zugrunde, Ob¬ jekte, wie zum Beispiel Verkehrszeichen, während der Fahrt mit einem Fahrzeug kontinuierlich automatisch zu überprüfen und dabei den Zustand der Objekte zu bewerten. Auf diese Weise ist mittels einer Vielzahl von Fahrzeugen eine flächendeckende Überwachung des Zustands der Objekte möglich. Da sich die Fahrzeuge ohnehin entlang der Verkehrswege bewegen, kann bei einer ausreichend großen Anzahl von Fahrzeugen eine sehr gute, flächendeckende Überwachung aller Verkehrszeichen erreicht werden.
Aufgrund der Tatsache, dass moderne Fahrzeuge ohnehin über Fahrassistenzsysteme verfügen, die mittels bildge- bender Sensorik, wie zum Beispiel einer Kamera, Objekte, insbesondere Verkehrszeichen, detektieren und auswerten, kann das erfindungsgemäßen Erfassen und Klassifizieren der Verkehrszeichen mit einem nur verschwindend geringen zusätzlichen Aufwand realisiert werden. Dies ermöglicht eine besonders kostengünstige und somit effiziente Über¬ wachung der Verkehrszeichen. Auch die Bestimmung der aktuellen Position des Fahrzeugs, an der ein Verkehrszei¬ chen gerade erfasst und klassifiziert worden ist, kann mittels bereits vorhandener Sensorik in einem Kraftfahrzeug, beispielsweise mittels eines Navigationssystems, erfolgen. So können zum Beispiel die GPS-Koordinaten des Navigationssystems herangezogen werden, um die Position eines klassifizierten Objekts zu bestimmen.
Auf diese Weise kann eine Vielzahl von Informationen gesammelt werden, die anschließend in einer zentralen Aus¬ wertevorrichtung mit einfachen Mitteln gespeichert und ausgewertet werden kann. Insbesondere ist dabei eine Da¬ tenanalyse der Informationen über die klassifizierten Zustände eines Verkehrszeichens möglich, wodurch schnell und einfach ein unerwünschter Zustand eines Objekts erkannt werden kann. Bei einem solchen unerwünschten Zustand kann es sich beispielsweise um eine starke Ver¬ schmutzung, eine Beschädigung oder ähnliches handeln. Durch die Verwendung von Informationen von mehreren Fahrzeugen, die eine erfindungsgemäße Klassifizierung der Zu¬ stände der Verkehrszeichen ausführen, können dabei eine mögliche Störung aufgrund einer Fehlfunktion in einem einzelnen Fahrzeug oder auch witterungsbedingt Einflüsse schnell eliminiert werden. Die automatische Bestimmung von vorbestimmten Zuständen, wie zum Beispiel Verunreinigungen oder Beschädigungen von Verkehrszeichen, kann daher mit niedrigem Aufwand und geringen Kosten zuverlässig realisiert werden.
Gemäß einer Ausführungsform überträgt die Sendevorrichtung der Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts zusätzlich weitere Metadaten zusammen mit den Informationen über den klassifizierten Zustand des detektierten Objekts an die Empfangsvorrichtung. Durch die zusätzliche Übertragung von weiteren Metadaten kann dabei die Auswertung und die Detektion von unerwünschten Eigenschaften eines zu überwachenden Objekts zusätzlich verbessert werden.
Gemäß einer Ausführungsform umfassen die Metadaten dabei mindestens die erfassten Bilddaten selbst, einen Zeit¬ stempel mit Uhrzeit und/oder Datum, eine Geschwindigkeit bzw. eine Bewegungsrichtung während des automatischen Erfassens des Objekts und/oder Umgebungsbedingungen während des automatischen Erfassens, wie zum Beispiel eine Tempe¬ ratur, eine Angabe über die Helligkeit während des Erfas¬ sens, Informationen über eventuell vorhandenen Niederschlag bzw. eine Intensität des aktuellen Niederschlags sowie weitere Angaben zu Sichtbedingungen, wie zum Beispiel Nebel, etc. Durch die Auswertung solcher zusätzlicher Informationen in den Metadaten kann bei der Auswertung der Klassifizierung eines erfassten Objekts eine mögliche Störung durch äußere Randbedingungen schnell erkannt werden. Somit kann die Wahrscheinlichkeit eines Fehlalarms verringert werden. Gemäß einer weiteren Ausführungsform umfasst die Erfassungsvorrichtung eine Datensammelvorrichtung . Eine solche Datensammeleinrichtung kann dazu ausgelegt sein, weitere Informationen, wie zum Beispiel die oben beschriebenen Metadaten und/oder andere Informationen von zusätzlichen Sensoren zu empfangen, und diese als weitere Informatio¬ nen, wie beispielsweise als die zusätzlichen Metadaten, für die Weiterverarbeitung bereitzustellen. Insbesondere kann die Datensammelvorrichtung dabei auch die Positionsangaben, bzw. die Geschwindigkeit und/oder die Fahrtrichtung eines Fahrzeugs von einem Fahrassistenzsysteme bzw. einem Navigationssystem empfangen und für die Weiterverarbeitung bereitstellen.
Gemäß einer weiteren Ausführungsform empfängt die Empfangsvorrichtung der Auswertevorrichtung eine Mehrzahl von Informationen über einen zu klassifizierenden Zustand eines Objekts von einer Vielzahl von unterschiedlichen Sendevorrichtungen. Die Analysevorrichtung ist dabei dazu ausgelegt, einen vorbestimmten Zustand eines Objekts ba¬ sierend auf der Mehrzahl von empfangenen Informationen zu erkennen. Durch die Auswertung von einer Mehrzahl von Informationen von unterschiedlichen Systemen, wie zum Beispiel von mehreren Fahrzeugen, kann die Zuverlässigkeit zusätzlich gesteigert werden.
Gemäß einer weiteren Ausführungsform ist die Analysevorrichtung der Auswertevorrichtung dazu ausgelegt, einen vorbestimmten Zustand eines Objekts unter Verwendung von weiteren Metadaten zu erkennen. Bei den weiteren Metadaten kann es sich dabei insbesondere um die bereits weiter oben ausgeführten Metadaten handeln. Gemäß einer weiteren Ausführungsform bestimmt die Analysevorrichtung der Auswertevorrichtung basierend auf den Metadaten mindestens eine Umgebungsbedingung des Objekts. Bei dieser Umgebungsbedingung kann es sich beispielsweise um aktuelle Wetterbedingungen oder ähnliches handeln. So kann beispielsweise bei Kenntnis der Position und dem ak¬ tuellen Datum sowie der aktuellen Uhrzeit von einem externen Server oder einer internen Datenbank die aktuelle Wetterlage bestimmt werden. Basierend hierauf können ins¬ besondere mögliche Beeinträchtigungen der Sichtbedingungen festgestellt werden, die es ermöglichen, mögliche Falschalarme zu eliminieren.
Gemäß einer weiteren Ausführungsform des Verfahrens zur automatischen Bestimmung eines vorbestimmten Zustands eines Objekts umfasst das Verfahren einen Schritt zum Er¬ fassen von weiteren Metadaten in dem Fahrzeug, wobei der Schritt zum Übertragen von Informationen über den klassifizierten Zustand des Objekts auch die erfassten Metada¬ ten von dem Fahrzeug an eine zentrale Auswertevorrichtung überträgt .
Gemäß einer weiteren Ausführungsform erfolgt der Schritt zum Erkennen eines vorbestimmten Zustands eines Objekts unter Verwendung einer Mehrzahl von zuvor übertragenen Informationen über den klassifizierten Zustand des Objekts.
Gemäß einer besonderen Ausführungsform wird dabei die Mehrzahl von Informationen über den klassifizierten Zu- stand des Objekts von einer Mehrzahl von verschiedenen Kraftfahrzeugen bereitgestellt.
Weitere Vorteile und Ausführungsformen der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezug auf die beigefügten Zeichnungen.
Kurze Beschreibung der Zeichnungen
Dabei zeigen: eine schematische Darstellung eines Ver¬ kehrszeichens in einem ersten vorbestimmten Zustand; eine schematische Darstellung eines Ver¬ kehrszeichens in einem zweiten vorbestimmten Zustand;
Figur 3: eine schematische Darstellung einer Erfas¬ sungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts gemäß einer Ausführungsform; eine schematische Darstellung einer Auswer tevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands gemäß einer Ausführungsform; und
Figur 5 : eine schematische Darstellung eines Ablauf- diagramms, wie es einem Verfahren zum auto- matischen Bestimmen eines Zustands eines Ob- jekts zugrunde liegt.
Beschreibung von Ausführungsformen
Figur 1 zeigt eine schematische Darstellung eines Ver¬ kehrszeichens in einem ersten Zustand. In diesem ersten Zustand ist das dargestellte Verkehrszeichen in der Regel ohne Einschränkungen gut wahrnehmbar. Das Verkehrszeichen weist dabei weder Beschädigungen noch Verschmutzungen auf. Daher kann das Verkehrszeichen in diesem Zustand als „in Ordnung" klassifiziert werden.
Figur 2 zeigt das Verkehrszeichen aus Figur 1 in einem anderen Zustand. Die Schraffuren in Figur 2 können dabei beispielsweise Verschmutzungen darstellen. Solche Verschmutzungen können zum Beispiel durch aufgewirbelten Staub oder anderen Schmutz verursacht werden. Aufgrund dieser Verschmutzung kann ein solches Verkehrszeichen weder von einem automatischen System, wie zum Beispiel einem Fahrassistenzsystem, noch von einem Benutzer korrekt wahrgenommen werden. Daher kann ein Verkehrszeichen gemäß Figur 2 als „nicht in Ordnung" klassifiziert werden. In diesem Fall ist zum Beispiel eine Reinigung oder gegebe¬ nenfalls auch eine Reparatur des Verkehrszeichens erfor¬ derlich, so dass das Verkehrszeichen anschließend von einem Benutzer wieder korrekt wahrgenommen werden kann und auch von einem automatischen System korrekt identifiziert werden kann.
Bei dem in Figur 1 und 2 dargestellten Verkehrszeichen handelt es sich dabei um ein relativ einfaches Verkehrs- zeichen. Die vorliegende Erfindung ist jedoch nicht auf solche einfachen Verkehrszeichen beschränkt. Vielmehr kann die vorliegende Erfindung auf eine nahezu beliebige Art von Objekten angewendet werden. Insbesondere kann die vorliegende Erfindung auf jede Art von Verkehrszeichen, wie statische, nicht beleuchtete Verkehrszeichen, be¬ leuchtete Verkehrszeichen, dynamische Verkehrszeichen, Verkehrszeichen, die durch unterschiedliche Beleuchtung unterschiedliche Informationen anzeigen, und insbesondere auch für Lichtzeichenanlagen wie zum Beispiel Ampeln oder ähnliches angewendet werden.
Figur 3 zeigt eine schematische Darstellung einer Erfas¬ sungsvorrichtung 1 zum automatischen Erfassen eines Zu- stands eines Objekts 3. Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 ist in diesem Ausführungsbeispiel in einem Kraftfahrzeug 2 angeordnet. Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 umfasst dabei ei¬ ne Kamera 10, eine Detektionsvorrichtung 11, eine Klassi¬ fizierungsvorrichtung 12, sowie eine Sendevorrichtung 13. Darüber hinaus kann die Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 auch einen Spei¬ cher 15, sowie gegebenenfalls noch weitere Komponenten umfassen .
Bei der Kamera 10 der Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 kann es sich dabei beispielsweise um eine bereits in einem Kraftfahrzeug 2 vorhandene Kamera handeln, die in Verbindung mit einem Fahrassistenzsystem des Kraftfahrzeugs 2 bereits einge¬ setzt wird. Somit kann insbesondere für die Kamera 10 be- reits auf ohnehin vorhandene Ressourcen zurückgegriffen werden. Die Kamera 10 der Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 blickt dabei vor¬ zugsweise in Fahrtrichtung des Kraftfahrzeugs 2. Dabei kann die Kamera 10 beispielsweise kontinuierlich Bildda¬ ten erfassen. Die Bilddaten können dabei entweder mit einer vorbestimmten festen Bilddatenrate erfasst werden, oder alternativ kann die Bilddatenrate auch in Abhängigkeit von der Geschwindigkeit des Kraftfahrzeugs 2 ange- passt werden. Grundsätzlich reicht es jedoch für die nachfolgenden Verarbeitungen auch aus, ein einzelnes Bild durch die Kamera 10 zu erfassen. Nachdem von der Kamera 10 mindestens ein Bild erfasst worden ist, werden die Bilddaten des erfassten Bildes von der Kamera 10 an die Detektionsvorrichtung 11 weitergegeben. Die Detektions- vorrichtung 11 detektiert dabei in den durch die Kamera 10 erfassten Bilddaten zunächst ein Objekt, insbesondere das Objekt 3. Beispielsweise kann die Detektionsvorrich¬ tung 10 dabei die Bilddaten von der Kamera 10 mit einer Vielzahl von in einer Datenbank (hier nicht dargestellt) hinterlegten Objekten, insbesondere von Verkehrszeichen, vergleichen. Wird dabei eine Übereinstimmung mit in einer solchen Datenbank hinterlegten Objekten festgestellt, so kann das entsprechende Objekt in den Bilddaten detektiert werden. Grundsätzlich sind jedoch auch andere Verfahren und andere Algorithmen zur Obj ektdetektion und zur Erkennung von Verkehrszeichen möglich.
Nachdem in den von der Kamera 10 bereitgestellten Bilddaten ein Objekt detektiert worden ist, wird der Zustand dieses detektierten Objekts durch die Klassifizierungs¬ vorrichtung 12 ausgewertet. Die Klassifizierungsvorrich- tung 12 bestimmt dabei basierend auf den von der Kamera 10 bereitgestellten Bilddaten und den von der Detektions- vorrichtung 11 gelieferten weiteren Informationen eine Güte. Diese Güte kann zum Beispiel eine Wahrscheinlich¬ keit darstellen, mit der das in den Bilddaten detektierte Objekt tatsächlich ein vorbestimmtes Objekt ist. Über¬ steigt diese Wahrscheinlichkeit einen vorbestimmten Wert, so kann der Zustand dieses Objekts als „in Ordnung" klas¬ sifiziert werden. Andernfalls wird der Zustand des Ob¬ jekts als „nicht in Ordnung" klassifiziert. Aber auch ei¬ ne Klassifizierung des Zustands des Objekts in mehr als zwei Stufen ist ebenso möglich. Auch weitere Kriterien zur Klassifizierung des Zustands des Objekts sind ebenso möglich .
Parallel zu der Detektion und Klassifizierung des Objekts 3 in den von der Kamera 10 erfassten und bereitgestellten Bilddaten erfolgt auch eine Bestimmung der Position, an der sich das Objekt 3 befindet. Die Bestimmung der Posi¬ tion, an der sich das Objekt 3 befindet, kann dabei bei¬ spielsweise mit einer Positionsbestimmungsvorrichtung 14 erfolgen. Beispielsweise kann es sich bei dieser Posi¬ tionsbestimmungsvorrichtung 14 um einen GPS-Empfänger handeln. Darüber hinaus ist es auch möglich, die Information über den aktuellen Ort aus anderen, bereits in dem Kraftfahrzeug vorhandenen Systemen zu beziehen. Insbesondere kann die aktuelle Position auch von einem Navigati¬ onsgerät des Kraftfahrzeugs bereitgestellt und an die Er¬ fassungsvorrichtung 1 zur automatischen Erfassung eines Zustands übertragen werden. Nachdem ein Objekt, wie zum Beispiel ein Verkehrszeichen, durch die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts detektiert worden ist und auch der Zustand des detektierten Objekts klassifi¬ ziert wurde, kann die Klassifizierung dieses Objekts ge¬ meinsam mit der Position des Objekts 3 in einem Speicher 15 zunächst abgespeichert werden. Auf diese Weise ist es möglich, eine Vielzahl von Objekten nacheinander zu klassifizieren und diese Klassifizierung zusammen mit der Position der Objekte und gegebenenfalls weiterer Informati¬ onen zunächst lokal vorzuhalten.
Zur Einsparung von Speicherplatz kann die Speicherung von Klassifizierungen von Objekten auch nur auf solche Objekte beschränkt werden, deren Klassifizierung einen vorbestimmten Zustand, beispielsweise einen fehlerhaften Zu¬ stand, also beispielsweise eine Verschmutzung oder Be¬ schädigung eines Verkehrszeichens, ergibt. Objekte, deren Zustand als fehlerfrei klassifiziert worden ist, werden in diesem Fall nicht weiter betrachtet.
Die in dem Speicher 15 abgespeicherten Informationen über die Zustände von detektierten Objekten und deren Positionsangaben können daraufhin mittels der Sendevorrichtung 13 zur Weiterverarbeitung ausgegeben werden. Beispielsweise kann es sich bei der Sendevorrichtung 13 um eine drahtlose Übertragungsvorrichtung handeln, die Informationen mittels einer Funkverbindung zu einem Empfänger überträgt. Bei einer solchen drahtlosen Übertragung kann es sich beispielsweise um eine Mobilfunkverbindung (GSM, UMTS, LTE oder ähnliches) handeln. Auch eine drahtlose Netzwerkverbindung (WLAN) , eine Bluetooth-Verbindung, ei- ne NFC-Verbindung, eine Datenübertragung mittels infrarotem Licht oder eine weitere drahtlose Übertragung sind dabei möglich. Ferner ist es auch möglich, die Daten von dem Speicher 15 mittels einer kabelgebundenen Verbindung zur Weiterverarbeitung zu übertragen. Alternativ können die Informationen über die Klassifizierung der Objekte und deren Positionsangaben auch in einem entnehmbaren Speicher, wie zum Beispiel einem USB-Stick, oder einer anderen entnehmbaren Speicherkarte abgespeichert werden. In diesem Fall kann der entnehmbare Speicher nach Ab- schluss der Fahrt des Kraftfahrzeugs 2 entnommen und ma¬ nuell zur Weiterverarbeitung an einem entsprechenden Lesegerät eingesteckt werden.
Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objektes 3 kann neben der Klassifi¬ zierung eines Objekts 3 und den damit verknüpften Positi¬ onsdaten auch noch zusätzlich weitere Daten, so genannte Metadaten erfassen und diese Daten miteinander verknüpfen. Bei diesen zusätzlichen Metadaten kann es sich beispielsweise um das aktuelle Datum bzw. die aktuelle Uhr¬ zeit handeln, zu der ein Objekt 3 detektiert und klassi¬ fiziert worden ist. Weiterhin kann auch die Bewegungs¬ richtung der Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands, also die Fahrtrichtung des
Kraftfahrzeugs 2, sowie die Geschwindigkeit und gegebe¬ nenfalls auch die Fahrspur des Kraftfahrzeugs 2 bestimmt und mit der Klassifizierung des Objekts verknüpft werden. Ferner können auch aktuelle Umweltbedingungen, wie zum Beispiel Temperatur, Luftfeuchtigkeit, Niederschlagsintensität bzw. Schneefall, sowie Angaben über die Hellig¬ keit oder weitere Informationen über Sichtbedingungen, wie zum Beispiel Nebel oder ähnliches durch zusätzliche Sensoren erfasst und mit der Klassifizierung des Objekts 3 verknüpft werden. Ferner ist es auch möglich, dass die von der Kamera 10 bereitgestellten Bilddaten selbst als zusätzliche Information mit der Klassifizierung des Objekts 3 verknüpft und zusammen abgespeichert bzw. über¬ tragen werden.
Nachdem durch eine oder auch mehrere Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 das Objekt 3 erfasst und klassifiziert worden ist, können diese Klassifizierungen des Objekts 3 durch eine zentrale Auswertevorrichtung 4 ausgewertet werden. Eine solche zentrale Auswertevorrichtung 4 zum automati¬ schen Bestimmen eines vorbestimmten Zustands eines Objekts 3 ist zum Beispiel in Figur 4 dargestellt. Die zentrale Auswertevorrichtung 4 umfasst dabei eine Emp¬ fangsvorrichtung 40, sowie eine Analysevorrichtung 42. Ferner kann die Auswertevorrichtung 4 auch einen oder mehrere Speicher 41, sowie eine Anzeigevorrichtung 43 umfassen. Weitere Komponenten, wie zum Beispiel eine Einga¬ bevorrichtung für manuelle Benutzereingaben oder ähnliches sind darüber hinaus ebenso möglich. Die Empfangsvorrichtung 40 empfängt dabei von einer oder mehrerer Erfassungsvorrichtungen 1 zum automatischen Erfassen eines Zustands eines Objekts 3 Informationen über einen klassifi¬ zierten Zustand eines Objekts 3. Gemeinsam mit diesen Informationen über den klassifizierten Zustand des Objekts 3 empfängt die Empfangsvorrichtung 40 dabei mindestens auch die Positionsangaben des Objekts 3, sowie gegebenenfalls auch weitere zuvor bereits beschriebene Metadaten. Wie bereits zuvor beschrieben können dabei die Sendevorrichtung 13 der Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts 3 sowie die Empfangsvorrich¬ tung 40 der Auswertevorrichtung 4 über eine drahtlose oder kabelgebundene Verbindung miteinander verbunden werden. Im Falle einer kabelgebundenen Verbindung, oder auch dem manuellen Übertragen eines entnehmbaren Speichers werden dabei die Informationen über die Zustände mehrerer klassifizierter Objekte 3 zunächst in den mobilen Erfassungsvorrichtungen 1 zum automatischen Erfassen gesammelt und anschließend gebündelt an die zentrale Auswertevor¬ richtung 4 übertragen. Auch im Falle einer drahtlosen Übertragung kann eine solche gebündelte Übertragung von mehreren Klassifizierungen für eine Vielzahl von Objekten 3 erfolgen. Alternativ ist im Falle einer drahtlosen Übertragung jedoch auch eine Übertragung in Echtzeit möglich. In diesem Fall kann unmittelbar nach der Erfassung und Klassifizierung eines Objekts 3 diese Klassifizierung zusammen mit den weiteren Informationen an die Auswertevorrichtung 4 übertragen werden, ohne dass dabei eine Zwischenspeicherung erfolgen muss.
Die Auswertevorrichtung 4 und insbesondere die darin integrierte Analysevorrichtung 42 bestimmt daraufhin basierend auf den empfangenen Informationen einen vorbestimmten Zustand eines Objekts 3. Bei diesem vorbestimmten Zu¬ stand kann es sich dabei insbesondere um Angaben darüber enthalten, ob das Objekt 3, wie zum Beispiel ein Ver¬ kehrszeichen, noch in Ordnung ist, das heißt das Verkehrszeichen durch einen Benutzer oder ein automatisches Fahrassistenzsystem noch ausreichend gut erkennbar ist. Die Analysevorrichtung 42 kann dabei zunächst die von der Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands bereitgestellte Klassifizierung auswerten. Ge¬ meinsam mit der Positionsangabe des Objekts 3 kann dabei eine eindeutige Zuordnung des Objekts 3 erfolgen. So kön¬ nen zum Beispiel basierend auf gleichen Positionsangaben auch mehrere von verschiedenen Erfassungsvorrichtungen 1 zum automatischen Erfassen eines Zustands bereitgestellte Klassifizierungen miteinander verknüpft und verglichen werden. Erfolgt dabei beispielsweise übereinstimmend von mehreren verschiedenen Vorrichtungen 1 eine Klassifizierung, die einen mangelhaften Zustand eines Objekts 3 spe¬ zifiziert, so kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass es sich bei diesem Objekt 3 tatsächlich um ein Objekt 3 handelt, welches nicht in Ord¬ nung ist. Wird dagegen für eine vorgegebene Position nur einmalig ein Objekt 3 als fehlerhaft klassifiziert, so kann gegebenenfalls darauf geschlossen werden, dass es sich dabei um einen Fehlalarm handelt und in diesem Fall noch keine weiteren Aktionen erforderlich sind.
Auch durch die Verknüpfung der Klassifizierung eines Objekts 3 mit weiteren Metadaten kann die Fehlalarmrate weiter gesenkt werden. So können zum Beispiel in Abhängigkeit von der Klassifizierung des Objekts 3 auch die von der Kamera 10 erfassten Bilddaten mit an die zentrale Auswertevorrichtung 4 übertragen werden. In diesem Fall können die erfassten Bilddaten einem Benutzer dargestellt werden, so dass der Benutzer anschließend manuell noch einmal überprüfen kann, ob die automatische Klassifizie¬ rung tatsächlich korrekt war. Darüber hinaus können durch die weiteren Metadaten auch Fehlalarme aufgrund von ungünstigen Umweltbedingungen minimiert werden. So können zum Beispiel Informationen über möglichen Niederschlag bzw. Schneefall, sowie Beeinträch¬ tigungen der Sicht durch Nebel oder ähnliches bereits während der Klassifizierung in der Klassifizierungsvorrichtung 12 erfasst und als Metadaten mit der Klassifi¬ zierung zusammen übertragen werden. In diesem Fall können Klassifizierungen unter schlechten Randbedingungen eine geringere Bedeutung zugemessen werden. Beispielsweise kann die Analysevorrichtung 42 ein Objekt 3 erst dann als fehlerhaft klassifizieren, wenn unter ungünstigen Umweltbedingungen eine höhere Anzahl (erster Schwellwert) von Klassifizierungen vorhanden ist, während unter günstigen Umweltbedingungen bereits eine geringere Anzahl (zweiter Schwellwert) von Klassifizierungen für eine Signalisie¬ rung ausreicht.
Zur genaueren Spezifizierung und insbesondere auch zur Unterscheidung von einer Vielzahl von dicht beieinander liegenden Verkehrszeichen können gemeinsam mit der Klassifizierung und der gegebenenfalls sehr groben Positions¬ angabe des Objekts 3 auch weitere Informationen über Fahrtrichtung, Fahrspur des Fahrzeugs 2 oder ähnliches mit der Klassifizierung verknüpft und gemeinsam übertragen und ausgewertet werden. Auf diese Weise ist eine sehr präzise Zuordnung der empfangenen Klassifizierungen zu einzelnen Verkehrszeichen möglich.
Um darüber hinaus die Fehlalarmrate noch weiter abzusenken, kann die Analysevorrichtung 42 auch noch zusätzlich externe Informationen über mögliche Beeinträchtigungen mit in den Analysevorgang einbeziehen. So kann die Analysevorrichtung 42 beispielsweise als Metadaten zusätzlich einen Zeitstempel mit Datum bzw. Uhrzeit empfangen und anschließend basierend auf diesem Zeitstempel aus einer internen oder externen Datenbank die Umweltbedingungen, wie zum Beispiel Witterung oder ähnliches auslesen und mit in den Analysevorgang einbeziehen. Auf diese Weise können auch bereits durch eine geringe übertragene Daten¬ menge, wie zum Beispiel Klassifizierung zusammen mit Zeitstempel, bereits zuverlässig Fehlalarme aufgrund von schlechten Umweltbedingungen eliminiert werden.
Zur Verknüpfung einer Vielzahl von Klassifizierungen für ein Objekt 3 werden dabei in einem Speicher 41 der Auswertevorrichtung 4 zunächst die Klassifizierungen der Objekte 3 gesammelt. Vorzugsweise werden dabei die Klassi¬ fizierungen der Objekte 3 von einer Vielzahl von Vorrichtungen 1 zum automatischen Erfassen eines Zustands bereitgestellt. Beispielsweise können dabei solche Vorrich¬ tungen 1 zum automatischen Erfassen eines Zustands in einer Vielzahl von Kraftfahrzeugen integriert werden. So kann es sich dabei beispielsweise um eine gesamte Flotte von Fahrzeugen handeln. Ist beispielsweise eine Kommune oder eine Stadt für die Instandhaltung der Verkehrszei¬ chen verantwortlich, so kann diese Kommune bzw. Stadt einen Teil oder sämtliche Fahrzeuge ihrer Fahrzeugflotte mit entsprechenden Vorrichtungen 1 zum automatischen Erfassen eines Zustandes ausstatten. Alle diese Fahrzeuge können dabei während ihres täglichen Einsatzes automa¬ tisch die Zustände der Verkehrszeichen entlang den Fahrbahnen erfassen und analysieren und diese anschließend alle zusammen gemeinsam an eine zentrale Auswertevorrichtung 4 übertragen.
Somit kann durch ein System aus mehreren oben beschriebenen Erfassungsvorrichtungen 1, beispielsweise in den Fahrzeugen einer Fahrzeugflotte, und einer zentralen Auswertevorrichtung 4 eine zuverlässige, effiziente und kos¬ tengünstige Überwachung von Objekten, wie zum Beispiel Verkehrszeichen, ermöglicht werden.
Figur 5 zeigt eine schematische Darstellung eines Ablauf¬ diagramms, wie es einem Verfahren zum automatischen Bestimmen eines Zustands eines Objekts 3 gemäß einer Aus¬ führungsform zugrunde liegt. In einem Schritt Sl werden zunächst Bilddaten durch eine Kamera 10 eines Fahrzeugs 2 erfasst. Anschließend wird in Schritt S2 ein Objekt in den erfassten Bilddaten detektiert und daraufhin in
Schritt S3 der Zustand des detektierten Objekts klassifi¬ ziert. In Schritt S4 kann daraufhin die Information über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts von dem Fahrzeug 2 an eine zentrale Auswertevorrichtung 4 übertragen werden. In Schritt S5 wird daraufhin ein vorbestimmter Zustand des Objekts unter Verwendung der von dem Fahrzeug 2 an die zentrale Auswertevorrichtung 4 übertragenen Informationen des klassifizierten Zustands des Objekts erkannt.
Ergänzend zu der Klassifizierung des Zustands des detek¬ tierten Objekts können in einem weiteren Schritt auch noch weitere Metadaten in dem Fahrzeug erfasst werden und diese gemeinsam mit den Informationen über den klassifi- zierten Zustand ebenfalls von dem Fahrzeug an die zentra¬ le Auswertevorrichtung 4 übertragen werden.
Zusammenfassend betrifft die vorliegende Erfindung die automatische Detektion und Bewertung von Objekten wie zum Beispiel Verkehrszeichen, insbesondere durch eine Fahrzeugflotte, sowie eine anschließende zentrale Analyse dieser Klassifizierung. Somit kann auf sehr einfache und kostengünstige Weise der Zustand von Verkehrszeichen ent¬ lang eines Verkehrsnetzes überwacht und ausgewertet wer¬ den. Verschmutzte und beschädigte Verkehrszeichen können rasch erkannt werden.

Claims

Ansprüche
1. Erfassungsvorrichtung (1) zum automatischen Erfassen eines Zustands eines Objekts (3), mit: einer Kamera (10), die dazu ausgelegt ist, Bilddaten zu erfassen; einer Detektionsvorrichtung (11), die dazu ausgelegt ist in den erfassten Bilddaten ein Objekt (3) zu detektieren; einer Klassifizierungsvorrichtung (12), die dazu ausgelegt ist, einen Zustand des in den erfassten Bilddaten detektierten Objekts (3) zu klassifizieren; und einer Sendevorrichtung (13), die dazu ausgelegt ist, In¬ formationen über den klassifizierten Zustand des detektierten Objekts (3) zusammen mit einer Positionsangabe des detektierten Objekts (3) an eine Empfangsvorrichtung (40) zu übertragen.
2. Erfassungsvorrichtung (1) nach Anspruch 1, wobei die Sendevorrichtung (13) weitere Metadaten zusammen mit den Informationen über den klassifizierten Zustand des detektierten Objekts (3) an die Empfangsvorrichtung (40) überträgt .
3. Erfassungsvorrichtung (1) nach Anspruch 2, wobei die weiteren Metadaten die erfassten Bilddaten, eine Uhrzeit, ein Datum, eine Geschwindigkeit, eine Bewegungs¬ richtung und/oder Umgebungsbedingungen, insbesondere Temperatur, Niederschlag, Helligkeit, umfassen.
4. Erfassungsvorrichtung (1) nach einem der Ansprüche 1-3, wobei die Sendevorrichtung (13) die Informationen über den klassifizierten Zustand des detektierten Objekts (3) nur dann überträgt, wenn der klassifizierte Zustand einem vorbestimmten Zustand entspricht.
5. Kraftfahrzeug (2) mit einer Erfassungsvorrichtung (1) zum automatischen Erfassen eines Zustands eines Objekts (3) nach einem der Ansprüche 1-4.
6. Auswertevorrichtung (4) zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts (3), mit: einer Empfangsvorrichtung (40), die dazu ausgelegt ist, Informationen über einen klassifizierten Zustand eines Objekts (3) zusammen mit einer Positionsangabe des Ob¬ jekts (3) zu empfangen; und einer Analysevorrichtung (42), die dazu ausgelegt ist, einen vorbestimmten Zustand des Objekts (3) basierend auf empfangenen Informationen über den klassifizierten Zustand des Objekts (3) zu erkennen.
7. Auswertevorrichtung (4) nach Anspruch 6, wobei die Empfangsvorrichtung (40) eine Mehrzahl von Informationen über einen klassifizierten Zustand eines Objekts (3) von unterschiedlichen Sendevorrichtungen (13) empfängt, und die Analysevorrichtung (42) dazu ausgelegt ist, einen vorbestimmten Zustand des Objekts (3) basierend auf der Mehrzahl von empfangenen Informationen zu erkennen.
8. Auswertevorrichtung (4) nach Anspruch 6 oder 7, wobei die Analysevorrichtung (42) ferner dazu ausgelegt ist, einen vorbestimmten Zustand des Objekts (3) unter Verwendung weiterer Metadaten zu erkennen.
9. Auswertevorrichtung (4) nach Anspruch 8, wobei die Analysevorrichtung (42) basierend auf den weiteren Metadaten mindestens eine Umgebungsbedingung des Objekts (3) bestimmt .
10. Verfahren zur automatischen Bestimmung des Zustandes eines Objekts (3), mit den Schritten:
Erfassen (Sl) von Bilddaten durch eine Kamera (10) in einem Fahrzeug (2);
Detektion (S2) eines Objekts (3) in den erfassten Bilddaten;
Klassifizieren (S3) des Zustands des detektierten Objekts (3) ;
Übertragen (S4) von Informationen über den klassifizierten Zustand des detektierten Objekts (3) zusammen mit ei¬ ner Positionsangabe des detektierten Objekts (3) von dem Fahrzeug (2) an eine zentrale Auswertevorrichtung (4);
Erkennen (S5) eines vorbestimmten Zustands eines Objekts (3) unter Verwendung der von dem Fahrzeug (2) an die zentrale Auswertevorrichtung (4) übertragenen Informationen des klassifizierten Zustands des Objekts (3) .
11. Verfahren nach Anspruch 10, mit einem Schritt zum Erfassen von weiteren Metadaten in dem Fahrzeug (2), wobei der Schritt (S4) zum Übertragen von Informationen über den klassifizierten Zustand des Objekts (3) auch die erfassten Metadaten von dem Fahrzeug (2) eine die zentrale Auswertevorrichtung (4) überträgt.
12. Verfahren nach Anspruch 10 oder 11, wobei der
Schritt (S5) zum Erkennen eines vorbestimmten Zustands eines Objekts (3) den vorbestimmten Zustand unter Verwendung einer Mehrzahl von zuvor übertragenen Informationen über den klassifizierten Zustand des Objekts (3) erfolgt.
13. Verfahren nach Anspruch 12, wobei die Mehrzahl von Informationen über den klassifizierten Zustand des Objekts (3) von einer Mehrzahl von verschiedenen Fahrzeugen (2) bereitgestellt wird.
PCT/DE2016/200127 2015-03-20 2016-03-09 Vorrichtung zum automatischen erfassen eines zustands eines objekts, auswertevorrichtung zum automatischen bestimmen eines vorbestimmten zustands eines objekts und verfahren zum automatischen bestimmen eines vorbestimmten zustands eines objekts WO2016150440A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112016000252.1T DE112016000252A5 (de) 2015-03-20 2016-03-09 Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015205094.7A DE102015205094A1 (de) 2015-03-20 2015-03-20 Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
DE102015205094.7 2015-03-20

Publications (1)

Publication Number Publication Date
WO2016150440A1 true WO2016150440A1 (de) 2016-09-29

Family

ID=56116160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2016/200127 WO2016150440A1 (de) 2015-03-20 2016-03-09 Vorrichtung zum automatischen erfassen eines zustands eines objekts, auswertevorrichtung zum automatischen bestimmen eines vorbestimmten zustands eines objekts und verfahren zum automatischen bestimmen eines vorbestimmten zustands eines objekts

Country Status (2)

Country Link
DE (2) DE102015205094A1 (de)
WO (1) WO2016150440A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559371A (en) * 2017-02-03 2018-08-08 Continental Automotive Gmbh System for detecting a status of a vehicle
DE102020107198A1 (de) 2020-03-16 2021-09-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Instandhaltung einer Infrastruktur
CN115509222A (zh) * 2021-06-03 2022-12-23 洼田望 信息处理方法、存储介质和信息处理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207014A1 (de) 2017-04-26 2018-10-31 Audi Ag Verfahren zur Datenerhebung
AU2023204086A1 (en) * 2022-06-30 2024-01-18 Visual Defence Inc. System and method for traffic signage inspection through collection, processing and transmission of data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US20090088978A1 (en) * 2005-08-05 2009-04-02 Aisin Aw Co., Ltd. Road Marking Recognition System
DE102008043743A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Auswertung eines Sensorsignals
FR2948478A1 (fr) * 2009-07-23 2011-01-28 Viametris Procede de releve d'informations relatives a des panneaux de signalisation verticale, dispositif associe et application
US20130253754A1 (en) * 2012-03-26 2013-09-26 Google Inc. Robust Method for Detecting Traffic Signals and their Associated States

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US20090088978A1 (en) * 2005-08-05 2009-04-02 Aisin Aw Co., Ltd. Road Marking Recognition System
DE102008043743A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Auswertung eines Sensorsignals
FR2948478A1 (fr) * 2009-07-23 2011-01-28 Viametris Procede de releve d'informations relatives a des panneaux de signalisation verticale, dispositif associe et application
US20130253754A1 (en) * 2012-03-26 2013-09-26 Google Inc. Robust Method for Detecting Traffic Signals and their Associated States

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559371A (en) * 2017-02-03 2018-08-08 Continental Automotive Gmbh System for detecting a status of a vehicle
DE102020107198A1 (de) 2020-03-16 2021-09-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Instandhaltung einer Infrastruktur
CN115509222A (zh) * 2021-06-03 2022-12-23 洼田望 信息处理方法、存储介质和信息处理装置
CN115509222B (zh) * 2021-06-03 2024-03-12 洼田望 信息处理方法、存储介质和信息处理装置

Also Published As

Publication number Publication date
DE112016000252A5 (de) 2017-09-07
DE102015205094A1 (de) 2016-09-22

Similar Documents

Publication Publication Date Title
WO2016150440A1 (de) Vorrichtung zum automatischen erfassen eines zustands eines objekts, auswertevorrichtung zum automatischen bestimmen eines vorbestimmten zustands eines objekts und verfahren zum automatischen bestimmen eines vorbestimmten zustands eines objekts
DE102018200134B3 (de) Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem, Kraftfahrzeug und Servereinrichtung
DE102016219455A1 (de) Kraftfahrzeug, Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
WO2017067767A1 (de) Verfahren und vorrichtung zum bewerten des inhalts einer karte
DE102009015142A1 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
WO2020200792A1 (de) Verfahren zur überprüfung eines umfelderfassungssensors eines fahrzeugs und verfahren zum betrieb eines fahrzeugs
DE102014207084A1 (de) Verfahren, Vorrichtung und System zur Erfassung von Straßenschäden
DE112017006755B4 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE102015212027A1 (de) Verfahren und Vorrichtung zum automatischen Ermitteln von Verkehrsregelungen an Straßenkreuzungen
WO2015048968A1 (de) Verfahren und vorrichtung zur funktionsüberwachung eines fahrerassistenzsystems
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
CN115527364A (zh) 一种基于雷视数据融合的交通事故溯源方法及系统
EP3827277A1 (de) Verfahren, system und elektronische recheneinrichtung zum überprüfen von sensoreinrichtungen von fahrzeugen, insbesondere von kraftfahrzeugen
DE102018132355A1 (de) Verfahren zur Verkehrszeichenbestimmung
EP3693940A1 (de) Verfahren zum erkennen von überholvorgängen im strassenverkehr innerhalb eines streckenabschnitts
EP3710870B1 (de) Erfassungssystem
DE102019206083A1 (de) Verfahren zur optischen Inspektion, Kamerasystem und Fahrzeug
DE102019208185A1 (de) Fahrzeugführung-unterstützungssystem
DE102019211459B4 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102021209137A1 (de) Verfahren und Vorrichtung zum Analysieren und Bewerten der Leistung eines automatischen Notbremssystems eines Fahrzeugs
EP3655934B1 (de) Konzept zum überwachen eines parkraums
EP3440432A1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs mittels speziell ausgewählter und von einem backend-server übertragener landmarken
DE102016009199B4 (de) Verfahren zum Betreiben einer Datenerfassungseinheit zum Erfassen von mindestens einem Steuerungsereignis einer Steuerungvorrichtung eines Kraftfahrzeugs sowie eine Datenerfassungseinheit und eine Datenverarbeitungseinheit
DE102005032972B4 (de) Verfahren zur Überwachung der Einhaltung einer auf einem Streckenabschnitt vorgegebenen Höchstgeschwindigkeit
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16727935

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 112016000252

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112016000252

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16727935

Country of ref document: EP

Kind code of ref document: A1