WO2017198743A1 - Verfahren zur verifizierung von inhalt und aufstellort von verkehrszeichen - Google Patents

Verfahren zur verifizierung von inhalt und aufstellort von verkehrszeichen Download PDF

Info

Publication number
WO2017198743A1
WO2017198743A1 PCT/EP2017/061903 EP2017061903W WO2017198743A1 WO 2017198743 A1 WO2017198743 A1 WO 2017198743A1 EP 2017061903 W EP2017061903 W EP 2017061903W WO 2017198743 A1 WO2017198743 A1 WO 2017198743A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic sign
traffic
content
data
vehicle
Prior art date
Application number
PCT/EP2017/061903
Other languages
English (en)
French (fr)
Inventor
Helge ZINNER
Christoph Arndt
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to US16/302,433 priority Critical patent/US10846545B2/en
Priority to JP2018558709A priority patent/JP6813595B2/ja
Priority to EP17724548.7A priority patent/EP3459006A1/de
Priority to CN201780029548.0A priority patent/CN109154980B/zh
Publication of WO2017198743A1 publication Critical patent/WO2017198743A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Definitions

  • the present invention relates to the verification of at least the content and location of traffic signs.
  • PRIOR ART Devices for detecting traffic signs have been provided for some time in many motor vehicles, for example in order to draw a driver's attention to a speed limit applicable at one location and / or one day and / or at a time of day or to a passing ban.
  • a recognized traffic sign is displayed to the driver on a display in the instrument cluster, or on a display of a navigation system. The driver can thus check at any time which restriction of the traffic is currently valid, even if he / she blocks the traffic sign, e.g. because of a distraction did not perceive itself.
  • the traffic sign recognition usually takes place by means of a camera whose images are fed to an obj ekterkennungs algorithm.
  • the obj ekterkennungs algorithm recognizes, for example, based on stored in a database arranged in the vehicle base patterns, candidate objects, ie objects that could represent a traffic sign, and compares these candidate objects with stored in a database recognition features or representative images of traffic signs , If a match is found, the traffic sign can be displayed.
  • Some traffic sign recognition devices still check for conditional road signs indicated by additional signs.
  • a traffic sign recognition is also important for autonomous or automated moving vehicles, for example, to be able to adapt the speed and the direction of travel to the respective situation.
  • information about permissible or necessary actions for vehicle control is stored in the database, for example a corresponding change of direction or a default value for a permissible maximum speed, which is forwarded to a device for vehicle control.
  • Vehicles open up by a traffic sign recognition provided here a possibility of unauthorized influence from outside on the driving style of the vehicle, because a situational classification of traffic signs as a plausibility check does not take place.
  • a situated as a "test of courage" in a 30 kph zone entleanedtes elsewhere traffic sign indicating a speed limit to 80 km / h are not easily recognized by the Traffic Sign ⁇ chenerkennung be wrong and could cause that an automated or autonomous vehicle is driving at too high a speed, and other manipulations of traffic signs have already occurred, such that self-appointed artists' traffic signs are 'decorated' by adding picture elements in such a way that a human observer can interpret the underlying traffic sign still can recognize as such, possibly with the help of the context of the installation site, a traffic ⁇ character recognition this "decorated" traffic signs but not as such be seen. Examples are shown in Figures 1 and 2.
  • One solution to this problem is to reconcile traffic signs recognized traffic signs and their locations with corresponding entries in a database.
  • the location of a recognized traffic sign is determined by means of a navigation system of the vehicle, for example by means of a satel ⁇ lite navigation system built into the vehicle.
  • the database may be at ⁇ arranged in the vehicle, or it is accessed, disposed externally of the vehicle database onsharm via a wireless communication.
  • the prerequisite for this is a complete and always up-to-date database.
  • updating databases in individual vehicles is expensive and timely updating can not always be guaranteed.
  • it is possible that a connection to a database located outside the vehicle may not be able to be established at any location.
  • the content of a traffic sign refers to the semantic content, ie the meaning of a traffic sign for a driver of a vehicle or an autonomously or automatically driving vehicle.
  • identification features include, for example, digitally encoded information.
  • the digitally coded information can be provided by the traffic sign in principle unencrypted, but it is also possible to provide at least parts of the digitally coded information encrypted, for example, to complicate manipulation.
  • the identification features may be provided in different ways, for example as an additional optical characteristic or transmitted wirelessly from as Ver ⁇ traffic signs to a corresponding receiver characteristics. The validation or verification of the traffic sign is thus carried out on the basis of features that differ from the mere visual recognition of the semantic content of the
  • the other features include i.a. Information that represents the location, duration, orientation, and semantic content of the traffic sign.
  • a method for verifying the content and location of traffic signs comprises detecting a traffic sign in one or more images of at least one camera. Of at least one recorded by the camera in which a traffic sign is detected, the visually recognizable to a human content of the imaged traffic sign in the image is determined by image analysis ⁇ .
  • the detection of the traffic sign and the determination of the visually recognizable content of the traffic sign for a human can be done in a conventional manner.
  • the location of the traffic sign is determined, and it is not directly recognizable or interpretable data for a person, which are provided by the traffic sign, and at least represent the content and location of the traffic sign.
  • the term "represent” encompasses also an indirect ⁇ repre sentation, for example. By data that enables a reference corresponding information from a database. Finally, a comparison of the determined and related data is managed throughput.
  • the determination of the installation location of the traffic sign can be effected, for example, by means of a navigation device of a vehicle carrying out the method, which in any case determines a respective current position of the vehicle continuously or in short successive time intervals.
  • a navigation device can, for example, comprise a satellite navigation device and / or a dead reckoning device.
  • the navigation device can also be set up, for example, to determine a more precise position by means of matching data representing the position on the earth's surface with a digital map and traffic routes contained therein.
  • the data provided by the traffic signs Ver ⁇ be obtained by means of at least one camera.
  • the camera can be the same camera used to detect the traffic sign.
  • the data which can not be immediately recognized or interpreted by a human being can be present, for example, in the form of a one- or two-dimensional binary code which is part of the traffic sign.
  • An example of a one-dimensional binary code is a bar code
  • an example of a two-dimensional binary code is a so-called quick response code (QR code).
  • QR code quick response code
  • a bar code or QR code is attached to the front of the traffic sign.
  • the code contains information about the content and location of the traffic sign, or an identification of the traffic sign and a reference to a database in which the corresponding information for the traffic sign are stored retrievably.
  • the code may also include information about which lane of a multi-lane directional lane the traffic sign is valid for, which direction of travel, or which certification authority has certified the traffic sign.
  • the direction of travel can take place, for example, in the form of a compass instruction, that is to say in a degree specification relating to a north direction, or as an indication of a location lying in the direction of travel, eg "direction
  • the data provided by the traffic sign is obtained by means of a photosensitive sensor.
  • the photosensitive sensor can be sensitive in a spectrum visible to humans, but it is also possible that the photosensitive sensor is sensitive in a spectrum not visible to humans, for example for light in the infrared spectrum.
  • the traffic sign ⁇ is provided with a corresponding light source which coded data transmitted by suitable modulation of the light emitted from the light source light which is received by the light sensitive sensor and de-modulated in the vehicle and decoded.
  • the data ⁇ transmission is performed in the infrared spectrum, so that a deflection of a driver of the vehicle is excluded by the light source.
  • the camera provided in the vehicle for traffic sign recognition is sensitive enough in the infrared spectrum and the image acquisition rate is high enough, it can serve as a sensor for receiving the data provided by the traffic sign.
  • the light source of the traffic sign is a matrix light source, which transmits data by suitable coding of the matrix. Depending on the size of the matrix, larger amounts of data can be transmitted by sequential control of the matrix to display successive, different patterns.
  • the matrix can also emit light in the visible spectrum or in the infrared spectrum in this variant of the method.
  • the corresponding light-sensitive sensor must at least be able to detect the individual elements of the matrix distinguishable.
  • the camera provided in the vehicle for traffic sign recognition can be used for this purpose, insofar as it is sensitive enough in the light spectrum emitted by the traffic sign and, if sequential successive patterns are transmitted, the image acquisition rate is high enough.
  • the data provided by the traffic sign is obtained by means of a radio receiver.
  • Suitable radio links are, for example, variants of the transmission system known in the IEEE 802.11 standard, also known as WLAN or WiFi, but also variants of the transmission system defined in the IEEE 802.15.1 standard and known under the name Bluetooth.
  • Other wireless transmission systems including those using the communication standards known as Z-Wave or ZigBee, may also be used as long as the range and data transmission rate, and the time required to establish the connection, are sufficient.
  • the traffic sign ⁇ is equipped with a corresponding transmitter, and the vehicle is equipped with a suitable receiver.
  • the information obtained from the traffic sign may include, instead of or in addition to a unique identification of the traffic sign, the content and the place of installation, a hash value about the data relevant for verification. If only the hash value of the traffic sign is provided, it can be compared with a hash value valid for the geographical position of the traffic sign, which is obtained from a database. The use of hash values can reduce the amount of data to be obtained and compared from the database.
  • the data for a comparison of the information related to the traffic sign may in principle be stored in an in-vehicle or in an off-board database.
  • the database may be accessed using traffic-related information or the geographic location of a recognized traffic sign.
  • At least parts of the traffic sign related data are encoded beyond a coding.
  • the encryption may serve to make it difficult to manipulate the data provided by the traffic sign. Such manipulation would be needed, for example, to force a traffic sign stolen at one location to be placed at another location to provide data corresponding to the new location.
  • a hash value which is also a component of the additional information provided by the traffic sign, is determined via the content of the data provided by the traffic sign.
  • the hash value is created for example by an official and ver ⁇ trust worthy site with a secret private key.
  • the checking unit for example the vehicle which has recognized the traffic sign and wants to check it, must know the public key belonging to the private key so that the encrypted hash value can be decrypted.
  • the public key or keys may be stored in a corresponding memory or in a corresponding database in the vehicle.
  • the distribution or updating of the public key stored in the vehicle to testing units may occur daily at fixed times, such as when a vehicle is within range of a wireless network, for example when a vehicle in the home garage is within range of the driving Wi-Fi network - Tool holder is turned off.
  • it may be provided to load only keys for a specific region or only keys for a planned route. In doing so, the region for which the keys are loaded can be dynamically adjusted by analysis of past trips and by different users.
  • the public keys can also be loaded as needed depending on the situation, for example if a traffic sign has been detected.
  • a key for a particular, just recognized traffic sign can be loaded, or additional keys for located in the vicinity of the detected traffic sign traffic signs are loaded.
  • the number of connection setup processes can be reduced to a non-vehicle database or to a server without placing particularly high demands on the size of the memory in the vehicle.
  • the data provided by the traffic sign may include a link to a database from which the location and content of the traffic sign may be retrieved.
  • ⁇ ßigerweise the data provided by the traffic sign also include a unique identification of the traffic sign.
  • the determination of the installation location is carried out by means of a compensation of in the environment of Traffic signs, visually recognizable landmarks and corresponding images in a database.
  • the traffic sign provides a corresponding link to a database, by means of which one or more images of the surroundings of the traffic sign can be obtained from the database.
  • Landmarks are expediently objects or topographical features in which a significant change is not to be expected or which occurs only very slowly or rarely, and which are easily recognizable in an image taken by a camera. Landmarks may also include permanent markings on the roadway.
  • the camera used for the recognition of the traffic sign of the vehicle can be set up so that the recorded image takes a sufficiently large, suitable for a comparison area of the environment of the traffic sign. Alternatively, one or more additional cameras may be provided in the vehicle whose images are suitable for comparison. These cameras can also be used, for example, for detecting the surroundings of the vehicle for an autonomous or semi-autonomous or automated
  • the length of a route between two traffic signs is used to verify a respective next traffic sign.
  • a traffic sign recognition in a vehicle first recognizes a traffic sign and verifies it, for example, according to one of the aspects of the method described above.
  • the length of the route to the next traffic sign or its place of installation and its contents is transmitted to the vehicle.
  • the next traffic sign is detected, it is first checked whether the distance traveled since the last recognized traffic sign matches the value transmitted or a value determined from its location. To determine the length of the route of the odometer of the vehicle can be used, which runs along anyway.
  • the traffic sign is displayed or announced to a driver of the vehicle for information in accordance with the specific and related data.
  • the content of the traffic sign can be supplied to a system for vehicle control.
  • another automatic plausibility check or a query to the driver can be made, or a corresponding message to an external vehicle database.
  • information is extracted from data provided by mobile or temporary traffic signs that informs about the particular nature of the traffic sign.
  • this additional information can, for example, are used in an unsuccessful attempt to access a database for the purpose of verification, the
  • a lesser degree of trust can be attributed than a full verification after a successful access to the database.
  • a lesser degree of trustworthiness may, for example, affect the extent of consideration of the content of the traffic sign for matters of autonomous or automated driving and may, for example, result in the control of the vehicle being returned to the driver.
  • the data provided by the traffic sign may vary with time, for example, when the changing position of the Ver ⁇ periodic character is included in the information provided by the traffic sign data. Since a traffic sign usually assumes a fixed installation location, variable position data over time could be interpreted as errors and the traffic sign interpreted as invalid. In the case of a movable traffic sign, which provides corresponding information about its particular character or provides current position data in each case, the positional data that changes over time would not automatically lead to the traffic sign being interpreted as invalid.
  • Verification by means of matching images of the surroundings of the traffic sign with corresponding database-related images is almost impossible in the case of a mobile traffic sign.
  • An appropriate database query will almost always fail.
  • An apparatus for carrying out the present method comprises at least one camera, at least one microprocessor with random access memory and non-volatile memory and at least one device for determining a current position on the earth's surface.
  • the nonvolatile memory contains Com ⁇ computer program instructions which, when executed by the microprocessor in the memory are executed, perform the method steps of one or more aspects of the present method.
  • the device further comprises one or more photosensitive sensors and / or one or more
  • Radio receiver by means of which the data provided by the traffic sign can be received.
  • the device for carrying out the present method does not necessarily have to be implemented in a single device. It is also possible to carry out individual operating steps of the method in separate devices connected by means of a network for data transmission, wherein the entirety of the devices connected by means of the network and performing individual working steps of the method taken together forms the device. Different process steps can thereby optionally proceed in parallel and in different devices connected, for example.
  • a traffic sign which can be verified by means of the present method, in addition to its physical manifestation, that is to say besides its shape and color, which have been combined in a known manner using different materials to the object "traffic sign”, comprises at least one device for providing data, which represent at least the content and the place of installation of the traffic sign, and which are not immediately recognizable or interpretable to a human being
  • the device for providing data may be configured to provide data in a static form by its appearance, for example in the form of a barcode or However, the device for providing data may also be set up to provide data as a successive sequence of signals. For example, in the form of modulated light or radio signals. In this case, a complete set of signals over a period of time must be collected to fully capture the data.
  • a system according to the invention comprises at least one traffic sign verifiable by the present method and at least one vehicle-mounted device for performing one or more aspects of the present method.
  • the method and apparatus are advantageously adapted to enable autonomous or automated vehicles relying on trusted information from their environment to additionally verify the validity of traffic signs recognized by known optical means.
  • the contents of the traffic sign and the place of installation can be verified.
  • the verification gives the autonomous or automated driving system but also a human driver the security of being able to rely on the displayed or recognized sign.
  • the lack of certification or failed verification does not necessarily indicate manipulation. But the lack of a certification or verification can influence the reaction of an autonomous or automated vehicle to a recognized Ver ⁇ traffic signs. For example, the autonomous or automated vehicle can decide for itself whether it believes the unverified sign, if the content of the current driving situation contradicts to a great extent, for.
  • a speed limit is set to 30 km / h pointing traffic sign was detected when driving over a highway. It is also conceivable that in a traffic sign not verified by the present method, other sensors that would otherwise be inactive are turned on, or that specifications for acceleration, strength of braking, safety margins and the like are set to values that entail a greater safety margin bring.
  • Fig. 1 shows a first example of an alienated traffic sign
  • Fig. 2 shows a second example of a distorted ⁇ traffic sign
  • Fig. 3 is an exemplary schematic overview of a
  • FIG. 6 shows an exemplary flow chart of an aspect of the method according to the invention
  • Fig. 7a an example of a traffic sign
  • Fig. 7b shows an example of a traffic sign
  • FIG. 9 shows a further schematic example of an aspect of the method according to the invention.
  • 10 shows a simplified exemplary block diagram of a vehicle-side device for carrying out the method according to the invention. Description of the embodiments
  • Figures 1 and 2 show alienated traffic signs, here the prohibition of entry into a released only for oncoming traffic road or lane. The importance of traffic signs is still recognizable for a person, but a camera-based traffic ⁇ character recognition can not reliably detect the content.
  • FIG. 3 shows an exemplary representation of a system 300 for carrying out an aspect of the method according to the invention.
  • a traffic sign 302 is provided with a device 304 for transmitting additional meta information, eg a QR code or a transmitter for wireless transmission of the meta information over a radio link.
  • a vehicle 306 approaching the traffic sign 302 is provided with an optical traffic sign recognition device 308 represented by the stylized camera.
  • the traffic sign 302 lies within the detection range of the device 308, as indicated by the dashed lines emanating from the camera, and is recognized in a known manner.
  • a receiver 310 located in or on the vehicle 306 receives additional meta information from the device 304 of the traffic sign 302. The reception may require prior connection setup, for example, in transmission of the meta information over a radio link.
  • the transmission of the meta-information is indicated by the dotted double-headed arrow between the device 304 and the receiver 310.
  • the meta information makes it possible to check the semantic content of the traffic sign recognized by the device 308 and its location.
  • the check can be, for example by means of a device 312 arranged in or on the vehicle 306, which accesses a database 314.
  • the meta-information transmitted by the device 304 is encrypted with a private key to prevent or at least aggravate manipulation of the meta-information and can only be decrypted with a corresponding public key.
  • the private key may be generated and stored in the database 314, for example, and transmitted to the device 304.
  • the receiver 310 receives the data encrypted with the private key meta-information of the arranged on the traffic sign 302 device 304.
  • the device 312 transmits a message with the private key of the As ⁇ tenbank 314 and receives, in response to the message, a message with a to the private key matching öf ⁇ lic key from the database 314.
  • the now present in the vehicle 306 private and public keys received from the traffic sign 302 metadata can be decrypted, and the content of the traffic sign with the meta-information detected by the device 308 be compared.
  • FIG. 4 shows a highly simplified flowchart of one aspect of the method according to the invention.
  • traffic sign recognition is performed in previously captured images of a camera. If a traffic sign has been detected, in step 404 follows a determination of the visually recognizable content of the recognized traffic sign for a human observer, and in step 406 a determination of the location, for example by means of a navigation device.
  • data is obtained from the traffic sign from which either further information regarding the traffic sign can be directly extracted, or which enables the reference of further such information, for example by accessing a database.
  • the visually determined content is compared with the further information. Depending on the result of the comparison, the Traffic signs classified as validated or not validated (not shown in the figure).
  • Figure 5 shows an exemplary process flow of an aspect of the inventive method, using a ⁇ After direct exchange between parties on the actors.
  • the time sequence runs in the figure from top to bottom. It should be noted that not all messages must be sent every time the procedure is run. For example, it is sufficient to send the message from the database to the traffic sign only once. If the metadata encrypted with the private key is stored in the transmission device of the traffic sign, a retransmission is only necessary again if the metadata should have changed. At the beginning or before the implementation of the method, therefore, the metadata encrypted with the private key is first sent from the database to the traffic sign.
  • a camera apparatus (FTE) for traffic sign recognition takes on one or more images of the traffic sign and supplies it to a process Ver ⁇ periodic character recognition.
  • the traffic sign recognition device (VZE) used in the figure comprises all the necessary components for communication with the traffic sign or the database.
  • the traffic sign recognition device (VZE) performs traffic sign recognition for the one or more images of the camera and extracts the metadata from the one or more images of the camera.
  • the traffic sign recognition device (VZE) sends a request for authentication to the traffic sign, which sends a corresponding reply.
  • the traffic sign recognition device (VZE) sends a request to the database to receive the public key of the traffic sign. With the public key received in response to the request from the database, the traffic sign recognition device (VZE) may decrypt the meta information encrypted with the private key extracted from the one or more images of the camera.
  • a session key may be negotiated between the traffic character recognition device (VZE) and the traffic sign, for example for securing the receipt of the public key from the database.
  • VZE traffic character recognition device
  • FIG. 6 shows an exemplary flowchart of one aspect of the method 600 according to the invention.
  • step 602 an image is firstly taken which is subjected to traffic sign recognition (not shown in the figure).
  • traffic sign recognition In the course of the traffic sign recognition, a database query can be carried out, for example in order to obtain reference images of valid traffic signs for a comparison (not shown in the figure). If no traffic sign has been detected, "no" branch from step 604, it is checked in step 608a whether an identification feature (M) is present in the image of the camera or otherwise detected as present, ie a feature via which If no identification feature was detected, "no" branch from step 608a, the method is applied to additional images taken after the image examined in this run of the method.
  • M identification feature
  • step 604 If a traffic sign was detected in step 604, "yes" branch of step 604, the content (IN) of the traffic sign is determined in step 606 and checked in step 608b, analogous to step 608a, if an identification feature (M) was detected . If no identification mark (M) has been recognized, "no" branch from step 608b, the content is (iN) of the traffic sign from ⁇ added, optionally with an additional indication that example. contents and location of the traffic sign does not by means of a Identification feature could be verified. If an identification feature has been identified in any one of steps 608a or 608b, respective "yes" branches of the steps, in step 610 additional traffic related data is obtained, for example by means of a database query, or by direct decoding of a feature representing the feature
  • step 612 a check is then made as to whether the traffic-related data is current and valid.
  • This step may also include a database query (not shown in the figure). If the data is not up-to-date, "no" branch from step 612, they are replaced with current data as part of the check in step 614.
  • the current or updated data is compared at step 616 with the content of the traffic sign determined in step 606. If there is a match, "yes" branch from step 616, in step 618, an output of the content or, optionally, the data is made, in which case there is no difference.
  • step 620 it is checked in step 620 whether the traffic sign determined in step 606 is a same category as the data related through the identification feature indicates exists, for example, when, as shown in Figure 7a, both indicate traffic sign a VELOCITY ⁇ keitsbegrenzung (traffic sign 274 of the German road traffic regulations), but specify different maximum speeds. in the example shown in the figure, a manipulation could be present, in which the number 30 was "converted” into an 80, which is possible with little effort. Different categories exist if eg.
  • the recognized traffic signs (250 of the German road traffic regulations traffic sign) indicates a ban on all types of vehicles that display purchased via the identification feature data, however, that the road sign indicating aivasbe ⁇ limitation, as shown in Figure 7b.
  • Here could be a manipulation by overpainting the number 60 with the background color white.
  • "yes" branch from step 620, in step 622 instead of the one in step 606 determined content in the determined from the data related to the identification feature content M issued.
  • “no" branch of step 620 no output is made, step 624a
  • step 624b either the content IN determined in step 606 or the retrieved content M is output, supplemented by an indication of validation failure.
  • the lack ⁇ beaten validation can optionally also be reported to the database so that appropriate measures to correct a possibly existing error can be made.
  • the output may be to a controller of the vehicle that performs control functions associated with autonomous or automated driving of the vehicle.
  • the output can alternatively or additionally also be made visually on a display in the field of vision of the driver, or acoustically by an appropriate voice output.
  • additional output can, for example, a decision on whether the vehicle should be controlled manually, be useful.
  • FIG. 8 shows a further exemplary flow chart of an aspect of the method 800 according to the invention.
  • a picture is taken of a camera (not shown) in a vehicle, and in step 804 an identification feature of a traffic sign is recognized in the picture.
  • a query is sent to a backend 801, step 806 to refer to the data with the identifi cation ⁇ traffic signs feature provided.
  • the data include, for example, information about the place of installation and content, but also to a permanent or temporary validity of the
  • a step 808 to the previously taken image on ⁇ associated GPS position of the vehicle from a corresponding, arranged in the vehicle device (not shown) is queried. If the requested position matches the position received from the backend, in step 810 the position is acknowledged to the backend.
  • the content of the traffic sign is recognized, for example by means of a Device or software for image recognition (not shown). If the recognized content of the traffic sign matches the referenced content, in step 814, the content is acknowledged to the backend.
  • step 816 it is checked whether the image analysis information on the validity of the traffic sign provides ge ⁇ has, therefore, whether the traffic signal at the current day and the current time is valid already or still.
  • Such an indication can be made, for example, via additional signs affixed to the traffic sign, which indicate a beginning and an end of the validity and which can be evaluated by image recognition and optical character recognition (OCR). If validation information has been recognized and it matches the information received from the backend, then in step 818, a corresponding acknowledgment is sent to the backend. If no validity data has been recognized, but the traffic sign is still valid at the current day and time, an acknowledgment may be made to the backend at step 818 that the traffic sign is still set up at the intended location. Likewise, if no validity information was recognized, and
  • Traffic sign on the current day and should no longer be placed in the place at the present time made in step 818 a corresponding message to the backend that the traffic sign is still placed in the intended position.
  • FIG. 9 shows a further schematic example of an aspect of the method 900 according to the invention.
  • an image is first recorded by a vehicle-mounted camera (not shown) in step 902, and an identification feature of a traffic sign is recognized in the image in step 904 .
  • a time synchronization takes place between the vehicle and the backend or database, wherein information tions from the identification feature for a connection ⁇ construction can be used for this purpose.
  • the time synchronization can alternatively or additionally also take place via other channels, for example via a signal received from a satellite navigation system, in which case a connection setup for this purpose is not necessary.
  • a public key for the traffic sign is obtained from the backend or database after establishing a corresponding connection.
  • step 910 a secure connection is established between the vehicle and the backend.
  • step 912 the
  • the data include, for example, information about the location and content, but also to a permanent or temporary validity of the traffic sign.
  • the site provided by the database may also include a map section with additional geodesics used for verification. At least parts of the
  • Identification features can be encrypted to complicate mani pulations, eg with a private key of a key pair.
  • This encrypted part can be decrypted with the public key received in step 908 in order to enable a comparison of the data received from the backend and that transmitted by the identification feature. If the private key does not match the received public key, ie the encrypted information can not be decrypted, it can be assumed with great probability that a manipulation exists. If a match is obtained from the database data and the content determined by a traffic sign recognition then ent ⁇ speaking message to the backend is made in step 918, that the current to the Time the traffic sign was recognized and validated at the current geoposition.
  • FIG. 10 shows a simplified exemplary block diagram of an on-vehicle device 1000 for carrying out the method according to the invention.
  • a camera 1002 is communicatively connected to a microprocessor 1004, a random access memory 1006, a non-volatile memory 1008, an interface 1010 for outputting a result of the verification, and a device 1012 for determining a position of a vehicle, directly or indirectly via one or more data buses 1014.
  • the nonvolatile memory 1008 contains ⁇ Compu ter-program instructions which, when executed by the microprocessor 1004, in conjunction with the RAM 1006, and optionally with access to other system components that perform one or more aspects of the inventive method.

Abstract

Ein Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen umfasst eine Detektion eines Verkehrszeichens in einem oder mehreren Bildern mindestens einer Kamera. Mittels Bildanalyse wird der für einen Menschen visuell erkennbare Inhalt des in dem Bild abgebildeten Verkehrszeichens bestimmt. Außerdem wird der Aufstellort des Verkehrszeichens bestimmt, und es werden für einen Menschen nicht unmittelbar erkennbare oder interpretierbare Daten bezogen, die von dem Verkehrszeichen bereitgestellt werden, und die zumindest den Inhalt und den Aufstellort des Verkehrszeichens repräsentieren. Bei Übereinstimmung der bestimmten und der von dem Verkehrszeichen bezogenen Daten wird der Inhalt des Verkehrszeichens einem Fahrer des Fahrzeugs zur Information angezeigt oder bekannt gegeben. Alternativ oder zusätzlich kann der Inhalt des Verkehrszeichens einem System zur Fahrzeugbeeinflussung zugeführt werden. Bei Nicht-Übereinstimmung kann eine weitere automatische Plausibilitätsprüfung oder eine Rückfrage bzw. Information an den Fahrer erfolgen.

Description

Beschreibung
Bezeichnung der Erfindung Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
Gebiet der Technik Die vorliegende Erfindung bezieht sich auf die Verifikation zumindest des Inhalts und des Aufstellorts von Verkehrszeichen.
Stand der Technik Vorrichtungen zur Verkehrszeichenerkennung sind seit einiger Zeit in vielen Kraftfahrzeugen vorgesehen, bspw. um einen Fahrer auf eine an einem Ort und/oder an einem Tag und/oder zu einer Tageszeit geltende Geschwindigkeitsbeschränkung oder auf ein Überholverbot hinzuweisen. Häufig wird ein erkanntes Ver- kehrszeichen dem Fahrer auf einem Display im Instrumentencluster angezeigt, oder auf einem Display eines Navigationssystems. Der Fahrer kann somit zu jeder Zeit überprüfen, welche Beschränkung des Verkehrs gerade gültig ist, auch wenn er das Verkehrszeichen z.B. wegen einer Ablenkung nicht selbst wahrgenommen hat.
Die Verkehrszeichenerkennung erfolgt üblicherweise mittels einer Kamera, deren Bilder einem Obj ekterkennungs-Algorithmus zugeführt werden. Der Obj ekterkennungs-Algorithmus erkennt, bspw. anhand von in einer im Fahrzeug angeordneten Datenbank gespeicherten Grundmustern, Kandidaten-Objekte, also Objekte, die ein Verkehrszeichen repräsentieren könnten, und vergleicht diese Kandidaten-Objekte mit in einer Datenbank gespeicherten Erkennungsmerkmalen oder repräsentativen Bildern von Verkehrszeichen. Wenn eine Übereinstimmung gefunden wurde, kann das Verkehrszeichen angezeigt werden. Einige Vorrichtungen zur Verkehrszeichenerkennung führen noch eine Prüfung auf durch Zusatzschilder gekennzeichnete, bedingt geltende Verkehrszeichen durch. Beispielsweise kann bei nur zu bestimmten Tageszeiten geltende Verkehrsbeschränkungen ein Abgleich mit der gegenwärtigen Uhrzeit erfolgen, oder bei nur für bestimmte Fahrzeugarten geltenden Verkehrszeichen können diese ignoriert werden, wenn das Fahrzeug, in dem die Vorrichtung zur Verkehrszeichenerkennung eingebaut ist, zu einem anderen Fahrzeugtyp gehört, für den die Verkehrsbeschränkung nicht gilt.
Eine Verkehrszeichenerkennung ist auch für autonom oder automatisiert fahrende Fahrzeuge wichtig, um beispielsweise die Geschwindigkeit und die Fahrtrichtung an die jeweilige Situation anpassen zu können. Hierzu sind in der Datenbank zusätzlich zu den Vergleichsbildern oder anderen für eine Erkennung notwendigen Daten Informationen über zulässige oder notwendige Aktionen zur Fahrzeugsteuerung gespeichert, bspw. eine entsprechende Fahrtrichtungsänderung oder ein Vorgabewert für eine zulässige Höchstgeschwindigkeit, der an eine Vorrichtung zur Fahrzeugsteuerung weitergeleitet wird.
Gerade im Fall von automatisiert oder autonom fahrenden
Fahrzeugen eröffnet sich durch eine hier vorgesehene Verkehrszeichenerkennung eine Möglichkeit, von außen unbefugt Einfluss auf die Fahrweise des Fahrzeugs zu nehmen, weil eine situative Einordnung von Verkehrszeichen als Plausibilitäts- kontrolle nicht erfolgt. So kann beispielsweise ein als „Mutprobe" in einer Tempo-30-Zone aufgestelltes, an anderer Stelle entwendetes Verkehrszeichen, das eine Geschwindig- keitsbegrenzung auf 80 km/h anzeigt, von der Verkehrszei¬ chenerkennung nicht einfach als falsch erkannt werden und könnte dazu führen, dass ein automatisiert oder autonom fahrendes Fahrzeug mit einer zu hohen Geschwindigkeit fährt. Auch andere Manipulationen von Verkehrszeichen sind bereits vorgekommen. So wurden Verkehrszeichen von selbsternannten Künstlern durch hinzufügen von Bildelementen derart „verziert", dass ein menschlicher Betrachter das zugrundeliegende Verkehrszeichen zwar noch als solches erkennen kann, möglicherweise unter Zuhilfenahme des Kontexts des AufStellorts, eine Verkehrs¬ zeichenerkennung dieses „verzierte" Verkehrszeichen jedoch nicht mehr als solches erkennen kann. Beispiele hierfür sind in den Figuren 1 und 2 gezeigt.
Eine Lösung für dieses Problem besteht darin, von einer Verkehrszeichenerkennung erkannte Verkehrszeichen und deren Aufstellorte mit entsprechenden Einträgen in einer Datenbank abzugleichen. Der Aufstellort eines erkannten Verkehrszeichens wird dabei mittels eines Navigationssystems des Fahrzeugs bestimmt, z.B. mittels eines im Fahrzeug eingebauten Satel¬ litennavigationssystems. Die Datenbank kann im Fahrzeug an¬ geordnet sein, oder es wird über eine drahtlose Kommunikati- onsverbindung auf eine außerhalb des Fahrzeugs angeordnete Datenbank zugegriffen. Voraussetzung hierfür ist eine vollständige und stets auf dem aktuellen Stand gehaltene Datenbank. Die Aktualisierung von in einzelnen Fahrzeugen angeordneten Datenbanken ist jedoch aufwendig, und eine zeitnahe Aktuali- sierung kann nicht immer garantiert werden. Ebenso ist es möglich, dass eine Verbindung zu einer außerhalb des Fahrzeugs angeordneten Datenbank möglicherweise nicht an jedem Ort aufgebaut werden kann. Darüber hinaus ist eine umfassende zeitnahe Aktualisierung bei nur vorübergehend aufgestellten oder beweglichen Verkehrszeichen, wie z.B. an Tagesbaustellen aufgestellten oder an langsam fahrenden Straßenkontrollfahrzeugen angebrachten Verkehrszeichen, nahezu unmöglich. Auch bei Verkehrszeichen, die an Orten aufgestellt sind, an denen keine genaue Positionsbestimmung durch ein Navigationssystem erfolgen kann, z.B. in Tunneln, kann das bekannte Verfahren nicht immer zuverlässige und vertrauenswürdige Ergebnisse hervorbringen.
Zusammenfassung der Erfindung Es ist daher eine Aufgabe der vorliegenden Erfindung, ein
Verfahren und eine Vorrichtung anzugeben, die eine Überprüfung von Verkehrszeichen auf ihren Inhalt und ihren Aufstellort ermöglichen. Der Inhalt eines Verkehrszeichens bezieht sich dabei auf den semantischen Inhalt, also die Bedeutung eines Verkehrszeichens für einen Fahrer eines Fahrzeugs oder ein autonom bzw. automatisiert fahrendes Fahrzeug.
Zum Zwecke der Validierung werden Verkehrszeichen mit zusätzlichen Identifizierungsmerkmalen ausgestattet die sich automatisch elektronisch überprüfen lassen. Die Identifizierungsmerkmale umfassen beispielsweise digital kodierte In- formationen. Die digital kodierten Informationen können von dem Verkehrszeichen grundsätzlich unverschlüsselt bereitgestellt werden, es ist aber auch möglich zumindest Teile der digital kodierten Informationen verschlüsselt bereitzustellen, z.B. um Manipulationen zu erschweren. Die Identifizierungsmerkmale können auf unterschiedliche Weise bereitgestellt werden, z.B. als zusätzliche optische Merkmale oder als drahtlos vom Ver¬ kehrszeichen zu einem entsprechenden Empfänger übertragene Merkmale. Die Validierung oder Verifikation des Verkehrszeichens wird also anhand von Merkmalen durchgeführt, die über einen von der bloßen visuellen Erkennung des semantischen Inhalts des
Verkehrszeichens in dem Kamerabild hinausgehenden, unabhängigen Weg bezogen werden. Die weiteren Merkmale umfassen u.a. Informationen, die den Standort, die Gültigkeitsdauer, die Ausrichtung und den semantischen Inhalt des Verkehrszeichens repräsentieren.
Ein erfindungsgemäßes Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen umfasst eine Detektion eines Verkehrszeichens in einem oder mehreren Bildern mindestens einer Kamera. Aus mindestens einem von der Kamera aufgenommenen Bild, in dem ein Verkehrszeichen erkannt wurde, wird mittels Bild¬ analyse der für einen Menschen visuell erkennbare Inhalt des in dem Bild abgebildeten Verkehrszeichens bestimmt. Die Detektion des Verkehrszeichens und die Bestimmung des für einen Menschen visuell erkennbaren Inhalts des Verkehrszeichens können auf konventionelle Weise erfolgen. Außerdem wird der Aufstellort des Verkehrszeichens bestimmt, und es werden für einen Menschen nicht unmittelbar erkennbare oder interpretierbare Daten bezogen, die von dem Verkehrszeichen bereitgestellt werden, und die zumindest den Inhalt und den Aufstellort des Verkehrszeichens repräsentieren. Der Begriff „repräsentieren" umfasst dabei auch eine mittelbare Reprä¬ sentation, bspw. durch Daten, die einen Bezug entsprechender Informationen aus einer Datenbank ermöglichen. Schließlich wird ein Vergleich der bestimmten und der bezogenen Daten durch- geführt.
Die Bestimmung des Aufstellorts des Verkehrszeichens kann beispielsweise mittels einer Navigationsvorrichtung eines das Verfahren ausführenden Fahrzeugs erfolgen, welche ohnehin kontinuierlich oder in kurz aufeinanderfolgenden Zeitintervallen eine jeweilige gegenwärtige Position des Fahrzeugs bestimmt. Eine solche Navigationsvorrichtung kann beispiels¬ weise eine Satellitennavigationsvorrichtung und/oder eine Koppelnavigationsvorrichtung umfassen. Die Navigationsvor- richtung kann z.B. auch dazu eingerichtet sein, mittels Abgleich von Daten, die die Position auf der Erdoberfläche repräsentieren, mit einer digitalen Landkarte und darin enthaltenen Verkehrswegen, eine genauere Position zu ermitteln. Sobald ein Verkehrszeichen erkannt worden ist kann aus den bekannten optischen Eigenschaften der Kamera, welche das Bild des Verkehrszeichens aufgenommen hat, und der Position des Fahrzeugs zum Zeitpunkt der Aufnahme des Bildes des Verkehrszeichens die Position des Verkehrszeichens bestimmt werden. Gemäß einem Aspekt des Verfahrens werden die von dem Ver¬ kehrszeichen bereitgestellten Daten mittels mindestens einer Kamera bezogen. Die Kamera kann dabei die gleiche Kamera sein, die zur Erkennung des Verkehrszeichens verwendet wurde. Die für einen Menschen nicht unmittelbar erkennbaren oder interpre- tierbaren Daten können beispielsweise in Form eines ein- oder zweidimensionalen binären Codes vorliegen, der Bestandteil des Verkehrszeichens ist. Ein Beispiel für einen eindimensionalen binären Code ist ein Strichcode (Barcode) , ein Beispiel für einen zweidimensionalen binären Code ist ein so genannter Quick Response-Code (QR-Code) . Gemäß dem vorliegenden Aspekt der Erfindung ist ein Barcode oder QR-Code auf der Vorderseite des Verkehrszeichens angebracht. Der Code enthält Informationen über den Inhalt und den Aufstellort des Verkehrszeichens, oder eine Identifikation des Verkehrszeichens und eine Referenz auf eine Datenbank, in der die entsprechenden Informationen für das Verkehrszeichen abrufbar gespeichert sind. Der Code kann auch Informationen darüber enthalten, für welche Fahrspur einer mehrspurigen Richtungsfahrbahn das Verkehrszeichen gültig ist, für welche Fahrtrichtung, oder welche Zertifizierungsstelle das Verkehrszeichen zertifiziert hat. Die Fahrtrichtung kann dabei beispielsweise in Form einer Kompassweisung, also in einer auf eine Nordrichtung bezogene Grad-Angabe, oder als Angabe eines in Fahrtrichtung liegenden Ortes erfolgen, z.B. „Richtung
Frankfurt" .
Gemäß einem Aspekt des Verfahrens werden die von dem Ver- kehrszeichen bereitgestellten Daten mittels eines lichtempfindlichen Sensors bezogen. Der lichtempfindliche Sensor kann dabei in einem für Menschen sichtbaren Spektrum empfindlich sein, es ist aber auch möglich, dass der lichtempfindliche Sensor in einem für Menschen nicht sichtbaren Spektrum empfindlich ist, beispielsweise für Licht im Infrarot-Spektrum. Das Verkehrs¬ zeichen ist mit einer entsprechenden Lichtquelle ausgestattet, welche codierte Daten durch geeignete Modulation des von der Lichtquelle ausgestrahlten Lichts übermittelt, welches von dem lichtempfindlichen Sensor empfangen und in dem Fahrzeug de- moduliert und dekodiert wird. Vorzugsweise wird die Daten¬ übertragung im Infrarot-Spektrum durchgeführt, sodass eine Ablenkung eines Fahrers des Fahrzeugs durch die Lichtquelle ausgeschlossen ist. Sofern die in dem Fahrzeug für die Verkehrszeichenerkennung vorgesehene Kamera im Infrarot-Spektrum empfindlich genug und die Bildaufnahmerate hoch genug ist, kann sie als Sensor für den Empfang der von dem Verkehrszeichen bereitgestellten Daten dienen. In einer Variante des vorhergehenden Aspekts des Verfahrens ist die Lichtquelle des Verkehrszeichens eine Matrix-Lichtquelle, welche durch geeignete Kodierung der Matrix Daten übermittelt. Je nach Größe der Matrix können größere Datenmengen durch eine sequenzielle Ansteuerung der Matrix zur Anzeige aufeinanderfolgender, unterschiedlicher Muster übermittelt werden. Die Matrix kann auch bei dieser Variante des Verfahrens Licht im sichtbaren Spektrum oder im Infrarot-Spektrum aussenden. Der entsprechende lichtempfindliche Sensor muss dabei zumindest in der Lage sein, die einzelnen Elemente der Matrix unterscheidbar zu erfassen. Auch bei dieser Variante des Verfahrens kann dazu die in dem Fahrzeug für die Verkehrszeichenerkennung vorgesehene Kamera verwendet werden, sofern sie in dem von dem Verkehrs- zeichen ausgesendeten Lichtspektrum empfindlich genug ist und, wenn sequenziell aufeinanderfolgende Muster übermittelt werden, die Bildaufnahmerate hoch genug ist.
Gemäß einem Aspekt des Verfahrens werden die von dem Ver- kehrszeichen bereitgestellten Daten mittels eines Funkempfängers bezogen. Geeignete Funkstrecken sind beispielsweise Varianten des in dem IEEE 802.11 Standard festgelegten, auch unter dem Namen WLAN oder WiFi bekannten Übertragungssystems, aber auch Varianten des in dem IEEE 802.15.1 Standard fest- gelegten, unter dem Namen Bluetooth bekannten Übertragungssystems. Andere drahtlose Übertragungssysteme, u.a. unter Verwendung der unter den Namen Z-Wave oder ZigBee bekannten Kommunikationsstandards, können ebenfalls verwendet werden, sofern Reichweite und Daten-Übertragungsrate sowie die für den Verbindungsaufbau benötigte Zeit ausreichen. Das Verkehrs¬ zeichen ist dabei mit einem entsprechenden Sender ausgestattet, und das Fahrzeug ist mit einem geeigneten Empfänger ausgestattet .
Die von dem Verkehrszeichen bezogenen Informationen können anstelle oder zusätzlich zu einer eindeutigen Identifikation des Verkehrszeichens, dem Inhalt und dem Aufstellort einen Hashwert über die für eine Verifikation relevanten Daten beinhalten. Wenn nur der Hashwert von dem Verkehrszeichen bereitgestellt wird, kann er mit einem für die geographische Position des Verkehrszeichens geltenden Hashwert verglichen werden, der von einer Datenbank bezogen wird. Die Verwendung von Hashwerten kann die Menge der von der Datenbank zu beziehenden und zu vergleichenden Daten verringern.
Bei den Aspekten des vorliegenden Verfahrens, bei denen auf eine Datenbank zugegriffen wird, können die Daten für einen Vergleich der von dem Verkehrszeichen bezogenen Informationen grundsätzlich in einer fahrzeuginternen oder in einer fahrzeugexternen Datenbank gespeichert sein. Auf die Datenbank kann unter Verwendung der von einem Verkehrszeichen bezogenen Informationen oder der geographischen Position eines erkannten Verkehrs- Zeichens zugegriffen werden.
Gemäß einem Aspekt des Verfahrens sind zumindest Teile der von dem Verkehrszeichen bezogenen Daten über eine Kodierung hinaus verschlüsselt. Die Verschlüsselung kann dazu dienen, eine Manipulation der von dem Verkehrszeichen bereitgestellten Daten zu erschweren. Eine solche Manipulation wäre zum Beispiel nötig, um ein an einem Ort entwendetes Verkehrszeichen, welches an einem anderen Ort aufgestellt wird, dazu zu bringen, mit dem neuen Aufstellort korrespondierende Daten bereitzustellen.
Bei einer Ausführungsform dieses Aspekts des Verfahrens wird über den Inhalt der von dem Verkehrszeichen bereitgestellten Daten ein Hashwert ermittelt, der ebenfalls Bestandteil der von dem Verkehrsschild bereitgestellten Zusatzinformationen ist. Der Hashwert wird beispielsweise von einer offiziellen und ver¬ trauenswürdigen Stelle mit einem geheimen privaten Schlüssel erstellt. Zur Überprüfung des Inhalts des Verkehrszeichens muss der prüfenden Einheit, beispielsweise dem Fahrzeug welches das Verkehrszeichen erkannt hat und überprüfen möchte, der zu dem privaten Schlüssel zugehörige öffentliche Schlüssel bekannt sein, damit der verschlüsselte Hashwert entschlüsselt werden kann . Der oder die öffentlichen Schlüssel können in einem entsprechenden Speicher oder in einer entsprechenden Datenbank im Fahrzeug gespeichert sein. Die Verteilung bzw. Aktualisierung der im Fahrzeug gespeicherten öffentlichen Schlüssel an prüfende Einheiten kann beispielsweise täglich zu festgelegten Zeiten erfolgen, etwa wenn ein Fahrzeug sich in Reichweite eines Drahtlosnetzwerks befindet, zum Beispiel wenn ein Fahrzeug in der heimischen Garage in Reichweite des WLAN-Netzwerks des Fahr- zeughalters abgestellt ist. Um die Anzahl zu übertragender und zu speichernder öffentlicher Schlüssel klein zu halten kann vorgesehen sein, nur Schlüssel für eine bestimmte Region oder nur Schlüssel für eine geplante Route zu laden. Dabei kann die Region, für welche die Schlüssel geladen werden, dynamisch mittels Analyse von in der Vergangenheit durchgeführten Fahrten und für unterschiedliche Benutzer angepasst werden.
Die öffentlichen Schlüssel können jedoch auch situationsabhängig bei Bedarf geladen werden, bspw. wenn ein Verkehrszeichen erkannt wurde. Dabei kann ein Schlüssel für ein bestimmtes, gerade erkanntes Verkehrszeichen geladen werden, oder es werden zusätzlich Schlüssel für in der Nähe des erkannten Verkehrszeichens befindliche Verkehrszeichen geladen. Dadurch kann die Anzahl der Verbindungsaufbau-Vorgänge zu einer nicht im Fahrzeug ange- ordneten Datenbank bzw. zu einem Server reduziert werden, ohne besonders hohe Anforderungen an die Größe des Speichers im Fahrzeug zu stellen.
Wie bereits weiter oben unter einem Aspekt des Verfahrens erwähnt können die von dem Verkehrszeichen bereitgestellten Daten einen Link auf eine Datenbank umfassen, von der der Aufstellort und der Inhalt des Verkehrszeichens abgerufen werden kann. Zweckmä¬ ßigerweise umfassen die von dem Verkehrszeichen bereitgestellten Daten auch eine eindeutige Identifikation des Verkehrszeichens.
Gemäß einem Aspekt des Verfahrens erfolgt die Bestimmung des Aufstellorts mittels eines Abgleichs von in der Umgebung des Verkehrszeichens befindlichen, visuell erkennbaren Landmarken und entsprechenden Bildern in einer Datenbank. Hierbei wird von dem Verkehrszeichen ein entsprechender Link auf eine Datenbank bereitgestellt, mittels dessen ein oder mehrere Bilder der Umgebung des Verkehrszeichens von der Datenbank bezogen werden können. Landmarken sind zweckmäßigerweise Objekte oder Topo¬ graphische Merkmale bei denen eine signifikante Veränderung nicht zu erwarten ist oder die nur sehr langsam oder selten erfolgt, und die in einem von einer Kamera aufgenommenen Bild leicht wiederzuerkennen sind. Landmarken können auch dauerhaft auf der Fahrbahn angebrachte Markierungen umfassen. Die für die Erkennung des Verkehrszeichens verwendete Kamera des Fahrzeugs kann dabei so eingerichtet sein, dass das aufgenommene Bild einen hinreichend großen, für einen Vergleich geeigneten Bereich der Umgebung des Verkehrszeichens aufnimmt. Alternativ können ein oder mehrere weitere Kameras im Fahrzeug vorgesehen sein, deren Bilder für den Vergleich geeignet sind. Diese Kameras können beispielsweise auch zur Erfassung der Umgebung des Fahrzeugs für einen autonomen oder teilautonomen bzw. automatisierten
Fahrbetrieb vorgesehen sein.
Gemäß einem Aspekt des erfindungsgemäßen Verfahrens wird die Länge einer Strecke zwischen zwei Verkehrszeichen dazu verwendet, ein jeweils nächstes Verkehrszeichen zu verifizieren. Dabei erkennt eine Verkehrszeichenerkennung in einem Fahrzeug zunächst ein Verkehrszeichen und verifiziert es beispielsweise gemäß einem der vorstehend beschriebenen Aspekte des Verfahrens. Im Zuge der Verifizierung wird die Länge der Strecke zum nächsten Verkehrszeichen bzw. dessen Aufstellort und dessen Inhalt an das Fahrzeug übertragen. Wenn das nächste Verkehrszeichen erkannt wird, wird zunächst geprüft, ob die zurückgelegte Strecke seit dem letzten erkannten Verkehrszeichen mit dem übertragenen Wert oder einem aus dessen Aufstellort bestimmten Wert übereinstimmt. Zur Bestimmung der Länge der Strecke kann der Wegstreckenzähler des Fahrzeugs verwendet werden, der ohnehin kontinuierlich mitläuft. Wenn bei diesem Aspekt temporär Verkehrszeichen zwischen zwei fest aufgestellten Verkehrszeichen aufgestellt werden können diese ihrerseits eine entsprechende Information übermitteln, die anzeigt, dass sie nur temporär aufgestellt sind und für diese Art der Verifikation ignoriert werden sollen. Erfindungsgemäß wird bei Übereinstimmung der bestimmten und der bezogenen Daten der Inhalt des Verkehrszeichens einem Fahrer des Fahrzeugs zur Information angezeigt oder bekannt gegeben. Alternativ oder zusätzlich kann der Inhalt des Verkehrszeichens einem System zur Fahrzeugbeeinflussung zugeführt werden. Bei Nicht-Übereinstimmung kann eine weitere automatische Plausi- bilitätsprüfung oder eine Rückfrage an den Fahrer erfolgen, oder eine entsprechende Meldung an eine fahrzeugexterne Datenbank.
Gemäß einem Aspekt des Verfahrens werden aus von beweglichen oder vorübergehend aufgestellten Verkehrszeichen bereitgestellten Daten Informationen extrahiert, die über die besondere Eigenart des Verkehrszeichens informieren. Bei vorübergehend aufge¬ stellten Verkehrszeichen kann diese zusätzliche Information zum Beispiel dazu dienen, bei einem erfolglosen Versuch eines Zugriffs auf eine Datenbank zum Zwecke der Verifikation das
Verkehrszeichen dennoch als vertrauenswürdig einzustufen. Ein solcher erfolgloser Versuch eines Zugriffs kann beispielsweise vorliegen, wenn keine Verbindung zur Datenbank aufgebaut werden kann. Ein erfolgloser Versuch eines Zugriffs auf eine Datenbank kann aber auch dann vorliegen, wenn für das Verkehrszeichen kein Bild einer Umgebung zum Zwecke des Vergleichs bezogen werden kann, beispielsweise weil bei der Aufstellung des Verkehrs¬ zeichens vergessen wurde ein oder mehrere entsprechende Bilder anzufertigen und in der Datenbank abzuspeichern.
Bei diesem Aspekt kann ein geringerer Grad der Vertrauenswürdigkeit als bei einer vollständigen Verifikation nach einem erfolgreichen Zugriff auf die Datenbank zugeordnet werden. Ein geringerer Grad der Vertrauenswürdigkeit kann beispielsweise den Umfang der Berücksichtigung des Inhalts des Verkehrszeichens für Belange des autonomen oder automatisierten Fahrens beeinflussen und kann zum Beispiel dazu führen, dass die Kontrolle über das Fahrzeug an den Fahrer zurückgegeben wird.
Bei einem beweglichen Verkehrszeichen können die von dem Verkehrszeichen bereitgestellten Daten mit der Zeit variieren, beispielsweise wenn die sich verändernde Position des Ver¬ kehrszeichens in den von dem Verkehrszeichen übermittelten Daten berücksichtigt wird. Da bei einem Verkehrszeichen der Regel von einem festen Aufstellort ausgegangen wird könnten über die Zeit variable Positionsdaten als Fehler aufgefasst werden und das Verkehrszeichen als ungültig interpretiert werden. Bei einem beweglichen Verkehrszeichen, das eine entsprechende Information über seine besondere Eigenart bereitstellt oder jeweils aktuelle Positionsdaten bereitstellt, würden die über die Zeit verän- derlichen Positionsdaten nicht automatisch dazu führen, dass das Verkehrszeichen als ungültig interpretiert wird.
Die Verifikation mittels eines Abgleichs von Bildern der Umgebung des Verkehrszeichens mit entsprechenden von einer Datenbank bezogenen Bildern ist im Falle eines beweglichen Verkehrszeichens nahezu unmöglich. Eine entsprechende Datenbankabfrage wird fast immer scheitern. Auch in diesem Fall würde bei einem beweglichen Verkehrszeichen, dass eine entsprechende Information über seine besondere Eigenart bereitstellt, das Scheitern eines Bildvergleichs nicht automatisch dazu führen, das Ver¬ kehrszeichen als ungültig zu interpretieren. Es ist jedoch auch in diesem Fall möglich, dem Verkehrszeichen einen geringeren Grad der Vertrauenswürdigkeit zuzuordnen, was analog zu dem weiter oben beschriebenen Beispiel der vorübergehend aufgestellten Verkehrszeichen zu entsprechenden Handlungsoptionen führt.
Eine Vorrichtung zur Durchführung des vorliegenden Verfahrens umfasst mindestens eine Kamera, mindestens einen Mikroprozessor mit Arbeitsspeicher und nicht-flüchtigem Speicher und mindestens eine Vorrichtung zur Bestimmung einer gegenwärtigen Position auf der Erdoberfläche. Der nicht-flüchtige Speicher enthält Com¬ puterprogrammbefehle welche, wenn sie von den Mikroprozessor in dem Arbeitsspeicher ausgeführt werden, die Verfahrensschritte eines oder mehrerer Aspekte des vorliegenden Verfahrens durchführen . Zur Durchführung einiger Aspekte des vorliegenden Verfahrens umfasst die Vorrichtung darüber hinaus noch einen oder mehrere lichtempfindlichen Sensoren und/oder einen oder mehrere
Funkempfänger, mittels derer die von dem Verkehrszeichen bereitgestellten Daten empfangen werden können.
Die Vorrichtung zur Durchführung des vorliegenden Verfahrens muss dabei nicht notwendigerweise in einem einzigen Gerät implementiert sein. Es ist auch möglich, einzelne Arbeits¬ schritte des Verfahrens in durch mittels eines Netzwerks für eine Datenübertragung verbundenen separaten Geräten auszuführen, wobei die Gesamtheit der mittels des Netzwerks verbundenen Geräte, die einzelne Arbeitsschritte des Verfahrens durchführen, zusammengenommen die Vorrichtung bildet. Unterschiedliche Verfahrensschritte können dabei parallel und ggf. in unter- schiedlichen verbundenen Geräten ablaufen, bspw. die Bestimmung des Aufstellorts und die Bestimmung des Inhalts des Ver¬ kehrszeichens .
Ein Verkehrszeichen, welches mittels des vorliegenden Verfahrens verifiziert werden kann, umfasst neben seiner physikalischen Manifestation, also neben seiner Form und Farbe, die in bekannter Weise unter Verwendung unterschiedlicher Materialien zu dem Objekt „Verkehrszeichen" vereint wurden, mindestens eine Vorrichtung zum Bereitstellen von Daten, die zumindest den Inhalt und den Aufstellort des Verkehrszeichens repräsentieren, und die für einen Menschen nicht unmittelbar erkennbar oder interpretierbar sind. Die Vorrichtung zum Bereitstellen von Daten kann dazu eingerichtet sein, in statischer Form durch ihre Erscheinung Daten bereitzustellen, beispielsweise in der Form eines Barcodes oder QR-Codes. Die Vorrichtung zum Bereitstellen von Daten kann jedoch auch dazu eingerichtet sein, Daten als zeitlich aufeinanderfolgende Abfolge von Signalen bereitzustellen, bei- spielsweise in Form von modulierten Licht- oder Funksignalen. In diesem Fall muss für eine vollständige Erfassung der Daten eine komplette Folge von Signalen über einen bestimmten Zeitraum erfasst werden.
Für das Verkehrszeichen ist unerheblich, ob die Bereitstellung der Daten dauerhaft ununterbrochen erfolgt, oder ob eine Be¬ reitstellung erst auf Anforderung und gegebenenfalls nach Durchlaufen eines Protokolls für einen Verbindungsaufbau stattfindet.
Ein erfindungsgemäßes System umfasst mindestens ein mittels des vorliegenden Verfahrens verifizierbaren Verkehrszeichen und mindestens eine in einem Fahrzeug angeordnete Vorrichtung zur Durchführung eines oder mehrerer Aspekte des vorliegenden Verfahrens .
Das Verfahren und die Vorrichtung sind in vorteilhafter Weise dazu geeignet, autonom oder automatisiert fahrende Fahrzeuge, die auf vertrauenswürdige Informationen aus ihrer Umgebung angewiesen sind, in die Lage zu versetzen, die Gültigkeit von mittels bekannter optischer Mittel erkannten Verkehrszeichen zusätzlich zu verifizieren. Hierbei können unter anderem der Inhalt des Verkehrszeichens und der Aufstellort verifiziert werden. Die Verifikation gibt dem autonom oder automatisiert fahrenden System aber auch einem menschlichen Fahrer die Sicherheit, sich auf das dargestellte bzw. erkannte Schild verlassen zu können. Dabei muss das Fehlen einer Zertifizierung oder eine fehlgeschlagene Verifikation nicht notwendigerweise auf eine Manipulation hindeuten. Das Fehlen einer Zertifizierung oder Verifikation kann aber die Reaktion eines autonom oder automatisiert fahrenden Fahrzeugs auf ein erkanntes Ver¬ kehrszeichen beeinflussen. Beispielsweise kann das autonome oder automatisierte Fahrzeug selbst entscheiden, ob es dem nicht verifizierten Schild Glauben schenkt, wenn dessen Inhalt der aktuellen Fahrsituation in einem zu großen Maß widerspricht, z. B. wenn ein eine Geschwindigkeitsbegrenzung auf 30 km/h an- zeigendes Verkehrszeichen bei einer Fahrt über eine Autobahn erkannt wurde. Es ist auch vorstellbar, dass bei einem nicht nach dem vorliegenden Verfahren verifizierten Verkehrszeichen weitere Sensoren, die sonst inaktiv sind, eingeschaltet werden, oder dass Vorgaben zu Beschleunigung, Stärke von Bremsvorgängen, Sicherheitsabständen und dergleichen auf Werte gesetzt werden, die eine größere Sicherheitsmarge mit sich bringen.
Kurze Beschreibung der Zeichnungen
Im Folgenden werden Aspekte der Erfindung mit Bezug auf die Zeichnung beschrieben. In der Zeichnung zeigt
Fig. 1 ein erstes Beispiel eines verfremdeten Verkehrs- Zeichens;
Fig. 2 ein zweites Beispiel eines verfremdeten Verkehrs¬ zeichens ;
Fig. 3 eine beispielhafte schematische Übersicht eines
Systems zur Durchführung eines Aspekts des erfin- dungsgemäßen Verfahrens;
Fig. 4 ein stark vereinfachtes Flussdiagramm eines Aspekts des erfindungsgemäßen Verfahrens;
Fig. 5 einen beispielhaften Verfahrensablauf eines Aspekts des erfindungsgemäßen Verfahrens;
Fig. 6 ein beispielhaftes Flussdiagramm eines Aspekts des erfindungsgemäßen Verfahrens;
Fig. 7a ein Beispiel für ein Verkehrszeichen, das durch
Manipulation einen neuen Inhalt der gleichen Kategorie erhalten hat;
Fig. 7b ein Beispiel für ein Verkehrszeichen, das durch
Manipulation einen neuen Inhalt einer anderen Kategorie erhalten hat;
Fig. 8 ein weiteres beispielhaftes Flussdiagramm eines
Aspekts des erfindungsgemäßen Verfahrens;
Fig. 9 ein weiteres schematisches Beispiel eines Aspekts des erfindungsgemäßen Verfahrens; und Fig. 10 ein vereinfachtes exemplarisches Blockdiagramm einer fahrzeugseitigen Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens . Beschreibung der Ausführungsbeispiele
In den Figuren der Zeichnung sind gleiche oder ähnliche Elemente mit den gleichen Bezugszeichen bezeichnet. Die Figuren 1 und 2 zeigen verfremdete Verkehrszeichen, hier das Verbot der Einfahrt in eine nur für den Gegenverkehr freigegebene Straße oder Fahrbahn. Die Bedeutung der Verkehrszeichen ist für einen Menschen noch erkennbar, eine kamerabasierte Verkehrs¬ zeichenerkennung kann den Inhalt jedoch nicht sicher erkennen.
Figur 3 zeigt eine beispielhafte Darstellung eines Systems 300 zur Durchführung eines Aspekts des erfindungsgemäßen Verfahrens . Ein Verkehrszeichen 302 ist mit einer Vorrichtung 304 zur Übertragung zusätzlicher Metainformationen ausgestattet, z.B. einem QR-Code oder einem Sender zur drahtlosen Übertragung der Metainformationen über eine Funkverbindung. Ein Fahrzeug 306, das sich dem Verkehrszeichen 302 nähert, ist mit einer Vorrichtung 308 zur optischen Verkehrszeichenerkennung ausgestattet, dargestellt durch die stilisierte Kamera. Das Ver- kehrszeichen 302 liegt innerhalb des Erfassungsbereichs der Vorrichtung 308, wie durch die von der Kamera ausgehenden, gestrichelten Linien angedeutet, und wird in bekannter Weise erkannt. Ein in oder an dem Fahrzeug 306 angeordneter Empfänger 310 empfängt zusätzliche Metainformationen von der Vorrichtung 304 des Verkehrszeichens 302. Der Empfang kann einen vorherigen Verbindungsaufbau erfordern, bspw. bei einer Übertragung der Metainformationen über eine Funkverbindung. Die Übertragung der Metainformationen ist durch den gepunkteten Doppelpfeil zwischen der Vorrichtung 304 und dem Empfänger 310 angedeutet. Die Metainformationen erlauben es, den semantischen Inhalt des durch die Vorrichtung 308 erkannten Verkehrszeichens und seinen Aufstellort zu überprüfen. Die Überprüfung kann beispielsweise mittels einer in oder an dem Fahrzeug 306 angeordneten Vorrichtung 312 erfolgen, die auf eine Datenbank 314 zugreift. So sind beispielsweise die von der Vorrichtung 304 übertragenen Metainformationen mit einem privaten Schlüssel verschlüsselt, um Manipulationen der Metainformationen zu verhindern oder zumindest zu erschweren, und können nur mit einem entsprechenden öffentlichen Schlüssel entschlüsselt werden. Der private Schlüssel kann beispielsweise in der Datenbank 314 generiert und gespeichert, und an die Vorrichtung 304 übertragen worden sein. Der Empfänger 310 empfängt die mit dem privaten Schlüssel verschlüsselten Metainformationen von der an dem Verkehrszeichen 302 angeordneten Vorrichtung 304. Die Vorrichtung 312 übermittelt eine Nachricht mit dem privaten Schlüssel an die Da¬ tenbank 314 und empfängt, in Antwort auf die Nachricht, eine Nachricht mit einem zu dem privaten Schlüssel passenden öf¬ fentlichen Schlüssel von der Datenbank 314. Mit den nun in dem Fahrzeug 306 vorliegenden privaten und öffentlichen Schlüsseln können die von dem Verkehrszeichen 302 empfangenen Metadaten entschlüsselt werden, und der von der Vorrichtung 308 erkannte Inhalt des Verkehrszeichens mit den Metainformationen verglichen werden .
Figur 4 zeigt ein stark vereinfachtes Flussdiagramm eines Aspekts des erfindungsgemäßen Verfahrens. In Schritt 402 erfolgt eine Verkehrszeichenerkennung in zuvor aufgenommenen Bildern einer Kamera. Wenn ein Verkehrszeichen erkannt wurde, folgt in Schritt 404 eine Bestimmung des für einen menschlichen Betrachter visuell erkennbaren Inhalts des erkannten Verkehrszeichens, und in Schritt 406 eine Bestimmung des AufStellorts, bspw. mit Hilfe einer Navigationsvorrichtung. Für das erkannte Verkehrszeichen werden in Schritt 408 Daten von dem Verkehrszeichen bezogen, aus denen entweder unmittelbar weitere Informationen bezüglich des Verkehrszeichens extrahiert werden können, oder die den Bezug weiterer derartiger Informationen ermöglichen, bspw. durch Zugriff auf eine Datenbank. Schließlich wird in Schritt 410 der visuell bestimmte Inhalt mit den weiteren Informationen verglichen. Abhängig von dem Ergebnis des Vergleichs wird das Verkehrszeichen als validiert oder nicht validiert eingestuft (nicht in der Figur gezeigt) .
Figur 5 zeigt einen beispielhaften Verfahrensablauf eines Aspekts des erfindungsgemäßen Verfahrens anhand eines Nach¬ richtenaustauschs zwischen den am Verfahren Beteiligten Akteuren. Der zeitliche Ablauf verläuft dabei in der Figur von oben nach unten. Es ist anzumerken, dass nicht alle Nachrichten bei jedem Durchlauf des Verfahrens zwingend gesendet werden müssen. So genügt es beispielsweise, die Nachricht von der Datenbank an das Verkehrszeichen nur einmal zu senden. Wenn die mit dem privaten Schlüssel verschlüsselten Metadaten in der Übertragungsvorrichtung des Verkehrszeichens gespeichert sind ist eine erneute Übertragung erst wieder nötig, wenn sich die Metadaten geändert haben sollten. Zu Beginn bzw. vor der Durchführung des Verfahrens werden also zunächst die mit dem privaten Schlüssel verschlüsselten Metadaten von der Datenbank an das Verkehrszeichen gesendet. Eine Kamera einer Vorrichtung (VZE) zur Verkehrszeichenerkennung nimmt ein oder mehrere Bilder des Verkehrszeichens auf und führt sie einem Prozess zur Ver¬ kehrszeichenerkennung zu. Der Einfachheit halber umfasst die in der Figur verwendete Vorrichtung (VZE) zur Verkehrszeichenerkennung alle nötigen Komponenten für eine Kommunikation mit dem Verkehrszeichen bzw. der Datenbank. Bei der Aufnahme des einen oder der mehreren Bilder durch die Kamera findet gewissermaßen ein Nachrichtenaustausch vom Verkehrszeichen zur Kamera statt, der sich jedoch von dem Nachrichtenaustausch der übrigen Schritte des Verfahrens unterscheidet. Daher ist dieser Schritt mit einer gestrichelten Linie dargestellt. Die Vorrichtung (VZE) zur Verkehrszeichenerkennung führt eine Verkehrszeichenerkennung für das eine oder die mehreren Bilder der Kamera durch und extrahiert die Metadaten aus dem oder den Bildern der Kamera. Optional sendet die Vorrichtung (VZE) zur Verkehrszeichenerkennung eine Anfrage zur Authentifizierung an das Verkehrs- zeichen, welches eine entsprechende Antwort sendet. Nachdem ggf . eine Authentifizierung des Verkehrszeichens gegenüber der Vorrichtung (VZE) zur Verkehrszeichenerkennung erfolgt ist sendet die Vorrichtung (VZE) zur Verkehrszeichenerkennung eine Anfrage an die Datenbank, um den öffentlichen Schlüssel des Verkehrszeichens zu empfangen. Mit dem in Antwort auf die Anfrage von der Datenbank empfangenen öffentlichen Schlüssel kann die Vorrichtung (VZE) zur Verkehrszeichenerkennung die aus dem oder den Bildern der Kamera extrahierten, mit dem privaten Schlüssel verschlüsselten Metainformationen entschlüsseln.
Optional kann zwischen der Vorrichtung (VZE) zur Verkehrs- Zeichenerkennung und dem Verkehrszeichen ein Sitzungsschlüssel ausgehandelt werden, beispielsweise zur Sicherung des Empfangs des öffentlichen Schlüssels von der Datenbank.
Figur 6 zeigt ein beispielhaftes Flussdiagramm eines Aspekts des erfindungsgemäßen Verfahrens 600. In Schritt 602 wird zunächst ein Bild aufgenommen, das einer Verkehrszeichenerkennung unterworfen wird (nicht in der Figur gezeigt) . Im Zuge der Verkehrszeichenerkennung kann eine Datenbankabfrage erfolgen, bspw. um Referenzabbildungen von gültigen Verkehrszeichen für einen Vergleich zu beziehen (nicht in der Figur gezeigt) . Wenn kein Verkehrszeichen erkannt wurde, „nein"-Zweig von Schritt 604, wird in Schritt 608a geprüft, ob ein Identifikationsmerkmal (M) in dem Bild der Kamera vorhanden ist oder auf anderem Weg als präsent festgestellt wurde, also ein Merkmal, über das zu- sätzliche Daten bezüglich des Verkehrszeichens bezogen werden können. Wenn kein Identifikationsmerkmal erkannt wurde, „nein"-Zweig von Schritt 608a, wird das Verfahren auf weitere Bilder angewendet, die zeitlich nach dem in diesem Durchlauf des Verfahrens untersuchten Bild aufgenommen wurden. Wenn in Schritt 604 ein Verkehrszeichen erkannt wurde, „ja"-Zweig von Schritt 604, wird in Schritt 606 der Inhalt (IN) des Verkehrszeichens bestimmt und in Schritt 608b, analog zu Schritt 608a, überprüft, ob ein Identifikationsmerkmal (M) erkannt wurde. Wenn kein Identifikationsmerkmal (M) erkannt wurde, „nein"-Zweig von Schritt 608b, wird der Inhalt (IN) des Verkehrszeichens aus¬ gegeben, optional mit einem zusätzlichen Hinweis, dass bspw. Inhalt und Aufstellort des Verkehrszeichens nicht mittels eines Identifikationsmerkmals verifiziert werden konnten. Wenn in einem der Schritte 608a oder 608b ein Identifikationsmerkmal erkannt wurde, jeweilige „ja"-Zweige der Schritte, werden in Schritt 610 zusätzliche, das Verkehrszeichen betreffende Daten bezogen, bspw. mittels einer Datenbankabfrage, oder durch direkte Decodierung eines das Merkmal repräsentierenden
Bildbereichs. In Schritt 612 wird dann überprüft, ob die das Verkehrszeichen betreffenden Daten aktuell und gültig sind. Auch dieser Schritt kann eine Datenbankabfrage umfassen (nicht in der Figur gezeigt) . Wenn die Daten nicht aktuell sind, „nein"-Zweig von Schritt 612, werden sie im Zuge der Überprüfung in Schritt 614 durch aktuelle Daten ersetzt. Die aktuellen oder aktualisierten Daten werden in Schritt 616 mit dem in Schritt 606 bestimmten Inhalt des Verkehrszeichens verglichen. Bei Über- einstimmung, „ja"-Zweig von Schritt 616, erfolgt in Schritt 618 eine Ausgabe des Inhalts oder wahlweise der Daten, wobei in diesem Fall kein Unterschied besteht. Wenn keine Übereinstimmung vorliegt, „nein"-Zweig von Schritt 616, wird in Schritt 620 überprüft, ob es sich bei dem in Schritt 606 inhaltlich bestimmten Verkehrszeichen um eines derselben Kategorie handelt, wie die über das Identifikationsmerkmal bezogenen Daten es anzeigen. Eine gleiche Kategorie liegt beispielsweise vor, wenn, wie in Figur 7a gezeigt, beide Verkehrszeichen eine Geschwindig¬ keitsbegrenzung (Verkehrszeichen 274 der deutschen Straßen- verkehrsordnung) anzeigen, aber unterschiedliche Höchstgeschwindigkeiten angeben. In dem in der Figur gezeigten Beispiel könnte eine Manipulation vorliegen, bei der die Zahl 30 in eine 80 „umgewandelt" wurde, was mit wenig Aufwand möglich ist. Unterschiedliche Kategorien liegen vor, wenn bspw. das erkannte Verkehrszeichen ein Verbot für Fahrzeuge aller Art (Verkehrszeichen 250 der deutschen Straßenverkehrsordnung) anzeigt, die über das Identifikationsmerkmal bezogenen Daten jedoch anzeigen, dass das Verkehrszeichen eine Geschwindigkeitsbe¬ grenzung anzeigt, wie in Figur 7b gezeigt. Hier könnte eine Manipulation durch Übermalen der Zahl 60 mit der Hintergrundfarbe Weiß vorliegen. Liegt eine gleiche Kategorie vor, „ja"-Zweig von Schritt 620, wird in Schritt 622 anstelle des in Schritt 606 bestimmten Inhalts IN der aus den über das Identifikationsmerkmal bezogenen Daten ermittelte Inhalt M ausgegeben. Liegen unterschiedliche Kategorien vor, „nein"-Zweig von Schritt 620, erfolgt keine Ausgabe, Schritt 624a. Alternativ wird in Schritt 624b entweder der in Schritt 606 ermittelte Inhalt IN oder der abgefragte bzw. aktualisierte Inhalt M ausgegeben, ergänzt um einen Hinweis auf die fehlgeschlagene Validierung. Die fehl¬ geschlagene Validierung kann optional auch noch an die Datenbank gemeldet werden, so dass geeignete Maßnahmen zur Behebung eines möglicherweise vorliegenden Fehlers getroffen werden können.
Die Ausgabe kann beispielsweise an ein Steuergerät des Fahrzeugs erfolgen, das Steuerungsfunktionen im Zusammenhang mit einem autonomen oder automatisierten Fahrbetrieb des Fahrzeugs ausführt. Die Ausgabe kann alternativ oder zusätzlich auch optisch auf einem Display im Sichtfeld des Fahrers erfolgen, oder akustisch durch eine entsprechende Sprachausgabe. Die zu¬ sätzliche Ausgabe kann beispielsweise für eine Entscheidung, ob das Fahrzeug manuell gesteuert werden sollte, nützlich sein.
Figur 8 zeigt ein weiteres beispielhaftes Flussdiagramm eines Aspekts des erfindungsgemäßen Verfahrens 800. In Schritt 802 wird von einer in einem Fahrzeug angeordneten Kamera (nicht gezeigt) ein Bild aufgenommen, und in Schritt 804 ein Identifikati- onsmerkmal eines Verkehrszeichens in dem Bild erkannt. Für das erkannte Identifikationsmerkmal wird eine Abfrage an ein Backend 801 gesendet, Schritt 806, um Daten zu dem mit dem Identifi¬ kationsmerkmal versehenen Verkehrszeichen zu beziehen. Die Daten umfassen beispielsweise Angaben zum Aufstellort und Inhalt, aber auch zu einer dauerhaften oder temporären Gültigkeit des
Verkehrszeichens. In Schritt 808 wird eine zu dem zuvor auf¬ genommenen Bild zugehörige GPS-Position des Fahrzeugs von einer entsprechenden, im Fahrzeug angeordneten Vorrichtung (nicht gezeigt) abgefragt. Wenn die abgefragte Position mit der vom Backend bezogenen Position übereinstimmt erfolgt in Schritt 810 eine Bestätigung der Position an das Backend. In Schritt 812 wird der Inhalt des Verkehrszeichens erkannt, bspw. mittels einer Vorrichtung oder Software zur Bilderkennung (nicht gezeigt) . Wenn der erkannte Inhalt des Verkehrszeichens mit dem bezogenen Inhalt übereinstimmt erfolgt in Schritt 814 eine Bestätigung des Inhalts an das Backend. In Schritt 816 wird geprüft, ob die Bildanalyse Angaben zur Gültigkeit des Verkehrszeichens ge¬ liefert hat, also ob das Verkehrszeichen an dem gegenwärtigen Tag und zu der gegenwärtigen Uhrzeit schon oder noch gültig ist. Eine solche Angabe kann beispielsweise über an dem Verkehrszeichen angebrachte Zusatzschilder erfolgen, die einen Beginn und ein Ende der Gültigkeit angeben und die durch Bilderkennung und optische Zeichenerkennung (optical character recognition - OCR) ausgewertet werden können. Wenn Angaben zur Gültigkeit erkannt wurden und diese mit den vom Backend bezogenen Angaben übereinstimmen, erfolgt in Schritt 818 eine Entsprechende Bestä- tigung an das Backend. Wenn keine Angaben zur Gültigkeit erkannt wurden, das Verkehrszeichen aber an dem gegenwärtigen Tag und zu der gegenwärtigen Zeit noch gültig ist, kann in Schritt 818 eine Bestätigung an das Backend erfolgen, dass das Verkehrszeichen noch an der vorgesehenen Position aufgestellt ist. Genauso kann, wenn keine Angaben zur Gültigkeit erkannt wurden, und das
Verkehrszeichen an dem gegenwärtigen Tag und zu der gegenwärtigen Zeit nicht mehr an dem Ort aufgestellt sein sollte, in Schritt 818 eine entsprechende Meldung an das Backend erfolgen, dass das Verkehrszeichen immer noch an der vorgesehenen Position auf- gestellt ist.
Einzelne Schritte des in Figur 8 gezeigten beispielhaften Verfahrens können in anderer Reihenfolge oder parallel bear¬ beitet werden.
Figur 9 zeigt ein weiteres schematisches Beispiel eines Aspekts des erfindungsgemäßen Verfahrens 900. Wie in Figur 8 wird in Schritt 902 von einer in einem Fahrzeug angeordneten Kamera (nicht gezeigt) zunächst ein Bild aufgenommen, und in Schritt 904 ein Identifikationsmerkmal eines Verkehrszeichens in dem Bild erkannt. In Schritt 906 erfolgt eine Zeitsynchronisierung zwischen Fahrzeug und Backend bzw. Datenbank, wobei Informa- tionen aus dem Identifikationsmerkmal für einen Verbindungs¬ aufbau zu diesem Zweck verwendet werden können. Die Zeitsyn- chronisierung kann alternativ oder zusätzlich auch über andere Kanäle erfolgen, z.B. über ein von einem Satellitennavigati- onssystem empfangenes Signal, in diesem Fall ist ein Verbindungsaufbau zu diesem Zweck nicht nötig. In Schritt 908 wird ein öffentlicher Schlüssel für das Verkehrszeichen von dem Backend bzw. der Datenbank bezogen, nach Aufbau einer entsprechenden Verbindung. Hierzu können Teile des Identifikationsmerkmals unverschlüsselt sein, um eine entsprechende, eindeutige Anfrage an die Datenbank stellen zu können. Es ist aber auch möglich, die Anfrage mit der Geoposition als Merkmal zu stellen, und einen dieser Geoposition zugeordneten Schlüssel zu empfangen. In Schritt 910 wird eine gesicherte Verbindung zwischen dem Fahrzeug und dem Backend aufgebaut. In Schritt 912 erfolgt dann die
Anforderung an das Backend, die für das Verkehrszeichen hinterlegten Daten an das Fahrzeug zu übertragen, die entsprechend in Schritt 914 empfangen werden. Die Daten umfassen beispielsweise Angaben zum Aufstellort und Inhalt, aber auch zu einer dauerhaften oder temporären Gültigkeit des Verkehrszeichens. Der von der Datenbank gelieferte Aufstellort kann auch einen Kartenausschnitt mit zusätzlichen Geodäten umfassen, die zur Verifizierung verwendet werden. Zumindest Teile des
Identifikationsmerkmals können verschlüsselt sein, um Mani- pulationen zu erschweren, z.B. mit einem privaten Schlüssel eines Schlüsselpaares. Dieser verschlüsselte Teil kann mit dem in Schritt 908 empfangenen öffentlicher Schlüssel entschlüsselt werden kann, um einen Vergleich der vom Backend bezogenen und der durch das Identifikationsmerkmal übertragenen Daten zu er- möglichen. Wenn der private Schlüssel nicht zu dem empfangenen öffentlichen Schlüssel passt, die verschlüsselte Information also nicht entschlüsselt werden kann, kann mit sehr hoher Wahrscheinlichkeit davon ausgegangen werden, dass eine Manipulation vorliegt. Bei Übereinstimmung der von der Datenbank bezogenen Daten und des über eine Verkehrszeichenerkennung ermittelten Inhalts erfolgt dann in Schritt 918 eine ent¬ sprechende Meldung an das Backend, dass zu dem gegenwärtigen Zeitpunkt das Verkehrszeichen an der gegenwärtigen Geoposition erkannt und validiert wurde.
Wie in Figur 8 können einzelne Schritte des in Figur 9 gezeigten beispielhaften Verfahrens in anderer Reihenfolge oder parallel bearbeitet werden.
Figur 10 zeigt ein vereinfachtes exemplarisches Blockdiagramm einer fahrzeugseitigen Vorrichtung 1000 zur Durchführung des erfindungsgemäßen Verfahrens. Eine Kamera 1002 ist mit einem Mikroprozessor 1004, einem Arbeitsspeicher 1006, einem nichtflüchtigen Speicher 1008, einer Schnittstelle 1010 zur Ausgabe eines Ergebnisses der Verifikation und einer Vorrichtung 1012 zur Bestimmung einer Position eines Fahrzeugs mittelbar oder unmittelbar über einen oder mehrere Datenbusse 1014 kommunikativ verbunden. Der nichtflüchtige Speicher 1008 enthält Compu¬ ter-Programmanweisungen die, wenn sie von dem Mikroprozessor 1004 in Verbindung mit dem Arbeitsspeicher 1006 und ggf. unter Zugriff auf weitere Systemkomponenten ausgeführt werden, ein oder mehrere Aspekte des erfindungsgemäßen Verfahrens ausführen.

Claims

Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen, umfassend:
- Detektion (502) eines Verkehrszeichens in Bildern mindestens einer Kamera,
- Bestimmung (504) des für einen Menschen visuell erkennbaren Inhalts des Verkehrszeichens durch Analyse mindestens eines Bildes der Kamera,
d a d u r c h g e k e n n z e i c h n e t, dass das Verfahren außerdem umfasst:
- Bestimmung (506) des Aufstellorts des Verkehrszeichens,
- Beziehen (508) von durch das Verkehrszeichen bereitgestellten Daten, die zumindest den Inhalt und den Auf¬ stellort des Verkehrszeichens repräsentieren, und die für einen Menschen nicht unmittelbar erkennbar oder interpretierbar sind, und
- Vergleich (510) der bestimmten und der bezogenen Daten.
Verfahren nach Anspruch 1, wobei die Bestimmung des Aufstellorts mittels einer Navigationsvorrichtung eines das Verfahren ausführenden Fahrzeugs erfolgt.
Verfahren nach Anspruch 1, wobei die von dem Verkehrszeichen bereitgestellten Daten mittels mindestens einer Kamera, mindestens eines lichtempfindlichen Sensors oder mindestens eines Funkempfängers bezogen werden.
Verfahren nach Anspruch 1, wobei die von dem Verkehrszeichen bezogenen Daten codiert und/oder verschlüsselt sind.
Verfahren nach Anspruch 1, wobei die von dem Verkehrszeichen bezogenen, den Inhalt und den Aufstellort des Verkehrs¬ zeichens repräsentierenden Daten eine Referenz auf eine Datenbank umfassen, die den Aufstellort und den Inhalt des Verkehrszeichens abrufbar bereitstellt. Verfahren nach Anspruch 1, wobei die Bestimmung des Aufstellorts mittels eines Abgleichs von in der Umgebung des erkannten Verkehrszeichens befindlichen, visuell erkennbaren Landmarken und entsprechenden Bildern in einer Datenbank erfolgt.
Verfahren nach Anspruch 1, wobei bei Übereinstimmung der bestimmten und der bezogenen Daten der Inhalt des Verkehrszeichens einem Fahrer eines Fahrzeugs zur Information angezeigt oder bekannt gegeben, oder einem System zur Fahrzeugbeeinflussung zugeführt wird oder, bei Nichtübereinstimmung, eine weitere automatische Plausibili- tätsprüfung oder eine Rückfrage an den Fahrer erfolgt.
Verfahren nach Anspruch 1, wobei aus von beweglichen oder vorübergehend aufgestellten Verkehrszeichen bereitgestellten Daten Informationen extrahiert werden, die über die besondere Eigenart des Verkehrszeichens informieren.
Verfahren nach Anspruch 1, wobei aus von beweglichen oder vorübergehend aufgestellten Verkehrszeichen bereitgestellten Daten Informationen extrahiert werden, die einen derzeitigen Standort des Verkehrszeichens umfassen.
Verfahren nach Anspruch 9, wobei die von dem Verkehrszeichen bereitgestellten Daten durch Erfassen eines zeitlich variablen QR-Codes bezogen werden.
PCT/EP2017/061903 2016-05-19 2017-05-18 Verfahren zur verifizierung von inhalt und aufstellort von verkehrszeichen WO2017198743A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/302,433 US10846545B2 (en) 2016-05-19 2017-05-18 Method for verifying the content and installation site of traffic signs
JP2018558709A JP6813595B2 (ja) 2016-05-19 2017-05-18 交通標識の内容および設置位置を検証するための方法
EP17724548.7A EP3459006A1 (de) 2016-05-19 2017-05-18 Verfahren zur verifizierung von inhalt und aufstellort von verkehrszeichen
CN201780029548.0A CN109154980B (zh) 2016-05-19 2017-05-18 用于验证交通标志的内容和安装地点的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016208621.9A DE102016208621A1 (de) 2016-05-19 2016-05-19 Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
DE102016208621.9 2016-05-19

Publications (1)

Publication Number Publication Date
WO2017198743A1 true WO2017198743A1 (de) 2017-11-23

Family

ID=58739043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/061903 WO2017198743A1 (de) 2016-05-19 2017-05-18 Verfahren zur verifizierung von inhalt und aufstellort von verkehrszeichen

Country Status (6)

Country Link
US (1) US10846545B2 (de)
EP (1) EP3459006A1 (de)
JP (1) JP6813595B2 (de)
CN (1) CN109154980B (de)
DE (1) DE102016208621A1 (de)
WO (1) WO2017198743A1 (de)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017211430B4 (de) * 2017-07-05 2019-08-08 Audi Ag Steuern eines Pixelscheinwerfers eines auf einem Fahrweg angeordneten Kraftfahrzeugs
DE102017218192A1 (de) * 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verkehrsschilderkennung
DE102018201417A1 (de) * 2018-01-30 2019-08-01 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen verifizierter Informationen über ein Verkehrszeichen, Verkehrszeichenanlage sowie Verfahren für ein Navigationssystem zur Verifikation eines Verkehrszeichens
US10762364B2 (en) 2018-04-19 2020-09-01 Here Global B.V. Method, apparatus, and system for traffic sign learning
DE102018004559A1 (de) 2018-06-08 2018-12-20 Daimler Ag Verfahren zum Anzeigen wenigstens eines Verkehrszeichens in einem Innenraum eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
US10893228B2 (en) * 2018-08-02 2021-01-12 GM Global Technology Operations LLC System and method for displaying information in a vehicle
DE102018007632B4 (de) * 2018-09-26 2022-06-09 Cm1 Gmbh System zur Bestimmung der Position von Verkehrsleiteinrichtungen
US11030898B2 (en) * 2018-12-13 2021-06-08 Here Global B.V. Methods and systems for map database update based on road sign presence
DE102019000176A1 (de) 2019-01-11 2019-06-13 Daimler Ag Verfahren zur ldentlfikation wenigstens eines Verkehrszeichens
JP7206968B2 (ja) * 2019-02-01 2023-01-18 トヨタ自動車株式会社 サーバ及び交通管理システム
EP3959701A1 (de) * 2019-04-24 2022-03-02 Harman International Industries, Incorporated System und verfahren zur kryptografischen härtung zur verkehrssignalverifizierung
TWI706385B (zh) * 2019-10-21 2020-10-01 大陸商南京深視光點科技有限公司 車用光訊號傳遞接收系統及其實施方法
CN112874527A (zh) * 2019-11-29 2021-06-01 奥迪股份公司 辅助驾驶装置、包括其的车辆及相应的方法和介质
CN112446315B (zh) * 2020-11-19 2022-05-31 武汉中海庭数据技术有限公司 高精度地图斑马线融合方法、系统、服务器及存储介质
US20210097313A1 (en) * 2020-11-27 2021-04-01 Intel Corporation Methods, systems, and devices for verifying road traffic signs
US20220176957A1 (en) * 2020-12-09 2022-06-09 Aptiv Technologies Limited Indirect Verification of Speed Limits Based on Contextual Information For Autonomous and Semi-Autonomous Driving Systems
CN113395331B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于车联网的安全交通标志勘误方法及系统
CN113286272B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于车联网的车辆安全驾驶方法和系统
CN113286055B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于安全交通标志的车辆安全驾驶方法和系统
WO2023278556A1 (en) * 2021-06-29 2023-01-05 NetraDyne, Inc. Trajectory and traffic sign database system
DE102022000255A1 (de) 2022-01-25 2023-07-27 Mercedes-Benz Group AG Verfahren zur Validierung der Gültigkeit von Verkehrszeichen und Fahrzeug
DE202022101139U1 (de) 2022-03-01 2023-06-02 Hoovi Gmbh Kontrollsystem für den Straßenverkehr
CN114579549A (zh) * 2022-03-02 2022-06-03 北京百度网讯科技有限公司 信息核实方法、装置、电子设备、存储介质及产品
DE102022109325A1 (de) 2022-04-14 2023-10-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Verkehrszeichenerkennung
DE102022208441A1 (de) 2022-08-15 2024-02-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines die momentane Verkehrssituation eines Kraftfahrzeugs beschreibenden Regelpakets aus Verkehrsregeln basierend auf Verkehrszeichenerkennung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938267A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Erkennung von Verkehrszeichen in Kraftfahrzeugen
DE102008043743A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Auswertung eines Sensorsignals
DE102012219106A1 (de) * 2011-11-21 2013-05-23 Continental Teves Ag & Co. Ohg SIGNALGEBER, SYSTEM UND VERFAHREN ZUR HERVORHEBUNG VON OBJEKTEN IM STRAßENVERKEHR SOWIE VERWENDUNG DES SYSTEMS UND VERWENDUNG DES SIGNALGEBERS
DE102013221007A1 (de) * 2013-10-16 2015-04-16 Ford Global Technologies, Llc Verfahren zur Bereitstellung von maschinell lesbaren Verkehrsinformationen auf Verkehrsschildern

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
KR100532589B1 (ko) 2003-12-26 2005-12-01 한국전자통신연구원 무선인식/위성측위/관성항법을 결합한 통합 측위 장치 및그 방법
JP2006031072A (ja) * 2004-07-12 2006-02-02 Hitachi Software Eng Co Ltd 車両の運転支援システム
JP4557288B2 (ja) 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
US7382276B2 (en) 2006-02-21 2008-06-03 International Business Machine Corporation System and method for electronic road signs with in-car display capabilities
JP2008241507A (ja) * 2007-03-28 2008-10-09 Sanyo Electric Co Ltd ナビゲーション装置
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
DE102009018515A1 (de) 2009-04-23 2010-11-11 Bury Sp.Z.O.O Kameravorrichtung zur Verwendung in einem Kraftfahrzeug
JP2011192044A (ja) 2010-03-15 2011-09-29 Emprie Technology Development LLC 交通標識通知システムおよびその方法
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
JP5763320B2 (ja) * 2010-09-21 2015-08-12 日本電気通信システム株式会社 交通情報認識システムおよび交通情報認識方法
DE102010062633A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US8078349B1 (en) 2011-05-11 2011-12-13 Google Inc. Transitioning a mixed-mode vehicle to autonomous mode
DE102012220357A1 (de) * 2012-11-08 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe mindestens einer Geschwindigkeitsinformation in einem Fahrzeug, Informationssystem und Ausgabevorrichtung
DE102012221159A1 (de) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen
DE102013011969A1 (de) * 2013-07-18 2015-01-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102013224824A1 (de) * 2013-12-04 2015-06-11 Robert Bosch Gmbh Steuer- und Erfassungseinrichtung für ein Kraftfahrzeug und Verfahren zur Erkennung eines Bild-Codes mittels einer in einem Kraftfahrzeug verbauten Erkennungseinheit
KR20150121977A (ko) * 2014-04-22 2015-10-30 주식회사 만도 교통표지판 인식장치 및 그의 제한속도 출력방법
DE102014106890B4 (de) * 2014-05-15 2018-03-29 Deutsches Zentrum für Luft- und Raumfahrt e.V. System zur Fahrerunterstützung
KR20160002178A (ko) * 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법
US10395126B2 (en) * 2015-08-11 2019-08-27 Honda Motor Co., Ltd. Sign based localization
JP6447958B2 (ja) * 2015-08-25 2019-01-09 マツダ株式会社 標識認識表示装置
US10414347B2 (en) * 2016-01-19 2019-09-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Road sign announcer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938267A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Erkennung von Verkehrszeichen in Kraftfahrzeugen
DE102008043743A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Auswertung eines Sensorsignals
DE102012219106A1 (de) * 2011-11-21 2013-05-23 Continental Teves Ag & Co. Ohg SIGNALGEBER, SYSTEM UND VERFAHREN ZUR HERVORHEBUNG VON OBJEKTEN IM STRAßENVERKEHR SOWIE VERWENDUNG DES SYSTEMS UND VERWENDUNG DES SIGNALGEBERS
DE102013221007A1 (de) * 2013-10-16 2015-04-16 Ford Global Technologies, Llc Verfahren zur Bereitstellung von maschinell lesbaren Verkehrsinformationen auf Verkehrsschildern

Also Published As

Publication number Publication date
CN109154980A (zh) 2019-01-04
JP2019522260A (ja) 2019-08-08
DE102016208621A1 (de) 2017-11-23
CN109154980B (zh) 2022-04-26
US10846545B2 (en) 2020-11-24
EP3459006A1 (de) 2019-03-27
JP6813595B2 (ja) 2021-01-13
US20190279007A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
WO2017198743A1 (de) Verfahren zur verifizierung von inhalt und aufstellort von verkehrszeichen
DE102011108312B4 (de) Verfahren und Vorrichtung für eine Fahrzeug-zu-Fahrzeug-Kommunikation
EP2795948B1 (de) Verfahren zur übermittlung von post sendungen in einem fahrzeug
DE102017208124B4 (de) Verfahren, Vorrichtung und System zum Ermitteln einer Straßenbaustelle
DE102017115309A1 (de) Autonomes polizeifahrzeug
DE102009008959A1 (de) Fahrzeugsystem zur Navigation und/oder Fahrerassistenz
WO2014090536A1 (de) System zur übermittlung von sendungen
DE102018102281A1 (de) Verbesserte v2x-ereignisverbreitung
EP2171701A1 (de) Serverbasierte warnung vor gefahren
DE102008023972A1 (de) Verfahren und Vorrichtung zur Erkennung von verkehrsrelevanten Informationen
DE102013223680A1 (de) Kraftfahrzeug
WO2018036824A1 (de) System und verfahren zum abrufbaren bereitstellen und aktualisieren von klassifikationsdaten zu parkplätzen
DE102018118215A1 (de) Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
WO2015018708A2 (de) Verfahren zum betrieb eines navigationssystems in einem fahrzeug und entsprechendes steuerungssystem sowie computerprogrammprodukt
DE102015218962A1 (de) Verfahren und System zur Bereitstellung von Nutzinformation über Verkehrsteilnehmer
WO2017137046A1 (de) Verfahren zur assistenz für einen parkvorgang und parkassistenzvorrichtung
CN103824457A (zh) 基于vanet的高速公路行车安全信息查询系统及查询方法
DE102017222751A1 (de) Verfahren und System zum Warnen von Verkehrsteilnehmern vor einer Falschfahrt eines Fahrzeugs mit Nachplausibilisierung
DE102018124578A1 (de) System und verfahren zur dynamischen fahrzeuganpassung und zum -tuning
WO2018059874A1 (de) Verfahren und vorrichtung zum erstellen einer dynamischen gefährdungskarte
DE102020102345A1 (de) Fahrzeugservicesteuerung
DE102019216747A1 (de) Verfahren zum Bereitstellen eines Überlagerungskartenabschnitts
DE102019119095A1 (de) Verfahren und Kommunikationssystem zur Unterstützung einer wenigstens teilweise automatischen Fahrzeugsteuerung
DE102017222753A1 (de) Verfahren und System zum Warnen von Verkehrsteilnehmern vor einer Falschfahrt eines Fahrzeugs unter Vermeidung einer Falschmeldung
DE102017215505A1 (de) Verfahren und Vorrichtung zum Prognostizieren einer baustellenbedingten Fahrstreckenänderung einer Fahrstrecke für ein Fahrzeug

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018558709

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17724548

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017724548

Country of ref document: EP

Effective date: 20181219