WO2017102634A1 - Method and apparatus for camera-based road sign recognition in a motor vehicle - Google Patents

Method and apparatus for camera-based road sign recognition in a motor vehicle Download PDF

Info

Publication number
WO2017102634A1
WO2017102634A1 PCT/EP2016/080613 EP2016080613W WO2017102634A1 WO 2017102634 A1 WO2017102634 A1 WO 2017102634A1 EP 2016080613 W EP2016080613 W EP 2016080613W WO 2017102634 A1 WO2017102634 A1 WO 2017102634A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic sign
camera
speed
vehicle
motor vehicle
Prior art date
Application number
PCT/EP2016/080613
Other languages
German (de)
French (fr)
Inventor
Robert Lindemann
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to EP16810345.5A priority Critical patent/EP3391281A1/en
Publication of WO2017102634A1 publication Critical patent/WO2017102634A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern

Definitions

  • traffic character recognition is provided by means of a camera which records images of a traffic space lying in front of the motor vehicle in the direction of travel.
  • the images taken by the camera are analyzed by means of a computer and appropriate software, and traffic signs are recognized by pattern recognition in the images.
  • Contents of recognized traffic signs are extracted and the extracted information is displayed to a driver or incorporated into a driver assistance system.
  • information about speed limits is displayed to give the driver another opportunity to perceive it in the event that the driver has missed an appropriate traffic sign.
  • stickers in the form of a speed limit signaling traffic signs are often attached, which should inform the following traffic about a current maximum speed for this vehicle.
  • traffic signs signaling a speed limit are also smaller images of city entrance panels, which are to indicate a connection of the vehicle owner with a location. All these "traffic signs" can be recognized by the traffic sign recognition and at least a resulting traffic recommendation or restriction may be erroneously displayed to a driver, or even used by a driver assistance system to automatically affect the driven route or speed.
  • Such misrecognition takes place especially in convoys or overtaking, because then the traffic sign representing sticker frontally or laterally recognized by the motor vehicle, so it can be well detected by the camera and fits in a conventional scheme for installation of traffic signs.
  • the invention utilizes the recognition that valid traffic signs are fixedly mounted in the rule, or if they are playing mounted on a vehicle of the road maintenance at ⁇ , which performs a control run on a road move only at a very low speed.
  • An inventive method for camera-based traffic sign recognition comprises taking at least one image of a vehicle in front of a space with a camera and performing a pattern recognition for detecting traffic signs in the at least one recorded image.
  • a sequence of further images of the space in front of the vehicle is taken with the camera, and the traffic sign recognized in the first image is tracked in the sequence of the further images.
  • a plausibility check as to whether the tracked traffic sign actually is the previously recognized traffic sign can be made, for example, when the traffic sign is not at an expected position in a subsequent image, or has a different basic shape and / or color.
  • the plausibility check can also be carried out with different parameters or methods, depending on how many traffic signs in the image taken by the camera are close to each other, especially if they are traffic signs that resemble each other.
  • similar traffic signs may have similar basic shapes and / or similar color combinations.
  • a first speed value is determined indicating the Ge ⁇ speed with which the detected and traced traffic sign on the camera and / or to the camera passes by. It exploits the fact that objects in the recording area of a camera with an unchanged focal length when approaching are displayed increasingly larger in successive images.
  • the term "successive images” refers to those successive images which are supplied to the image processing for the purpose of traffic sign recognition Moreover, an object arranged outside a straight line of sight of the camera in a sequence of images as it approaches the object becomes its position within the respective one If a camera provides more images per unit of time than required for the purposes of traffic sign recognition according to the invention, only one selection of the images actually taken can be used while other images are not used.
  • a speed of approach can be determined from the change in size over time in the image series.
  • a traffic sign will generally not be so mounted on a lane of a road that a vehicle approaches it head-on, unless the lane ends before the traffic sign or turns left or right. Accordingly, a traffic sign changes its position when the motor vehicle approaches in successive images of a camera oriented forward in the direction of travel. The position of the traffic sign is, starting from the first position at which it was detected, and with unchanged direction of travel, move to the sides and / or up or down in the image section.
  • the first velocity value is then compared with a second, provided from a tachometer of the motor vehicle speed value representing a Fahrge ⁇ speed of the motor vehicle.
  • the Ge ⁇ schwindtechniksmesser works independent of the camera.
  • the Ver ⁇ traffic signs or information extracted from the driver or the driver support system is signaled. Otherwise, the traffic sign is rejected as unreliable and information extracted therefrom is not signaled or used because the traffic sign was not stationary and was highly likely to be attached to another vehicle.
  • discarding indicate an unsafe recognized traffic signs can be done so that the driver can decide, based on the current traffic situation or environment even if he may have overlooked a traffic sign ⁇ .
  • the second speed value is provided via a data bus of the vehicle.
  • atoxicitysin ⁇ formation may be provided via a CAN bus, similar to a speed-dependent volume control for a car radio.
  • the connection to the data bus can take place via cable or wirelessly, eg according to IEEE 802.15.1 (Bluetooth).
  • the second speed value can be determined, for example, from data from one or more speed sensors on a vehicle transmission or at one or more wheels or drive shafts, or can also be determined from data from a satellite navigation system. Combinations of the different sources of data to determine the second speed value are of course also conceivable.
  • the recording of further images takes place with a fixed frame rate.
  • the term frame rate in this context refers to the number of pictures per unit of time. This makes it possible to make the determination of the first speed value only dependent on the size or position change of the detected and tracked traffic sign as well as fixed parameters of the camera and the optics.
  • the accuracy of the determination of the first speed value is higher at lower speeds of the motor vehicle than at high speeds, because the change in the size or the position of a recognized and tracked traffic sign between two images is smaller than at high speeds of the motor vehicle.
  • the tracking of the detected traffic sign at higher speeds may become difficult, or an increase in tracking errors may occur.
  • the threshold for the difference between the first and second speed values may be selected to account for the lower accuracy of the speed estimate from the camera images versus the speedometer of the vehicle.
  • a threshold value or tolerance value may be selected such that a slow change in location of traffic signs is considered valid. Such slow changes of location come e.g. when a traffic sign is attached to the back of a slow-moving control vehicle of a road maintenance company in order to regulate the speed or to set a lane.
  • the threshold value for the difference between the first and the second speed value depends on the second speed value. For example, with a fixed frame rate, lower accuracy at higher speeds can Mood of the first speed value are taken into account.
  • the recording of further images takes place at a frame rate dependent on the second speed.
  • the frame rate may be slower at low speeds than at high speeds. This can ensure that the changes in the size or position of the recognized and tracked traffic sign in two consecutive images remain within a limited range. This can lead to a simplification and acceleration of the recognition of the traffic sign in the next image because the image area to be searched for in the recognition can be narrowed down and a prediction of the expected size and position is simplified due to a simple mathematical relationship.
  • the frame rate may alternatively or additionally be changed depending on other factors described below, for example to minimize the changes in the image content in successive images.
  • the change of the frame rate can be done by actually adjusting the frame rate in the camera. However, if the camera does not allow for adjustment of the frame rate or to perform other tasks at a higher frame rate must be operated at ⁇ play wise, than would be required for the Traffic Sign ⁇ chenerkennung, a change in the frame rate can also by using only every nth image for the purposes of traffic sign recognition, ie by omitting images in the image processing.
  • the change of the frame rate can be carried out substantially continuously at the speed, or even in discrete stages for speed ranges.
  • a lower frame rate at low speeds requires fewer resources in image processing, thereby freeing up for other purposes. So at lower speeds For example, for an improved pedestrian or ekterkennung be used if a higher probability for the presence of pedestrians or for the driver of a motor vehicle relevant objects in traffic areas, in which lower speeds are driven.
  • a steering angle ie one of a position of a steering device of the
  • the values or data representing the steering angle can be provided, for example, by corresponding sensors on the steering device and / or by acceleration or gyro sensors for an electronic stability control of the motor vehicle or by an electronic compass.
  • the electronic compass or the acceleration or gyro ⁇ sensors can also be arranged in a temporarily connected to the vehicle mobile phone or smartphone, the corresponding data are then provided via a wired or wireless connection.
  • the mobile phone or the smartphone is arranged in the motor vehicle to ⁇ that it performs movements of the body at the same time and largely identical.
  • a change in the inclination of the vehicle in the longitudinal and / or transverse direction for example in the case of a changing incline or a changing profile of the surface of the road, can be taken into account in successive images.
  • the body and thus the camera perform an up-and-down motion or lateral roll motion, also known in marine as "pounding" or “rolling” is. Since the camera is firmly connected to the body of the motor vehicle, the area covered by the camera will change accordingly.
  • a change in position could erroneously result in the determination of a speed other than the actual speed when determining the first speed value.
  • acceleration sensors gyro sensors or an electronic compass of a satellite navigation system present in the motor vehicle.
  • a corresponding sensors temporarily ver the vehicle ⁇ -bound mobile phone or smartphone.
  • the sensors can provide appropriate data via a wired or wireless connection.
  • the mobile phone or the smartphone is arranged in the motor vehicle to ⁇ that it performs movements of the body at the same time and largely identical.
  • the threshold above which a traffic sign is discarded is keitswert ⁇ in response to the second VELOCITY, changing the steering angle and / or a change in the inclination of the vehicle in the longitudinal and / or transverse direction.
  • a ZuOrdnungsvorschrift which describes a Zu ⁇ order of two or more values or parameters to each other.
  • the ZuOrd Vietnamesesvorschrift may be described formulaically, or be implemented as a mapping table. Assignments can be made continuously or in areas. As a result, a determination of the first speed value that varies with the speed of the motor vehicle, a steering angle or dynamic changes in the body position can be taken into account.
  • a recognized traffic sign is discarded if it could not be detected or tracked in an uninterruptedly consecutive minimum number of further images.
  • the minimum number may be determined as a function of the second speed value, the steering angle and / or a change in the inclination of the vehicle in the longitudinal and / or transverse direction.
  • the method pauses when the second speed values correspond to a motor vehicle that is not in motion.
  • the knowledge is used that the recording of further images and a tracking of traffic signs while the motor vehicle is not sensibly evaluable information provides to determine a speed.
  • the process will pause, performs so no tracking of the recognized traffic sign, and no determination of a Ge ⁇ speed of a series of images that energy can a ⁇ be saved and / or resources, so for example, equipped for performing the process computer may be in This time can be used for other purposes.
  • the method pauses when a traffic sign with a speed limit has been detected to very low values, for example 6 km / h. Sticker with such Ge ⁇ schwindtechniksbegrenzonne are sometimes mounted on agricultural tractors, but are otherwise very rare.
  • a database query takes place in order to determine permanently installed traffic signs known at the current position of the vehicle.
  • the database query can be used to further verify the recognition. If the database query does not match, it is also possible to send the result of the discovery to the database. If a detected at a position not included in the database traffic sign of a plurality of traffic part ⁇ holders are independently and reported over a certain period to the database, the database can be updated accordingly.
  • information of a lane recognition is used to improve the traffic sign recognition.
  • a traffic sign recognized on a lane immediately next to it can be discarded, because in this case only one traffic sign located above the lane can be valid.
  • information of an assistance system which can identify vehicles in front to exclude image areas from the traffic sign recognition that have been identified as belonging to a preceding vehicle.
  • Figure 1 is a schematic representation of a camera view of a first traffic situation in front of a vehicle at a first time
  • Figure 2 is a schematic representation of the camera view of the first traffic situation in front of the vehicle at a second time
  • Figure 3 is a schematic representation of a camera view of a second traffic situation in front of a vehicle at a first time
  • Figure 4 is a schematic representation of the camera view of the second traffic situation in front of the vehicle at a second time
  • Figure 5 is a schematic representation of a camera view of a third traffic situation in front of a vehicle at a first time
  • FIG. 6 a schematic representation of the camera view of the third traffic situation in front of the vehicle at a second time
  • FIG. 7 shows an exemplary flow diagram of an embodiment of the method according to the invention.
  • FIG. 8 shows a schematic block diagram of an apparatus for carrying out the method.
  • Figure 1 shows a first schematic representation of a Ka ⁇ merasicht to a first traffic situation ahead of a vehicle 100 (not shown) at a first time.
  • the traffic situation shows a straight to the horizon 101 extending two-lane road 102.
  • the vehicle not shown in the figure moves on the right lane in the direction of the horizon 101.
  • a traffic sign 103 At some distance from the current position of the vehicle is a traffic sign 103, which has a speed s - Limit signaled at 80 km / h.
  • the camera is not shown in the figure provides images of the traffic situation to an also not shown in the figure module for Traffic Sign ⁇ chenerkennung which include a dedicated software can be done on a suitable hardware.
  • a traffic sign when a traffic sign has been detected, in this example the traffic sign 103, the traffic sign is tracked in subsequently captured images. For this purpose, an area occupied by the traffic sign or a lying around the traffic sign area of the image can be marked, which must be recognized in the subsequently recorded images again.
  • the scene captured by the camera changes due to the movement of the camera with the vehicle. This change is reflected, for example, in a change in size of objects, but also in a change of location of objects within the image taken by the camera. From a known time interval between two images of the camera and a change in size and / or change of location of objects, a speed of the camera and thus of the vehicle can be determined. Immutable properties of a lens of the camera, such as nonlinearities or distortions in certain image areas can be taken into account accordingly.
  • FIG. 2 shows a schematic representation of the camera view of the first traffic situation 100 in front of the vehicle at a second time.
  • the vehicle has moved forward a certain distance and has come closer to the traffic sign 103. Accordingly, the traffic sign 103 is now larger in the image and is at a different position in the image.
  • the change in position relative to the camera shown in FIG. 1 at the first time is illustrated by the arrows 205 and 206.
  • a speed is determined according to the invention, with which the camera has moved towards the traffic sign. The determined speed is compared with a speed value provided by a speedometer of the vehicle.
  • the Traffic sign 103 is fixed in place.
  • the recognized traffic sign 103 may thus be displayed to the driver of the vehicle and / or the speed limit signaled by the traffic sign may be used for automated vehicle control.
  • the recognition of the traffic sign 103 recognized at the first time can be simplified and / or accelerated if the search area can be delimited in a subsequent image.
  • the vehicle speed is measured by a camera-independent speedometer of the vehicle at each time point and thus known. From the known FahrZeug Anthony and the known characteristics of the camera thus a search range can be predicted, within which the traffic sign must be in a subsequent image. The prediction not only affects a change of location within the picture, but also a resizing.
  • the predicted search area is indicated in FIG. 2 by way of example by the dot-dashed frame 207 about the traffic sign 103.
  • FIG. 3 shows a schematic representation of a camera view of a second traffic situation 300 in front of a vehicle at a first time.
  • the traffic situation is similar to that of Figures 1 and 2, but the road 102 is in a left turn.
  • the driver of the vehicle In order to follow the road course of the road 102, the driver of the vehicle must turn the steering wheel to the left. Due to the steering wheel angle, the image captured by the camera changes accordingly; the change of
  • the direction of travel corresponds to a camera swing.
  • a recognized in the captured image at the first time traffic sign ⁇ 103 is thus a stronger change in the position experienced in a captured at a second time subsequent image than in the embodiment described with reference to Figures 1 and 2 situation. If the speed of the camera and thus of the vehicle is based solely on the magnitude and position tion change of the traffic sign in successive images, the time interval is known, the caused by the panning of the vehicle stronger change in position of the traffic sign can lead to a less accurate determination of the speed, or it is determined a wrong speed.
  • This can cause the difference in the speeds is a comparison of the determined by the camera images speed with the provided by the speedometer of the vehicle speed value above a threshold value, so that the Ver ⁇ traffic signs is evaluated not recognized as valid. An unrecognized as valid road sign will not be displayed to the driver of the vehicle and will not be used for the au ⁇ tomatinstrumente vehicle control.
  • FIG. 4 shows a schematic representation of the camera view of the second traffic situation 300 at a second time.
  • the vehicle has moved forward a certain distance and has come closer to the traffic sign three. Accordingly, the traffic sign 103 is now larger in the image and is at a different position in the image.
  • the change in position relative to the camera shown in FIG. 3 at the first time is illustrated by arrows 405 and 406. From the time difference between the first and the second time and the change in the position of the traffic sign ⁇ 103, a speed he ⁇ mediates, with which the camera has moved towards the traffic sign.
  • the speed of the steering wheel is considered in determining the speed in order to compensate for the resulting greater change in the position of the traffic sign 103.
  • the greater change in the position of the traffic sign 103 compared to the comparable scene in FIG. 2 is clearly recognizable.
  • the determined speed is compared with a speed value supplied by a speedometer of the vehicle. If the difference between the two speeds can be below a tolerance value It can be assumed that the traffic sign 103 is fixed in place. Experience has shown that stationary traffic signs are always to be considered by road users. The recognized traffic sign 103 may thus be displayed to the driver of the vehicle and / or the speed limit signaled by the traffic sign may be used for automated vehicle control.
  • This embodiment of the invention thus makes it possible to compensate for or reduce the influence of a lateral shift in the scene detected by the camera when determining the speed.
  • the consideration of the steering wheel angle can also be used in the recognition of the traffic sign 103 recognized at the first time for simplification or acceleration by limiting the search area accordingly in a subsequent image.
  • the search area is thus positioned not only from the expected change in the position of the traffic sign due to the approach of the vehicle to a traffic sign, but also due to the lateral displacement of the captured by the camera scene.
  • the search region is characterized by a dot-dashed frame 407 as previously in FIG.
  • the simplification or acceleration of the recognition of objects results in a shorter or lesser use of the resources provided in the vehicle for traffic sign recognition, which can be used accordingly for other purposes or placed in a sleep mode.
  • the prediction of the search area may be other driving dynamics related changes in the camera view be ⁇ into account, such as a change in the inclination of the motor vehicle chassis in the longitudinal or transverse direction.
  • FIG. 5 shows a schematic representation of a camera view of a third traffic situation 500 in front of a vehicle at a first time.
  • the simulatorsi ⁇ situation shows a straight to the horizon 101 running lane road 102.
  • the vehicle not shown in the figure goes on the left lane towards horizon 101 and is about to overtake a truck 501, which runs on the right lane at 80 km / h.
  • a sticker 502 is attached, which represents a traffic sign.
  • the sticker 502 shows a traffic sign signaling a speed limit of 80 km / h and is intended to indicate that the maximum speed of the truck 501 is 80 km / h.
  • the maximum permissible speed indicated on the roadside road sign 503 on this section of the road is 100 km / h. It is assumed that the traffic sign 503 has been reliably detected before and that the vehicle, not shown in the figure, is traveling at a speed of 100 km / h.
  • the device according to the invention recognizes the "traffic sign" 502 attached to the rear of the truck 501, and tracks it according to the invention on subsequently recorded images of the camera.
  • FIG. 6 shows a schematic illustration of the camera view of the third traffic situation in front of the vehicle at a second time. It can clearly be seen that the traffic sign 503 has disappeared from the field of view of the camera, while the truck 501 is located in a slightly changed position in the image. In particular, the change in the size and the position of the "traffic sign" 502 is only comparatively small compared with the previously recorded image. As described above with reference to FIGS. 1 and 2, the device according to the invention determines the change in size and the change in the position of the "traffic sign". 502 in consecutive pictures a speed.
  • the inventive device determined from only small change in the size and position of the "traffic sign" 502, a speed of 20 km / h, but according to the Differenzge ⁇ speed between the vehicle and the truck 501.
  • the Ge ⁇ schwindtechniksmesser of the vehicle provides A measured speed of 100 km / h
  • the difference of 80 km / h between the two speeds is above the
  • Threshold It can be concluded from this that the traffic sign is not a valid stationary one Traffic sign acts. Accordingly, the incorrectly recognized traffic sign is not displayed or the information is not used for influencing driving parameters.
  • a search area in which the traffic sign is expected to be tracked in a subsequently captured image can be estimated from the speed of the motor vehicle.
  • a valid, fixed traffic sign should be recognized in the area of the image marked by the dot-dashed frame 507.
  • the position of the frame 507 marks the expected search range.
  • the mere fact that the "traffic sign" 502 was not recognized in the expected area can be taken as an indication that it is not a valid, fixed traffic sign, at which point the search for recognition can be aborted and the signalization of the traffic sign
  • the search area may be expanded or repositioned to determine a speed from an actual location of the "traffic sign" 502 in the image.
  • a difference between the detected from the image sequence and a speed detected by the VELOCITY ⁇ keitsmesser of the motor vehicle speed is then compared in the manner described above with a threshold value. If the threshold is exceeded, ie the difference is too large, the signaling of the traffic sign to the driver or to an apparatus for automated driving is omitted.
  • the search can be limited just to the expected range. This makes the search faster and requires less resources or resources for a shorter one Period. Further data from sensors of the motor vehicle, such as the steering wheel angle or an inclination of the vehicle, as described above, can be included in the prediction to improve the positioning of the search range.
  • FIG. 7 shows an exemplary flow diagram of an embodiment of the method according to the invention 700.
  • step 702 an image is first taken, which is supplied in step 704, a Mus ⁇ more excellent recognition for recognizing traffic signs. If no traffic sign was detected, "no" branch of
  • Step 706 the process is restarted. If a traffic sign has been detected, "yes" branch from step 706, another image is captured, step 708, the traffic sign is detected in step 710 in the further image (tracking), and in step 712 a velocity from the displacement Steps 708, 710, and 712 may also be repeated one or more times (not shown in the figure), each determining a speed from the sequence of images, and an average speed Also in step 712, a speed value is obtained from the vehicle's speedometer, either at each frame or after repeatedly executing steps 708, 710, and 712 for a series of multiple frames from the speedometer related speed value and from the tracking of the Verke Thus, the speed value determined over the series of images is determined and compared with a threshold value.
  • step 714 If the difference is above the threshold, the "yes" branch of step 714, the recognized traffic sign is discarded, ie not signaled to the driver or the automated driving device, otherwise the "no" branch of step 714 becomes the traffic sign Driver or the device signals, which can then control the vehicle accordingly.
  • the flowchart shown in the figure is only an example of a variety of design variants.
  • the recording of images for other purposes can be continuous, and only tracking can be conditional if a traffic sign has been detected.
  • the recording of the additional image (s) can thus also consist in the conditional forwarding of images to a tracking module.
  • FIG. 8 shows a schematic block diagram of a device 800 for carrying out the method.
  • a camera 802 is provided with a module 804 for traffic sign detection, a tracking module 806 to track a recognized road sign, and for determining a velocity from the tracked movement ⁇ sign over a series of images, an interface module 808, which velocity values from a tachometer a motor vehicle, and a module 810, which determines a difference between the determined and the related speed and compares it with a threshold, connected via one or more bus systems and / or data interfaces 812.
  • a sensor module 814 may be connected to other modules via the bus system (s) and / or data interfaces.
  • the sensor module 814 may provide values of vehicle sensors relating to a lateral or vertical tilt of the vehicle or a steering angle and the like to, for example, traffic character recognition module 804 and tracking module 806 to enhance their respective function and / or accuracy.
  • One or more of the modules may in this case be formed by respective computer programs which are executed on one or more processors in conjunction with correspondingly provided working memory means and non-volatile memory means.
  • the bus system or the data interfaces 812 can be embodied in hardware or in software, ie also include software interfaces for exchanging data between programs or program parts within a computer.

Abstract

A method for camera-based road sign recognition in a motor vehicle comprises the recording of at least one image of an area in front of a vehicle using a camera and the performance of pattern recognition in order to recognise road signs in the at least one recorded image. Following the recognition of a road sign in a first image, a sequence of further images of the area in front of the vehicle is recorded using the camera, the road sign recognised in the first image is tracked in the sequence of further images, and a first speed value is ascertained from a change of size and/or a shift in the position of the recognised and tracked road sign in the respective images over the sequence of further images, which first speed value indicates the speed at which the recognised and tracked road sign is coming towards the camera and/or is moving past the camera. The first speed value is compared with a second speed value that is provided by a speedometer of the motor vehicle and that represents a speed of travel of the motor vehicle. If the difference in the speed values is above a threshold value, the recognised road sign is rejected. Otherwise, the recognised road sign is signalled to a driver and/or a driver assistance system of the motor vehicle.

Description

Beschreibung description
Verfahren und Vorrichtung zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug Method and device for camera-based traffic sign recognition in a motor vehicle
In vielen Kraftfahrzeugen ist eine Verkehrs Zeichenerkennung mittels einer Kamera vorgesehen, welche Bilder eines in Fahrtrichtung vor dem Kraftfahrzeug liegenden Verkehrsraums aufnimmt . Die von der Kamera aufgenommenen Bilder werden mittels eines Computers und entsprechender Software analysiert, und Verkehrszeichen werden per Mustererkennung in den Bildern erkannt . Inhalte von erkannten Verkehrszeichen werden extrahiert und die extrahierten Informationen werden einem Fahrer angezeigt oder in ein Fahrerunterstützungssystem übernommen . Insbesondere werden Informationen über Geschwindigkeitsbegrenzungen angezeigt, um dem Fahrer eine weitere Möglichkeit zu geben diese wahrzunehmen für den Fall, dass der Fahrer ein entsprechendes Verkehrszeichen übersehen hat. Die Erkennung von Verkehrszeichen mittels einer Kamera und einer automatischen Bildauswertung hat gegenüber einer Anzeige von Verkehrszeichen aus einer Datenbank und entsprechender Positionsbestimmung des Fahrzeugs den Vorteil, dass temporär aufgestellte Verkehrszeichen, beispielsweise in Baustellen, stets berücksichtigt werden können, während dies bei daten¬ bankgestützten Systemen von der Aktualisierungsfreguenz der Datenbank abhängig ist. In many motor vehicles, traffic character recognition is provided by means of a camera which records images of a traffic space lying in front of the motor vehicle in the direction of travel. The images taken by the camera are analyzed by means of a computer and appropriate software, and traffic signs are recognized by pattern recognition in the images. Contents of recognized traffic signs are extracted and the extracted information is displayed to a driver or incorporated into a driver assistance system. In particular, information about speed limits is displayed to give the driver another opportunity to perceive it in the event that the driver has missed an appropriate traffic sign. The recognition of road signs by a camera and an automatic image evaluation was compared to a display of traffic signs from a database and a corresponding position determination of the vehicle the advantage that temporarily erected traffic signs, for example, in construction sites, can always be taken into account, whereas in data ¬ database-assisted systems of depends on the update frequency of the database.
An der Rückseite einiger Fahrzeuge, insbesondere bei LKW und Bussen, aber auch an Wohnanhängern, sind häufig Aufkleber in Form von eine Geschwindigkeitsbegrenzung signalisierenden Verkehrszeichen angebracht, die den nachfolgenden Verkehr über eine für dieses Fahrzeug geltende Höchstgeschwindigkeit informieren sollen. Unter den eine Geschwindigkeitsbegrenzung signali- sierenden Verkehrszeichen sind auch verkleinerte Abbilder von Ortseingangstafeln, die eine Verbundenheit des Fahrzeughalters mit einem Ort anzeigen sollen. All diese "Verkehrszeichen" können von der Verkehrszeichenerkennung erkannt werden und zumindest eine daraus resultierende Verkehrsempfehlung oder -beschränkung kann einem Fahrer fälschlicherweise angezeigt oder sogar von einem Fahrerunterstützungssystem zur automatischen Beeinflussung der gefahrenen Route oder der Geschwindigkeit verwendet werden. Eine solche Falscherkennung erfolgt besonders bei Kolonnenfahrten oder Überholvorgängen, weil dann der das Verkehrszeichen darstellende Aufkleber frontal vor oder seitlich von dem Kraftfahrzeug erkannt wird, also von der Kamera gut erfasst werden kann und in ein übliches Schema für Aufstellorte von Verkehrszeichen passt. At the back of some vehicles, especially in trucks and buses, but also on caravans, stickers in the form of a speed limit signaling traffic signs are often attached, which should inform the following traffic about a current maximum speed for this vehicle. Among the traffic signs signaling a speed limit are also smaller images of city entrance panels, which are to indicate a connection of the vehicle owner with a location. All these "traffic signs" can be recognized by the traffic sign recognition and at least a resulting traffic recommendation or restriction may be erroneously displayed to a driver, or even used by a driver assistance system to automatically affect the driven route or speed. Such misrecognition takes place especially in convoys or overtaking, because then the traffic sign representing sticker frontally or laterally recognized by the motor vehicle, so it can be well detected by the camera and fits in a conventional scheme for installation of traffic signs.
Technisches Problem Technical problem
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur kamerabasierten Verkehrs Zeichenerkennung anzugeben .  It is an object of the present invention to provide an improved method and apparatus for camera-based traffic character recognition.
Technische Lösung Technical solution
Diese Aufgabe wird durch das in Anspruch 1 angegebene Verfahren und die in Anspruch 8 angegebene Vorrichtung gelöst . Vorteilhafte Ausgestaltungen und Weiterentwicklungen des Verfahrens und der Vorrichtung sind in den jeweiligen abhängigen Ansprüchen angegeben .  This object is achieved by the method specified in claim 1 and the device specified in claim 8. Advantageous embodiments and further developments of the method and the device are specified in the respective dependent claims.
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vor¬ richtung für eine verbesserte Verkehrs Zeichenerkennung sehen vor, neben der bekannten Erkennung von Verkehrszeichen eine von einem Geschwindigkeitsmesser bereitgestellte Information über die aktuelle Fahrzeuggeschwindigkeit für eine Plausibili- tätsprüfung der Erkennung zu nutzen. The method and pre ¬ direction for improved traffic seen before character recognition, in addition to the known recognition of traffic signs one provided by a speedometer information on the current vehicle speed for a plausibility check to use the recognition the invention.
Die Erfindung nutzt die Erkenntnis, dass gültige Verkehrszeichen in der Regel ortsfest angebracht sind oder, falls sie bei¬ spielsweise an einem Fahrzeug der Straßenmeisterei angebracht sind, welches eine Kontrollfahrt auf einer Straße durchführt, sich nur mit sehr geringer Geschwindigkeit bewegen. Ein ein Verkehrszeichen darstellender Aufkleber an einem Fahrzeug, beispielsweise an einem LKW, wird mit sich mit einer deutlich höheren Geschwindigkeit bewegen, z.B. auf Autobahnen mit der für LKW geltenden Höchstgeschwindigkeit von 80 km/h. The invention utilizes the recognition that valid traffic signs are fixedly mounted in the rule, or if they are playing mounted on a vehicle of the road maintenance at ¬, which performs a control run on a road move only at a very low speed. A sticker representing a traffic sign on a vehicle, for example on a truck, becomes obvious with a sticker Move faster, eg on highways with the maximum speed of 80 km / h for trucks.
Ein erfindungsgemäßes Verfahren zur kamerabasierten Verkehrszeichenerkennung umfasst das Aufnehmen mindestens eines Bildes eines vor einem Fahrzeug befindlichen Raumes mit einer Kamera und das Durchführen einer Mustererkennung zur Erkennung von Verkehrszeichen in dem mindestens einen aufgenommenen Bild. Erfindungsgemäß wird, nach der Erkennung eines Verkehrszeichens in einem ersten Bild und gegebenenfalls nach einer erfolgreichen Mustererkennung eine Folge weiterer Bilder des vor dem Fahrzeug befindlichen Raumes mit der Kamera aufgenommen, und das in dem ersten Bild erkannte Verkehrszeichen in der Folge der weiteren Bilder verfolgt . An inventive method for camera-based traffic sign recognition comprises taking at least one image of a vehicle in front of a space with a camera and performing a pattern recognition for detecting traffic signs in the at least one recorded image. According to the invention, after recognition of a traffic sign in a first image and, if appropriate, after successful pattern recognition, a sequence of further images of the space in front of the vehicle is taken with the camera, and the traffic sign recognized in the first image is tracked in the sequence of the further images.
Unter Verfolgung ist hierbei das Wiedererkennen desselben Verkehrszeichens und das Feststellen einer jeweiligen Position des wiedererkannten Verkehrszeichens in den jeweiligen weiteren Bildern zu verstehen. Hierbei kann es genügen, das Verkehrszeichen als solches zu erkennen, ohne durch das Verkehrszeichen vermittelte Information zu extrahieren, wenn die Information bereits bei der ersten Erkennung sicher extrahiert wurde. Durch den Verzicht auf die Extraktion der Information kann die benötigte Rechenleistung reduziert werden. Eine Plausibili- tätsprüfung, ob es sich bei dem verfolgten Verkehrszeichen tatsächlich um das zuvor erkannte Verkehrszeichen handelt kann erfolgen, beispielsweise, wenn sich das Verkehrszeichen nicht an einer erwarteten Position in einem nachfolgenden Bild befindet, oder eine andere Grundform und/oder -färbe hat. Die Plausi- bilitätsprüfung kann auch mit unterschiedlichen Parametern oder Verfahren erfolgen, je nachdem wie viele Verkehrszeichen in dem von der Kamera aufgenommenen Bild nahe beieinander liegen, insbesondere wenn es sich dabei um sich ähnelnde Verkehrszeichen handelt. Sich ähnelnde Verkehrszeichen können beispielsweise ähnliche Grundformen und/oder ähnliche Farbkombinationen aufweisen . Aus der Größenänderung und/oder Verschiebung einer Position des erkannten und verfolgten Verkehrszeichens in den jeweiligen Bildern über die Folge der weiteren Bilder wird ein erster Geschwindigkeitswert ermittelt der angibt, mit welcher Ge¬ schwindigkeit das erkannte und verfolgte Verkehrszeichen auf die Kamera zukommt und/oder an der Kamera vorbeizieht. Dabei wird ausgenutzt, dass Objekte im Aufnahmebereich einer Kamera bei unveränderter Brennweite bei Annäherung zunehmend größer in aufeinanderfolgenden Bildern abgebildet sind. Der Ausdruck „aufeinanderfolgende Bilder" bezieht sich hierbei auf diejenigen aufeinanderfolgenden Bilder, die der Bildbearbeitung zum Zwecke der Verkehrszeichenerkennung zugeführt werden . Außerdem wird ein außerhalb einer geraden Blickrichtung der Kamera angeordnetes Objekt in einer Folge von Bildern bei Annäherung an das Objekt seine Position innerhalb der jeweiligen Bilder ändern. Wenn eine Kamera mehr Bilder pro Zeiteinheit liefert, als zum Zwecke der erfindungsgemäßen Verkehrszeichenerkennung erforderlich sind, kann von den tatsächlich aufgenommenen Bildern nur eine Auswahl verwendet werden, während andere Bilder nicht verwendet werden. Under pursuit here is the recognition of the same traffic sign and the determination of a respective position of the recognized traffic sign in the respective further images to understand. Here, it may be sufficient to recognize the traffic sign as such without extracting information conveyed by the traffic sign if the information has already been safely extracted at the first detection. By dispensing with the extraction of information, the required computing power can be reduced. A plausibility check as to whether the tracked traffic sign actually is the previously recognized traffic sign can be made, for example, when the traffic sign is not at an expected position in a subsequent image, or has a different basic shape and / or color. The plausibility check can also be carried out with different parameters or methods, depending on how many traffic signs in the image taken by the camera are close to each other, especially if they are traffic signs that resemble each other. For example, similar traffic signs may have similar basic shapes and / or similar color combinations. From the change in size and / or displacement of a position of the recognized and tracked traffic sign in the respective images on the sequence of further images, a first speed value is determined indicating the Ge ¬ speed with which the detected and traced traffic sign on the camera and / or to the camera passes by. It exploits the fact that objects in the recording area of a camera with an unchanged focal length when approaching are displayed increasingly larger in successive images. In this case, the term "successive images" refers to those successive images which are supplied to the image processing for the purpose of traffic sign recognition Moreover, an object arranged outside a straight line of sight of the camera in a sequence of images as it approaches the object becomes its position within the respective one If a camera provides more images per unit of time than required for the purposes of traffic sign recognition according to the invention, only one selection of the images actually taken can be used while other images are not used.
Unter der allgemein zulässigen Annahme, dass das Verkehrszeichen seine Größe nicht ändert kann also aus der Größenveränderung über die Zeit in der Bilderreihe eine Annäherungsgeschwindigkeit ermittelt werden. Außerdem wird ein Verkehrszeichen in der Regel nicht so auf einer Fahrspur einer Straße angebracht sein, dass ein Fahrzeug frontal darauf zufährt, es sei denn, dass die Fahrspur vor dem Verkehrszeichen endet oder nach links oder rechts abbiegt. Dementsprechend verändert ein Verkehrszeichen seine Position bei Annäherung des Kraftfahrzeugs in aufeinanderfolgenden Bildern einer in Fahrtrichtung nach vorne orientierten Kamera. Die Position des Verkehrszeichens wird sich, ausgehend von der ersten Position, an der es erkannt wurde, und bei unveränderter Fahrtrichtung, zu den Seiten hin und/oder nach oben bzw. unten im Bildausschnitt verschieben. Aus der Veränderung der Position des erkannten und verfolgten Verkehrszeichens kann, bei bekannten und unveränderten Eigenschaften der Kamera und der Optik, ebenfalls eine Geschwindigkeit ermittelt werden. Die beiden Möglichkeiten, aus dem in der Folge der Bilder verfolgten Verkehrszeichen einen Geschwindig- keitswert zu ermitteln können natürlich auch kombiniert werden, um eine höhere Genauigkeit zu erzielen. Under the generally accepted assumption that the traffic sign does not change its size, therefore, a speed of approach can be determined from the change in size over time in the image series. In addition, a traffic sign will generally not be so mounted on a lane of a road that a vehicle approaches it head-on, unless the lane ends before the traffic sign or turns left or right. Accordingly, a traffic sign changes its position when the motor vehicle approaches in successive images of a camera oriented forward in the direction of travel. The position of the traffic sign is, starting from the first position at which it was detected, and with unchanged direction of travel, move to the sides and / or up or down in the image section. From the change in the position of the detected and tracked traffic sign, with known and unchanged characteristics of the camera and the optics, also a speed can be determined. The two ways out of that in the episode Of course, the traffic signs tracked by the images can also be combined to obtain a higher accuracy.
Der erste Geschwindigkeitswert wird dann mit einem zweiten, von einem Geschwindigkeitsmesser des Kraftfahrzeugs bereitgestellten Geschwindigkeitswert verglichen, der eine Fahrge¬ schwindigkeit des Kraftfahrzeugs repräsentiert. Der Ge¬ schwindigkeitsmesser funktioniert dabei unabhängig von der Kamera. Wenn eine Differenz aus erstem und zweitem Geschwindigkeitswert unter einem Schwellwert liegt, wird das Ver¬ kehrszeichen oder daraus extrahierte Information dem Fahrer oder dem Fahrerunterstützungssystem signalisiert. Anderenfalls wird das Verkehrszeichen als nicht zuverlässig erkannt verworfen und daraus extrahierte Information wird nicht signalisiert oder verwendet, weil das Verkehrszeichen nicht ortsfest war und mit hoher Wahrscheinlichkeit an einem anderen Fahrzeug angebracht war. Alternativ zum Verwerfen kann ein Hinweis auf ein nicht sicher erkanntes Verkehrszeichen erfolgen, damit der Fahrer anhand der gegenwärtigen Verkehrs Situation oder der Umgebung selbst entscheiden kann, ob er möglicherweise ein Verkehrs¬ zeichen übersehen hat. The first velocity value is then compared with a second, provided from a tachometer of the motor vehicle speed value representing a Fahrge ¬ speed of the motor vehicle. The Ge ¬ schwindigkeitsmesser works independent of the camera. When a difference of first and second speed value is below a threshold value, the Ver ¬ traffic signs or information extracted from the driver or the driver support system is signaled. Otherwise, the traffic sign is rejected as unreliable and information extracted therefrom is not signaled or used because the traffic sign was not stationary and was highly likely to be attached to another vehicle. As an alternative to discarding indicate an unsafe recognized traffic signs can be done so that the driver can decide, based on the current traffic situation or environment even if he may have overlooked a traffic sign ¬.
Bei einer Ausführung des erfindungsgemäßen Verfahrens wird der zweite Geschwindigkeitswert über einen Datenbus des Fahrzeugs bereitgestellt. Beispielsweise kann eine Geschwindigkeitsin¬ formation über einen CAN-Bus bereitgestellt werden, ähnlich wie bei einer geschwindigkeitsabhängigen Lautstärkeregelung für ein Autoradio. Die Verbindung zu dem Datenbus kann dabei über Kabel oder drahtlos, z.B. gemäß IEEE 802.15.1 (Bluetooth) erfolgen. In one embodiment of the method according to the invention, the second speed value is provided via a data bus of the vehicle. For example, a Geschwindigkeitsin ¬ formation may be provided via a CAN bus, similar to a speed-dependent volume control for a car radio. The connection to the data bus can take place via cable or wirelessly, eg according to IEEE 802.15.1 (Bluetooth).
Der zweite Geschwindigkeitswert kann beispielsweise aus Daten eines oder mehrerer Drehzahlsensoren an einem Fahrzeuggetriebe oder an einem oder mehreren Rädern oder Antriebswellen ermittelt werden, oder auch aus Daten eines Satellitennavigationssystems ermittelt werden. Kombinationen der unterschiedlichen Quellen von Daten zur Ermittlung des zweiten Geschwindigkeitswerts sind natürlich ebenfalls denkbar. Bei einer Ausgestaltung des Erfindungsgemäßen Verfahrens erfolgt das Aufnehmen weiterer Bilder mit einer festen Bildrate. Der Begriff Bildrate bezieht sich in diesem Zusammenhang auf die Anzahl von Bildern pro Zeiteinheit . Hierdurch ist es möglich, die Bestimmung des ersten Geschwindigkeitswerts nur von der Größenoder Positionsänderung des erkannten und verfolgten Verkehrszeichens sowie festen Parametern der Kamera und der Optik abhängig zu machen. Allerdings ist bei dieser Ausgestaltung die Genauigkeit der Bestimmung des ersten Geschwindigkeitswerts wird bei niedrigen Geschwindigkeiten des Kraftfahrzeugs höher als bei hohen Geschwindigkeiten, weil die Veränderung der Größe oder der Position eines erkannten und verfolgten Verkehrszeichens zwischen zwei Bildern kleiner ist als bei hohen Geschwindigkeiten des Kraftfahrzeugs. Außerdem kann, insbesondere bei einer eher geringen Bildrate, bei einer großen Positionsveränderung zwischen zwei aufeinander folgenden Bildern die Verfolgung des erkannten Verkehrszeichens bei höheren Geschwindigkeiten schwierig werden oder es kann vermehrt zu Fehlern bei der Verfolgung kommen. The second speed value can be determined, for example, from data from one or more speed sensors on a vehicle transmission or at one or more wheels or drive shafts, or can also be determined from data from a satellite navigation system. Combinations of the different sources of data to determine the second speed value are of course also conceivable. In one embodiment of the method according to the invention, the recording of further images takes place with a fixed frame rate. The term frame rate in this context refers to the number of pictures per unit of time. This makes it possible to make the determination of the first speed value only dependent on the size or position change of the detected and tracked traffic sign as well as fixed parameters of the camera and the optics. However, in this embodiment, the accuracy of the determination of the first speed value is higher at lower speeds of the motor vehicle than at high speeds, because the change in the size or the position of a recognized and tracked traffic sign between two images is smaller than at high speeds of the motor vehicle. In addition, especially at a rather low frame rate, with a large change in position between two consecutive frames, the tracking of the detected traffic sign at higher speeds may become difficult, or an increase in tracking errors may occur.
Der Schwellwert für die Differenz zwischen dem ersten und dem zweiten Geschwindigkeitswert kann so gewählt sein, dass die geringere Genauigkeit der Geschwindigkeitsschätzung aus den Kamerabildern gegenüber dem Geschwindigkeitsmesser des Fahrzeugs zu berücksichtigt wird. So kann beispielsweise ein Schwellwert oder Toleranzwert so gewählt sein, dass eine langsame Ortsveränderung von Verkehrszeichen als gültig angesehen wird. Derartige langsame Ortsveränderungen kommen z.B. vor, wenn an der Rückseite eines langsam fahrenden Kontrollfahrzeugs einer Straßenmeisterei ein Verkehrszeichen angebracht ist, um die Geschwindigkeit zu regeln oder eine Fahrspur vorzugeben. The threshold for the difference between the first and second speed values may be selected to account for the lower accuracy of the speed estimate from the camera images versus the speedometer of the vehicle. Thus, for example, a threshold value or tolerance value may be selected such that a slow change in location of traffic signs is considered valid. Such slow changes of location come e.g. when a traffic sign is attached to the back of a slow-moving control vehicle of a road maintenance company in order to regulate the speed or to set a lane.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens ist der Schwellwert für die Differenz zwischen dem ersten und dem zweiten Geschwindigkeitswert von dem zweiten Geschwindigkeitswert abhängig. So kann beispielsweise bei einer festen Bildrate einer bei höheren Geschwindigkeiten geringeren Genauigkeit der Be- Stimmung des ersten Geschwindigkeitswerts Rechnung getragen werden . In one embodiment of the method according to the invention, the threshold value for the difference between the first and the second speed value depends on the second speed value. For example, with a fixed frame rate, lower accuracy at higher speeds can Mood of the first speed value are taken into account.
Bei einer Ausgestaltung des Erfindungsgemäßen Verfahrens erfolgt das Aufnehmen weiterer Bilder mit einer von dem zweiten Geschwindigkeit swert abhängigen Bildrate. Die Bildrate kann bei niedrigen Geschwindigkeiten kleiner sein als bei hohen Geschwindigkeiten. Dadurch kann sichergestellt werden, dass die Veränderungen der Größe oder der Position des erkannten und verfolgten Verkehrszeichens in zwei aufeinanderfolgenden Bildern innerhalb eines begrenzten Bereichs bleiben. Dies kann zu einer Vereinfachung und Beschleunigung der Wiedererkennung des Verkehrszeichens im jeweils nächsten Bild führen, weil der bei der Wiedererkennung zu durchsuchende Bildbereich enger eingegrenzt werden kann und eine Vorhersage der zu erwartenden Größe und Position aufgrund eines einfacher mathematisch zu beschreibenden Zusammenhangs vereinfacht wird. Die Bildrate kann alternativ oder zusätzlich von anderen, nachfolgend beschriebenen Faktoren abhängig verändert werden, um etwa die Veränderungen des Bildinhalts in aufeinanderfolgenden Bildern gering zu halten. In one embodiment of the method according to the invention, the recording of further images takes place at a frame rate dependent on the second speed. The frame rate may be slower at low speeds than at high speeds. This can ensure that the changes in the size or position of the recognized and tracked traffic sign in two consecutive images remain within a limited range. This can lead to a simplification and acceleration of the recognition of the traffic sign in the next image because the image area to be searched for in the recognition can be narrowed down and a prediction of the expected size and position is simplified due to a simple mathematical relationship. The frame rate may alternatively or additionally be changed depending on other factors described below, for example to minimize the changes in the image content in successive images.
Die Veränderung der Bildrate kann dabei durch tatsächliches Anpassen der Bildrate in der Kamera erfolgen. Wenn die Kamera jedoch keine Einstellung der Bildrate ermöglicht oder bei¬ spielsweise zur Erledigung anderer Aufgaben mit einer höheren Bildrate betrieben werden muss, als es für die Verkehrszei¬ chenerkennung erforderlich wäre, kann eine Veränderung der Bildrate auch durch Verwendung nur jedes n-ten Bildes für die Zwecke der Verkehrszeichenerkennung erfolgen, also durch Weglassen von Bildern bei der Bildverarbeitung. Die Veränderung der Bildrate kann dabei im Wesentlichen kontinuierlich mit der Geschwindigkeit erfolgen, oder auch in diskreten Stufen für Geschwindigkeitsbereiche . The change of the frame rate can be done by actually adjusting the frame rate in the camera. However, if the camera does not allow for adjustment of the frame rate or to perform other tasks at a higher frame rate must be operated at ¬ play wise, than would be required for the Traffic Sign ¬ chenerkennung, a change in the frame rate can also by using only every nth image for the purposes of traffic sign recognition, ie by omitting images in the image processing. The change of the frame rate can be carried out substantially continuously at the speed, or even in discrete stages for speed ranges.
Eine geringere Bildrate bei niedrigen Geschwindigkeiten benötigt weniger Ressourcen bei der Bildverarbeitung, die dadurch für andere Zwecke frei werden. So kann bei niedrigeren Geschwin- digkeiten frei werdende Rechenleistung z.B. für eine verbesserte Fußgänger- oder Ob ekterkennung verwendet werden, wenn man eine höhere Wahrscheinlichkeit für die Gegenwart von Fußgängern oder für den Fahrer eines Kraftfahrzeugs relevanten Objekten in Verkehrsräumen annimmt, in denen geringere Geschwindigkeiten gefahren werden. A lower frame rate at low speeds requires fewer resources in image processing, thereby freeing up for other purposes. So at lower speeds For example, for an improved pedestrian or ekterkennung be used if a higher probability for the presence of pedestrians or for the driver of a motor vehicle relevant objects in traffic areas, in which lower speeds are driven.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens wird zusätzlich zu dem zweiten Geschwindigkeitswert ein Lenkwinkel, also eine von einer Stellung einer Lenkeinrichtung des In one embodiment of the method according to the invention, in addition to the second speed value, a steering angle, ie one of a position of a steering device of the
Kraftfahrzeugs abhängige Größe, bei der Bestimmung des ersten Geschwindigkeitswerts berücksichtigt. Die Berücksichtigung des Lenkwinkels zusammen mit dem zweiten Geschwindigkeitswert ermöglicht es, eine Veränderung der Position des erkannten und verfolgten Verkehrszeichens in aufeinander folgenden Bildern aufgrund des Schwenkens der mit dem Kraftfahrzeug fest ver¬ bundenen Kamera durch die Veränderung der Fahrtrichtung vorherzusagen oder zu bestimmen, und bei der Bestimmung des ersten Geschwindigkeitswerts entsprechend zu berücksichtigen. Den Lenkwinkel repräsentierende Werte oder Daten können dabei beispielsweise von entsprechenden Sensoren an der Lenkeinrichtung und/oder von Beschleunigungs- oder Gyrosensoren für eine elektronische Stabilitätskontrolle des Kraftfahrzeugs oder von einem elektronischen Kompass bereitgestellt werden. Der elektronische Kompass oder die Beschleunigungs- oder Gyro¬ sensoren können dabei auch in einem zeitweise mit dem Fahrzeug verbundenen Mobiltelefon oder Smartphone angeordnet sein, wobei die entsprechenden Daten dann über eine kabelgebundene oder drahtlose Verbindung bereitgestellt werden . Vorzugsweise ist das Mobiltelefon oder das Smartphone so in dem Kraftfahrzeug an¬ geordnet, dass es Bewegungen der Karosserie zeitgleich und weitgehend identisch vollzieht. Motor vehicle dependent size, taken into account in the determination of the first speed value. , Taking into account the steering angle together with the second speed value allows a change in the position of the detected and tracked traffic sign in successive images due to the pivoting of the fixed ver ¬-bound with the motor vehicle camera by changing the direction of travel to predict or determine, and wherein Determine the determination of the first speed value accordingly. The values or data representing the steering angle can be provided, for example, by corresponding sensors on the steering device and / or by acceleration or gyro sensors for an electronic stability control of the motor vehicle or by an electronic compass. The electronic compass or the acceleration or gyro ¬ sensors can also be arranged in a temporarily connected to the vehicle mobile phone or smartphone, the corresponding data are then provided via a wired or wireless connection. Preferably, the mobile phone or the smartphone is arranged in the motor vehicle to ¬ that it performs movements of the body at the same time and largely identical.
In ähnlicher Weise kann eine Veränderung der Neigung des Fahrzeugs in Längs- und/oder Querrichtung, beispielsweise bei einer sich ändernden Steigung oder einem sich ändernden Profil der Oberfläche der Straße, in aufeinander folgenden Bildern berücksichtigt werden. So kann bei einer Fahrt auf einer Straße mit Bodenwellen, die nicht vollständig von einer Fahr- werksaufhängung des Kraftfahrzeugs kompensiert werden können, die Karosserie und damit die Kamera eine auf-und-ab Bewegung oder eine seitliche Rollbewegung ausführen, die in der Seefahrt auch als „Stampfen" oder „Rollen" bekannt ist. Da die Kamera fest mit der Karosserie des Kraftfahrzeugs verbunden ist, wird auch der von der Kamera erfasste Bereich sich entsprechend ändern. Eine Veränderung der Position könnte jedoch bei der Bestimmung des ersten Geschwindigkeitswerts fälschlicherweise zur Ermittlung einer anderen als der tatsächlichen Geschwindigkeit führen. Gerade bei größeren Distanzen zwischen dem Kraftfahrzeug und dem Verkehrszeichen kann bereits eine leichte Veränderung der Steigung der Straße dazu führen, dass die Position eines weiter voraus befindlichen Verkehrszeichens in aufeinander folgenden Bildern nach oben wandert, beispielsweise bei Durchfahren einer Bodensenke. Diese Positionsveränderung könnte als eine höhere Geschwindigkeit als die tatsächliche Geschwindigkeit des Kraftfahrzeugs interpretiert werden, weil eine vergleichbare Positionsveränderung in aufeinander folgenden Bildern auf ebener Strecke mit einer höheren Geschwindigkeit korreliert. Eine Berücksichtigung der Veränderung Neigung des Kraftfahrzeugs kann also zu einer höheren Genauigkeit der Bestimmung des ersten Geschwindigkeitswerts führen. Für die Bestimmung der Neigung sowohl in Längs- als auch in Querrichtung des Kraftfahrzeugs können ohnehin im Kraftfahrzeug vorhandene Sensoren an oder in der Fahrwerksaufhängung und/oder für eine elektronische Stabilitätskontrolle verwendet werden. Eine Verwendung von Be¬ schleunigungssensoren, Gyrosensoren oder eines elektronischen Kompasses eines im Kraftfahrzeug vorhandenen Satellitennavigationssystems ist ebenfalls denkbar. Es ist vorstellbar, entsprechende Sensoren eines zeitweise mit dem Fahrzeug ver¬ bundenen Mobiltelefons oder Smartphones zu verwenden. Die Sensoren können entsprechende Daten über eine kabelgebundene oder drahtlose Verbindung bereitstellen. Vorzugsweise ist das Mobiltelefon oder das Smartphone so in dem Kraftfahrzeug an¬ geordnet, dass es Bewegungen der Karosserie zeitgleich und weitgehend identisch vollzieht. Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens wird der Schwellwert, bei dessen Überschreitung ein Verkehrszeichen verworfen wird, in Abhängigkeit von dem zweiten Geschwindig¬ keitswert, dem Lenkwinkel und/oder einer Veränderung der Neigung des Fahrzeugs in Längs- und/oder Querrichtung verändert. Dazu kann eine ZuOrdnungsvorschrift vorgesehen sein, die eine Zu¬ ordnung zweier oder mehrerer Werte oder Parameter zueinander beschreibt. Die ZuOrdnungsvorschrift kann dabei formelmäßig beschrieben sein, oder auch als Zuordnungstabelle implementiert sein. Zuordnungen können dabei kontinuierlich oder bereichsweise erfolgen. Dadurch kann einer mit der Geschwindigkeit des Kraftfahrzeugs, einem Lenkwinkel oder dynamischen Veränderungen der Karosserielage variierenden Genauigkeit der Ermittlung des ersten Geschwindigkeitswerts Rechnung getragen werden. Similarly, a change in the inclination of the vehicle in the longitudinal and / or transverse direction, for example in the case of a changing incline or a changing profile of the surface of the road, can be taken into account in successive images. So, when driving on a road with bumps that can not be fully compensated by a chassis suspension of the motor vehicle, the body and thus the camera perform an up-and-down motion or lateral roll motion, also known in marine as "pounding" or "rolling" is. Since the camera is firmly connected to the body of the motor vehicle, the area covered by the camera will change accordingly. However, a change in position could erroneously result in the determination of a speed other than the actual speed when determining the first speed value. Even with larger distances between the motor vehicle and the traffic sign, even a slight change in the slope of the road can cause the position of a further ahead traffic sign to move upwards in successive images, for example when driving through a subsidence. This change in position could be interpreted as a higher speed than the actual speed of the motor vehicle, because a comparable change in position in consecutive images on a level track correlates with a higher speed. A consideration of the change inclination of the motor vehicle can thus lead to a higher accuracy of the determination of the first speed value. For the determination of the inclination both in the longitudinal and in the transverse direction of the motor vehicle, sensors already present in the motor vehicle can be used on or in the chassis suspension and / or for an electronic stability control. It is likewise conceivable to use acceleration sensors, gyro sensors or an electronic compass of a satellite navigation system present in the motor vehicle. It is conceivable to use a corresponding sensors temporarily ver the vehicle ¬-bound mobile phone or smartphone. The sensors can provide appropriate data via a wired or wireless connection. Preferably, the mobile phone or the smartphone is arranged in the motor vehicle to ¬ that it performs movements of the body at the same time and largely identical. In one embodiment of the method according to the invention, the threshold above which a traffic sign is discarded is keitswert ¬ in response to the second VELOCITY, changing the steering angle and / or a change in the inclination of the vehicle in the longitudinal and / or transverse direction. For this purpose, a ZuOrdnungsvorschrift be provided, which describes a Zu ¬ order of two or more values or parameters to each other. The ZuOrdnungsvorschrift may be described formulaically, or be implemented as a mapping table. Assignments can be made continuously or in areas. As a result, a determination of the first speed value that varies with the speed of the motor vehicle, a steering angle or dynamic changes in the body position can be taken into account.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens wird ein erkanntes Verkehrszeichen verworfen, wenn es nicht in einer ununterbrochen aufeinander folgenden Mindestanzahl von weiteren Bildern erkannt oder verfolgt werden konnte. Die Mindestanzahl kann dabei in Abhängigkeit von dem zweiten Geschwindigkeitswert, dem Lenkwinkel und/oder einer Veränderung der Neigung des Fahrzeugs in Längs- und/oder Querrichtung bestimmt sein. In one embodiment of the method according to the invention, a recognized traffic sign is discarded if it could not be detected or tracked in an uninterruptedly consecutive minimum number of further images. The minimum number may be determined as a function of the second speed value, the steering angle and / or a change in the inclination of the vehicle in the longitudinal and / or transverse direction.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens pausiert das Verfahren, wenn die zweiten Geschwindigkeitswerte einem nicht in Bewegung befindlichen Kraftfahrzeug entsprechen. Hier wird die Erkenntnis genutzt, dass das Aufnehmen von weiteren Bildern und eine Verfolgung von Verkehrszeichen, während das Kraftfahrzeug steht, keine sinnvoll auswertbaren Informationen zur Ermittlung einer Geschwindigkeit liefert. Während das Verfahren pausiert, also keine Verfolgung des erkannten Verkehrszeichens durchführt, und keine Ermittlung einer Ge¬ schwindigkeit aus einer Reihe von Bildern, kann Energie ein¬ gespart werden und/oder die Ressourcen, also beispielsweise ein zur Durchführung des Verfahrens eingerichteter Computer, können in dieser Zeit für andere Zwecke eingesetzt werden. Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens pausiert das Verfahren, wenn ein Verkehrszeichen mit einer Geschwindigkeitsbegrenzung auf sehr niedrige Werte erkannt wurde, beispielsweise 6 km/h. Aufkleber mit solchen Ge¬ schwindigkeitsbegrenzungen sind gelegentlich auf landwirtschaftlichen Zugfahrzeugen angebracht, kommen aber sonst sehr selten vor. In one embodiment of the method according to the invention, the method pauses when the second speed values correspond to a motor vehicle that is not in motion. Here, the knowledge is used that the recording of further images and a tracking of traffic signs while the motor vehicle is not sensibly evaluable information provides to determine a speed. While the process will pause, performs so no tracking of the recognized traffic sign, and no determination of a Ge ¬ speed of a series of images that energy can a ¬ be saved and / or resources, so for example, equipped for performing the process computer may be in This time can be used for other purposes. In one embodiment of the method according to the invention, the method pauses when a traffic sign with a speed limit has been detected to very low values, for example 6 km / h. Sticker with such Ge ¬ schwindigkeitsbegrenzungen are sometimes mounted on agricultural tractors, but are otherwise very rare.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt eine Datenbankabfrage, um an der aktuellen Position des Fahrzeugs bekannte, fest installierte Verkehrszeichen zu ermitteln. Die Datenbankabfrage kann zur weiteren Verifizierung der Erkennung erfolgen . Wenn die Datenbankabfrage keine Übereinstimmung ergibt ist es auch möglich, das Ergebnis der Erkennung an die Datenbank zu senden. Wenn ein an einer Position erkanntes, in der Datenbank nicht enthaltenes Verkehrszeichen von mehreren Verkehrsteil¬ nehmern unabhängig voneinander und über einen bestimmten Zeitraum an die Datenbank gemeldet wird, kann die Datenbank entsprechend aktualisiert werden. In one embodiment of the method according to the invention, a database query takes place in order to determine permanently installed traffic signs known at the current position of the vehicle. The database query can be used to further verify the recognition. If the database query does not match, it is also possible to send the result of the discovery to the database. If a detected at a position not included in the database traffic sign of a plurality of traffic part ¬ holders are independently and reported over a certain period to the database, the database can be updated accordingly.
Bei einer Ausgestaltung des Verfahrens werden Informationen einer Fahrspurerkennung verwendet, um die Verkehrszeichenerkennung zu verbessern. So kann etwa, wenn das Kraftfahrzeug auf einer mittleren Spur einer dreispurigen Fahrbahn fährt, ein auf einer unmittelbar nebenan liegenden Spur erkanntes Verkehrszeichen verworfen werden, weil in diesem Fall nur ein oberhalb der Fahrbahn angeordnetes Verkehrszeichen gültig sein kann. In one embodiment of the method, information of a lane recognition is used to improve the traffic sign recognition. Thus, for example, when the motor vehicle travels on a middle lane of a three-lane roadway, a traffic sign recognized on a lane immediately next to it can be discarded, because in this case only one traffic sign located above the lane can be valid.
Bei einer Ausgestaltung des Verfahrens werden Informationen eines Assistenzsystems verwendet, welches vorausfahrende Fahrzeuge identifizieren kann, um Bildbereiche von der Verkehrszeichenerkennung auszunehmen, die als zu einem vorausfahrenden Fahrzeug zugehörig erkannt wurden . In one embodiment of the method, information of an assistance system is used which can identify vehicles in front to exclude image areas from the traffic sign recognition that have been identified as belonging to a preceding vehicle.
Im Folgenden wird die Erfindung mit Bezug auf die Zeichnung beschrieben. In der Zeichnung zeigt Figur 1 eine schematische Darstellung einer Kamerasicht auf eine erste Verkehrssituation vor einem Fahrzeug zu einem ersten Zeitpunkt ; In the following the invention will be described with reference to the drawing. In the drawing shows Figure 1 is a schematic representation of a camera view of a first traffic situation in front of a vehicle at a first time;
Figur 2 eine schematische Darstellung der Kamerasicht auf die erste Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt ;  Figure 2 is a schematic representation of the camera view of the first traffic situation in front of the vehicle at a second time;
Figur 3 eine schematische Darstellung einer Kamerasicht auf eine zweite Verkehrssituation vor einem Fahrzeug zu einem ersten Zeitpunkt ;  Figure 3 is a schematic representation of a camera view of a second traffic situation in front of a vehicle at a first time;
Figur 4 eine schematische Darstellung der Kamerasicht auf die zweite Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt ; Figure 4 is a schematic representation of the camera view of the second traffic situation in front of the vehicle at a second time;
Figur 5 eine schematische Darstellung einer Kamerasicht auf eine dritte Verkehrssituation vor einem Fahrzeug zu einem ersten Zeitpunkt;  Figure 5 is a schematic representation of a camera view of a third traffic situation in front of a vehicle at a first time;
Figur 6 eine schematische Darstellung der Kamerasicht auf die dritte Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt ;  FIG. 6 a schematic representation of the camera view of the third traffic situation in front of the vehicle at a second time;
Figur 7 ein exemplarisches Flussdiagramm einer Ausführung des erfindungsgemäßen Verfahrens; und  FIG. 7 shows an exemplary flow diagram of an embodiment of the method according to the invention; and
Figur 8 ein schematisches Blockdiagramm einer Vorrichtung zur Durchführung des Verfahrens.  FIG. 8 shows a schematic block diagram of an apparatus for carrying out the method.
In den Figuren sind gleiche oder ähnliche Elemente mit gleichen Bezugszeichen gekennzeichnet. In the figures, the same or similar elements are identified by the same reference numerals.
Figur 1 zeigt eine erste schematische Darstellung einer Ka¬ merasicht auf eine erste Verkehrssituation 100 vor einem Fahrzeug (nicht gezeigt) zu einem ersten Zeitpunkt. Die Verkehrssituation zeigt eine gerade bis zum Horizont 101 verlaufende zweispurige Straße 102. Das in der Figur nicht gezeigte Fahrzeug fährt auf der rechten Fahrbahn in Richtung Horizont 101. In einiger Entfernung zu der derzeitigen Position des Fahrzeugs befindet sich ein Verkehrszeichen 103, welches eine Geschwindigkeit s- begrenzung auf 80 km/h signalisiert. Die in der Figur nicht gezeigte Kamera liefert Bilder der Verkehrssituation an ein in der Figur ebenfalls nicht gezeigtes Modul zur Verkehrszei¬ chenerkennung, welches eine dafür vorgesehene Software umfassen kann, die auf einer geeigneten Hardware ausgeführt wird. Figure 1 shows a first schematic representation of a Ka ¬ merasicht to a first traffic situation ahead of a vehicle 100 (not shown) at a first time. The traffic situation shows a straight to the horizon 101 extending two-lane road 102. The vehicle not shown in the figure moves on the right lane in the direction of the horizon 101. At some distance from the current position of the vehicle is a traffic sign 103, which has a speed s - Limit signaled at 80 km / h. The camera is not shown in the figure provides images of the traffic situation to an also not shown in the figure module for Traffic Sign ¬ chenerkennung which include a dedicated software can be done on a suitable hardware.
Verfahren zur Verkehrszeichenerkennung sind aus dem Stand der Technik bekannt. Erfindungsgemäß wird, wenn ein Verkehrszeichen erkannt wurde, in diesem Beispiel das Verkehrszeichen 103, das Verkehrszeichen in darauffolgend aufgenommenen Bildern verfolgt. Dazu kann ein von dem Verkehrszeichen eingenommener oder ein um das Verkehrszeichen herum liegender Bereich des Bildes markiert werden, der in den nachfolgend aufgenommenen Bildern wieder erkannt werden muss. Die von der Kamera erfasste Szene verändert sich wegen der Bewegung der Kamera mit dem Fahrzeug. Diese Veränderung zeigt sich beispielsweise in einer Größenänderung von Objekten, aber auch in einer Ortsveränderung von Objekten innerhalb des von der Kamera aufgenommenen Bildes. Aus einem bekannten zeitlichen Abstand zwischen zwei Bildern der Kamera und einer Größenänderung und/oder Ortsveränderung von Objekten kann eine Geschwindigkeit der Kamera und somit des Fahrzeugs ermittelt werden. Unveränderliche Eigenschaften eines Objektivs der Kamera, beispielsweise Nichtlinearitäten oder Verzerrungen in bestimmten Bildbereichen können dabei entsprechend berücksichtigt werden. Methods for traffic sign recognition are known from the prior art. According to the invention, when a traffic sign has been detected, in this example the traffic sign 103, the traffic sign is tracked in subsequently captured images. For this purpose, an area occupied by the traffic sign or a lying around the traffic sign area of the image can be marked, which must be recognized in the subsequently recorded images again. The scene captured by the camera changes due to the movement of the camera with the vehicle. This change is reflected, for example, in a change in size of objects, but also in a change of location of objects within the image taken by the camera. From a known time interval between two images of the camera and a change in size and / or change of location of objects, a speed of the camera and thus of the vehicle can be determined. Immutable properties of a lens of the camera, such as nonlinearities or distortions in certain image areas can be taken into account accordingly.
Figur 2 zeigt eine schematische Darstellung der Kamerasicht auf die erste Verkehrssituation 100 vor dem Fahrzeug zu einem zweiten Zeitpunkt . Das Fahrzeug hat sich um eine gewisse Distanz vorwärts bewegt und ist dem Verkehrszeichen 103 näher gekommen. Dementsprechend ist das Verkehrszeichen 103 in dem Bild nun größer abgebildet und befindet sich an einer anderen Position in dem Bild. Die Veränderung der Position gegenüber der in Figur 1 gezeigten Kamerasicht zu dem ersten Zeitpunkt ist durch die Pfeile 205 und 206 verdeutlicht. Aus der Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt sowie der Veränderung der Position des Verkehrszeichens 103 wird erfindungsgemäß eine Geschwindigkeit ermittelt, mit der die Kamera sich auf das Verkehrszeichen zubewegt hat. Die ermittelte Geschwindigkeit wird mit einem von einem Geschwindigkeitsmesser des Fahrzeugs gelieferten Geschwindigkeitswert verglichen. Wenn die Differenz der beiden Geschwindigkeiten unterhalb eines Toleranz- oder Schwellwertes liegt kann davon ausgegangen werden, dass das Verkehrszeichen 103 ortsfest angebracht ist. Erfahrungsgemäß sind ortsfest angebrachte Verkehrszeichen von Verkehrsteil¬ nehmern in der Regel zu berücksichtigen. Das erkannte Verkehrszeichen 103 kann somit dem Fahrer des Fahrzeugs angezeigt und/oder die durch das Verkehrszeichen signalisierte Geschwindigkeit sbegrenzung für eine automatisierte Fahrzeugsteuerung verwendet werden. FIG. 2 shows a schematic representation of the camera view of the first traffic situation 100 in front of the vehicle at a second time. The vehicle has moved forward a certain distance and has come closer to the traffic sign 103. Accordingly, the traffic sign 103 is now larger in the image and is at a different position in the image. The change in position relative to the camera shown in FIG. 1 at the first time is illustrated by the arrows 205 and 206. From the time difference between the first and the second time and the change in the position of the traffic sign 103, a speed is determined according to the invention, with which the camera has moved towards the traffic sign. The determined speed is compared with a speed value provided by a speedometer of the vehicle. If the difference between the two speeds is below a tolerance or threshold value, it can be assumed that the Traffic sign 103 is fixed in place. Experience has shown that fixed-mounted traffic signs traffic part ¬ holders usually have to be considered. The recognized traffic sign 103 may thus be displayed to the driver of the vehicle and / or the speed limit signaled by the traffic sign may be used for automated vehicle control.
Die Wiedererkennung des zu dem ersten Zeitpunkt erkannten Verkehrszeichens 103 kann vereinfacht und/oder beschleunigt werden, wenn der Suchbereich in einem nachfolgenden Bild eingegrenzt werden kann. Die Fahrzeuggeschwindigkeit wird durch einen von der Kamera unabhängigen Geschwindigkeitsmesser des Fahrzeugs zu jedem Zeitpunkt gemessen wird und somit bekannt. Aus der bekannten FahrZeuggeschwindigkeit und den bekannten Eigenschaften der Kamera kann somit ein Suchbereich vorhergesagt werden, innerhalb dessen sich das Verkehrszeichen in einem nachfolgenden Bild befinden muss. Die Vorhersage betrifft nicht nur eine Ortsveränderung innerhalb des Bildes, sondern auch eine Größenänderung. Der vorhergesagte Suchbereich ist in Figur 2 exemplarisch durch den strichpunktierten Rahmen 207 um das Verkehrszeichen 103 angedeutet. The recognition of the traffic sign 103 recognized at the first time can be simplified and / or accelerated if the search area can be delimited in a subsequent image. The vehicle speed is measured by a camera-independent speedometer of the vehicle at each time point and thus known. From the known FahrZeuggeschwindigkeit and the known characteristics of the camera thus a search range can be predicted, within which the traffic sign must be in a subsequent image. The prediction not only affects a change of location within the picture, but also a resizing. The predicted search area is indicated in FIG. 2 by way of example by the dot-dashed frame 207 about the traffic sign 103.
Figur 3 zeigt eine schematische Darstellung einer Kamerasicht auf eine zweite Verkehrssituation 300 vor einem Fahrzeug zu einem ersten Zeitpunkt. Die Verkehrssituation ist ähnlich zu der aus den Figuren 1 und 2, jedoch verläuft die Straße 102 in einer Linkskurve. Um dem Fahrbahnverlauf der Straße 102 zu folgen muss der Fahrer des Fahrzeugs das Lenkrad nach links einschlagen. Durch den Lenkradeinschlag ändert sich der von der Kamera erfasste Bildausschnitt entsprechend; die Änderung der FIG. 3 shows a schematic representation of a camera view of a second traffic situation 300 in front of a vehicle at a first time. The traffic situation is similar to that of Figures 1 and 2, but the road 102 is in a left turn. In order to follow the road course of the road 102, the driver of the vehicle must turn the steering wheel to the left. Due to the steering wheel angle, the image captured by the camera changes accordingly; the change of
Fahrtrichtung entspricht guasi einem Kameraschwenk. Ein in dem zum ersten Zeitpunkt aufgenommenen Bild erkanntes Verkehrs¬ zeichen 103 wird somit in einem zu einem zweiten Zeitpunkt aufgenommenen nachfolgenden Bild eine stärkere Änderung der Position erfahren als in der mit Bezug auf die Figuren 1 und 2 beschriebenen Situation. Wenn die Geschwindigkeit der Kamera und somit des Fahrzeugs ausschließlich aus der Größen-und Posi- tionsänderung des Verkehrszeichens in aufeinanderfolgenden Bildern, deren zeitlicher Abstand bekannt ist, bestimmt wird, kann die durch das Schwenken des Fahrzeugs bedingte stärkere Positionsänderung des Verkehrszeichens zu einer weniger genauen Bestimmung der Geschwindigkeit führen, oder es wird eine falsche Geschwindigkeit ermittelt. Dies kann dazu führen, dass bei einem Vergleich der durch die Kamerabilder bestimmten Geschwindigkeit mit dem durch den Geschwindigkeitsmesser des Fahrzeugs gelieferten Geschwindigkeitswert die Differenz der Geschwindigkeiten über einem Schwellwert liegt, so dass das Ver¬ kehrszeichen nicht als gültig erkannt gewertet wird. Ein nicht als gültig erkanntes Verkehrszeichen wird dem Fahrer des Fahrzeugs nicht angezeigt werden bzw. wird nicht für die au¬ tomatisierte Fahrzeugsteuerung verwendet werden. The direction of travel corresponds to a camera swing. A recognized in the captured image at the first time traffic sign ¬ 103 is thus a stronger change in the position experienced in a captured at a second time subsequent image than in the embodiment described with reference to Figures 1 and 2 situation. If the speed of the camera and thus of the vehicle is based solely on the magnitude and position tion change of the traffic sign in successive images, the time interval is known, the caused by the panning of the vehicle stronger change in position of the traffic sign can lead to a less accurate determination of the speed, or it is determined a wrong speed. This can cause the difference in the speeds is a comparison of the determined by the camera images speed with the provided by the speedometer of the vehicle speed value above a threshold value, so that the Ver ¬ traffic signs is evaluated not recognized as valid. An unrecognized as valid road sign will not be displayed to the driver of the vehicle and will not be used for the au ¬ tomatisierte vehicle control.
Figur 4 zeigt eine schematische Darstellung der Kamerasicht auf die zweite Verkehrssituation 300 zu einem zweiten Zeitpunkt. Wie zuvor mit Bezug auf Figur 2 beschrieben hat das Fahrzeug sich um eine gewisse Distanz vorwärts bewegt und ist dem Verkehrszeichen einladen drei näher gekommen. Dementsprechend ist das Verkehrszeichen 103 in dem Bild nun größer abgebildet und befindet sich an einer anderen Position in dem Bild. Die Veränderung der Position gegenüber der in Figur 3 gezeigten Kamerasicht zu dem ersten Zeitpunkt ist durch die Pfeile 405 und 406 verdeutlicht. Aus der Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt sowie der Veränderung der Position des Verkehrs¬ zeichens 103 wird erfindungsgemäß eine Geschwindigkeit er¬ mittelt, mit der die Kamera sich auf das Verkehrszeichen zubewegt hat. Erfindungsgemäß wird bei der Ermittlung der Geschwindigkeit der Lenkradeinschlag berücksichtigt , um die daraus resultierende größere Veränderung der Position des Verkehrszeichens 103 zu kompensieren. Die größere Veränderung der Position des Verkehrszeichens 103 gegenüber der vergleichbaren Szene in Figur 2 ist deutlich erkennbar. Wie zuvor mit Bezug auf die Figuren 1 und 2 beschrieben wird die ermittelte Geschwindigkeit mit einem von einem Geschwindigkeitsmesser des Fahrzeugs gelieferten Geschwindigkeit swert verglichen. Wenn die Differenz der beiden Geschwindigkeiten unterhalb eines Toleranzwertes liegt kann davon ausgegangen werden, dass das Verkehrszeichen 103 ortsfest angebracht ist. Erfahrungsgemäß sind ortsfest angebracht Verkehrszeichen von Verkehrsteilnehmern stets zu berücksichtigen. Das erkannte Verkehrszeichen 103 kann somit dem Fahrer des Fahrzeugs angezeigt und/oder die durch das Verkehrszeichen signalisierte Geschwindigkeitsbegrenzung für eine automatisierte Fahrzeugsteuerung verwendet werden. FIG. 4 shows a schematic representation of the camera view of the second traffic situation 300 at a second time. As previously described with reference to Figure 2, the vehicle has moved forward a certain distance and has come closer to the traffic sign three. Accordingly, the traffic sign 103 is now larger in the image and is at a different position in the image. The change in position relative to the camera shown in FIG. 3 at the first time is illustrated by arrows 405 and 406. From the time difference between the first and the second time and the change in the position of the traffic sign ¬ 103, a speed he ¬ mediates, with which the camera has moved towards the traffic sign. According to the invention, the speed of the steering wheel is considered in determining the speed in order to compensate for the resulting greater change in the position of the traffic sign 103. The greater change in the position of the traffic sign 103 compared to the comparable scene in FIG. 2 is clearly recognizable. As previously described with reference to FIGS. 1 and 2, the determined speed is compared with a speed value supplied by a speedometer of the vehicle. If the difference between the two speeds can be below a tolerance value It can be assumed that the traffic sign 103 is fixed in place. Experience has shown that stationary traffic signs are always to be considered by road users. The recognized traffic sign 103 may thus be displayed to the driver of the vehicle and / or the speed limit signaled by the traffic sign may be used for automated vehicle control.
Diese Ausgestaltung der Erfindung ermöglicht es also, den Einfluss einer seitlichen VerSchiebung der von der Kamera erfassten Szene bei der Ermittlung der Geschwindigkeit zu kompensieren bzw. zu verringern . This embodiment of the invention thus makes it possible to compensate for or reduce the influence of a lateral shift in the scene detected by the camera when determining the speed.
Die Berücksichtigung des Lenkradeinschlags kann auch bei der Wiedererkennung des zu dem ersten Zeitpunkt erkannten Verkehrszeichens 103 zur Vereinfachung oder Beschleunigung verwendet werden, indem der Suchbereich in einem nachfolgenden Bild entsprechend eingegrenzt wird. Der Suchbereich wird also nicht nur aus der zu erwartenden Veränderung der Position des Verkehrszeichens aufgrund der Annäherung des Fahrzeugs an ein Verkehrszeichen, sondern auch aufgrund der seitlichen Verschiebung der von der Kamera erfassten Szene positioniert. In Figur 4 ist der Suchbereich wie zuvor in Figur 2 durch einen strichpunktierten Rahmen 407 gekennzeichnet. Die Vereinfachung oder Beschleunigung der Wiedererkennung von Objekten führt zu einer kürzeren oder geringeren Verwendung der in dem Fahrzeug vorgesehenen Ressourcen für eine Verkehrszeichenerkennung, die entsprechend für andere Zwecke verwendet oder in einen Ruhemodus versetzt werden können. Die Vorhersage des Suchbereichs kann auch andere fahrdynamisch bedingte Änderungen der Kamerasicht be¬ rücksichtigen, z.B. eine Änderung der Neigung des Kraftfahrzeugchassis in Längs- oder Querrichtung. The consideration of the steering wheel angle can also be used in the recognition of the traffic sign 103 recognized at the first time for simplification or acceleration by limiting the search area accordingly in a subsequent image. The search area is thus positioned not only from the expected change in the position of the traffic sign due to the approach of the vehicle to a traffic sign, but also due to the lateral displacement of the captured by the camera scene. In FIG. 4, the search region is characterized by a dot-dashed frame 407 as previously in FIG. The simplification or acceleration of the recognition of objects results in a shorter or lesser use of the resources provided in the vehicle for traffic sign recognition, which can be used accordingly for other purposes or placed in a sleep mode. The prediction of the search area may be other driving dynamics related changes in the camera view be ¬ into account, such as a change in the inclination of the motor vehicle chassis in the longitudinal or transverse direction.
Figur 5 zeigt eine schematische Darstellung einer Kamerasicht auf eine dritte Verkehrssituation 500 vor einem Fahrzeug zu einem ersten Zeitpunkt. Wie zuvor in Figur 1 zeigt die Verkehrssi¬ tuation eine gerade bis zum Horizont 101 verlaufende zweispurige Straße 102. Das in der Figur nicht gezeigte Fahrzeug fährt auf der linken Fahrbahn in Richtung Horizont 101 und ist dabei, einen LKW 501 zu überholen, der auf der rechten Fahrbahn mit 80 km/h fährt. An der Rückseite des LKW 501 ist ein Aufkleber 502 angebracht, der ein Verkehrszeichen darstellt . In der Figur zeigt der Aufkleber 502 ein eine Geschwindigkeitsbegrenzung 80 km/h signalisierendes Verkehrszeichen und soll darauf hinweisen, dass die Höchstgeschwindigkeit des LKW 501 80 km/h beträgt. Die durch das am Straßenrand aufgestellte Verkehrszeichen 503 angezeigte zulässige Höchstgeschwindigkeit auf diesem Abschnitt der Straße beträgt 100 km/h. Es wird angenommen, dass das Verkehrszeichen 503 bereits zuvor zuverlässig erkannt wurde und dass das in der Figur nicht gezeigte Fahrzeug mit einer Geschwindigkeit von 100 km/h fährt. Die erfindungsgemäße Vorrichtung erkennt das an der Rückseite des LKW 501 angebrachte „Verkehrszeichen" 502, und verfolgt es erfindungsgemäß auf nachfolgend aufgenommenen Bildern der Kamera. FIG. 5 shows a schematic representation of a camera view of a third traffic situation 500 in front of a vehicle at a first time. As mentioned in Figure 1, the Verkehrssi ¬ situation shows a straight to the horizon 101 running lane road 102. The vehicle, not shown in the figure goes on the left lane towards horizon 101 and is about to overtake a truck 501, which runs on the right lane at 80 km / h. At the rear of the truck 501 a sticker 502 is attached, which represents a traffic sign. In the figure, the sticker 502 shows a traffic sign signaling a speed limit of 80 km / h and is intended to indicate that the maximum speed of the truck 501 is 80 km / h. The maximum permissible speed indicated on the roadside road sign 503 on this section of the road is 100 km / h. It is assumed that the traffic sign 503 has been reliably detected before and that the vehicle, not shown in the figure, is traveling at a speed of 100 km / h. The device according to the invention recognizes the "traffic sign" 502 attached to the rear of the truck 501, and tracks it according to the invention on subsequently recorded images of the camera.
Figur 6 zeigt eine schematische Darstellung der Kamerasicht auf die dritte Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt. Deutlich zu erkennen ist, dass das Verkehrszeichen 503 aus dem Blickfeld der Kamera verschwunden ist, während der LKW 501 sich an einer nur wenig veränderten Position im Bild befindet . Insbesondere die Veränderung der Größe und der Position des „Verkehrszeichens" 502 ist gegenüber dem zuvor aufgenommenen Bild nur vergleichsweise gering. Wie zuvor mit Bezug auf die Figuren 1 und 2 beschrieben ermittelt die erfindungsgemäße Vorrichtung aus der Größenveränderung und der Veränderung der Position des „Verkehrszeichens" 502 in aufeinanderfolgenden Bildern eine Geschwindigkeit . Im vorliegenden Beispiel ermittelt die erfindungsgemäße Vorrichtung aus der nur geringen Veränderung der Größe und Position des „Verkehrszeichens" 502 eine Geschwindigkeit von 20 km/h, entsprechend der Differenzge¬ schwindigkeit zwischen dem Fahrzeug und dem LKW 501. Der Ge¬ schwindigkeitsmesser des Fahrzeugs liefert jedoch eine gemessene Fahrgeschwindigkeit von 100 km/h. Die Differenz von 80 km/h zwischen den beiden Geschwindigkeiten liegt über dem FIG. 6 shows a schematic illustration of the camera view of the third traffic situation in front of the vehicle at a second time. It can clearly be seen that the traffic sign 503 has disappeared from the field of view of the camera, while the truck 501 is located in a slightly changed position in the image. In particular, the change in the size and the position of the "traffic sign" 502 is only comparatively small compared with the previously recorded image. As described above with reference to FIGS. 1 and 2, the device according to the invention determines the change in size and the change in the position of the "traffic sign". 502 in consecutive pictures a speed. In the present example, the inventive device determined from only small change in the size and position of the "traffic sign" 502, a speed of 20 km / h, but according to the Differenzge ¬ speed between the vehicle and the truck 501. The Ge ¬ schwindigkeitsmesser of the vehicle provides A measured speed of 100 km / h The difference of 80 km / h between the two speeds is above the
Schwellwert . Daraus kann geschlossen werden, dass es sich bei dem Verkehrszeichen nicht um ein gültiges ortsfest angebrachtes Verkehrszeichen handelt. Entsprechend wird das fälschlich erkannte Verkehrszeichen nicht angezeigt bzw. die Information daraus nicht zur Beeinflussung von Fahrparametern verwendet. Threshold. It can be concluded from this that the traffic sign is not a valid stationary one Traffic sign acts. Accordingly, the incorrectly recognized traffic sign is not displayed or the information is not used for influencing driving parameters.
Auch in diesem Beispiel kann ein Suchbereich, in welchem das Verkehrszeichen zum Zwecke der Verfolgung in einem nachfolgend aufgenommenen Bild erwartet wird, anhand der Geschwindigkeit des Kraftfahrzeugs geschätzt werden. Bei einer Geschwindigkeit von 100 km/h sollte ein gültiges, ortsfestes Verkehrszeichen in dem durch den strichpunktierten Rahmen 507 markierten Bereich des Bildes wiedererkannt werden. Die Position des Rahmens 507 markiert den erwarteten Suchbereich. Bereits die Tatsache, dass das „Verkehrszeichen" 502 nicht in dem erwarteten Bereich wiedererkannt wurde kann als Indiz dafür gelten, dass es sich nicht um ein gültiges, ortsfestes Verkehrszeichen handelt. An dieser Stelle kann die Suche für die Wiedererkennung abgebrochen werden und die Signalisierung des Verkehrszeichens an den Fahrer oder an eine Vorrichtung zum automatisierten Fahren unterbleiben. Alternativ kann der Suchbereich erweitert oder neu positioniert werden, um aus einer tatsächlichen Position des „Verkehrszeichens" 502 in dem Bild eine Geschwindigkeit zu ermitteln. Eine Differenz zwischen der aus der Bildfolge ermittelten Geschwindigkeit und einer von dem Geschwindig¬ keitsmesser des Kraftfahrzeugs ermittelten Geschwindigkeit wird dann in der zuvor beschriebenen Weise mit einem Schwellwert verglichen. Wenn der Schwellwert überschritten ist, die Differenz also zu groß ist, unterbleibt die Signalisierung des Verkehrszeichens an den Fahrer oder an eine Vorrichtung zum automatisierten Fahren. Also in this example, a search area in which the traffic sign is expected to be tracked in a subsequently captured image can be estimated from the speed of the motor vehicle. At a speed of 100 km / h, a valid, fixed traffic sign should be recognized in the area of the image marked by the dot-dashed frame 507. The position of the frame 507 marks the expected search range. The mere fact that the "traffic sign" 502 was not recognized in the expected area can be taken as an indication that it is not a valid, fixed traffic sign, at which point the search for recognition can be aborted and the signalization of the traffic sign Alternatively, the search area may be expanded or repositioned to determine a speed from an actual location of the "traffic sign" 502 in the image. A difference between the detected from the image sequence and a speed detected by the VELOCITY ¬ keitsmesser of the motor vehicle speed is then compared in the manner described above with a threshold value. If the threshold is exceeded, ie the difference is too large, the signaling of the traffic sign to the driver or to an apparatus for automated driving is omitted.
Da der erwartete, vorhergesagte Suchbereich für die Wieder¬ erkennung und die Verfolgung des Verkehrszeichens bereits unter Verwendung der von dem Geschwindigkeitsmesser des Kraftfahrzeugs gelieferten Daten bestimmt werden kann, bevor überhaupt ein zu durchsuchendes Bild vorliegt, kann die Suche unmittelbar auf den erwarteten Bereich eingeschränkt werden. Dadurch kann die Suche schneller durchgeführt werden und erfordert weniger Ressourcen bzw. beansprucht vorhandene Ressourcen für einen kürzeren Zeitraum. Weitere Daten von Sensoren des Kraftfahrzeugs, etwa zum Lenkradeinschlag oder einer Neigung des Fahrzeugs, können, wie weiter oben beschreiben, zur Verbesserung der Positionierung des Suchbereichs in die Vorhersage einbezogen werden. As the expected, predicted search area for re ¬ detection and tracking of the traffic sign can already be determined using the data supplied by the speedometer of the vehicle before any one to be searched image exists, the search can be limited just to the expected range. This makes the search faster and requires less resources or resources for a shorter one Period. Further data from sensors of the motor vehicle, such as the steering wheel angle or an inclination of the vehicle, as described above, can be included in the prediction to improve the positioning of the search range.
Figur 7 zeigt ein exemplarisches Flussdiagramm einer Ausführung des erfindungsgemäßen Verfahrens 700. In Schritt 702 wird zunächst ein Bild aufgenommen, das in Schritt 704 einer Mus¬ tererkennung zur Erkennung von Verkehrszeichen zugeführt wird. Wenn kein Verkehrszeichen erkannt wurde, „nein"-Zweig vonFigure 7 shows an exemplary flow diagram of an embodiment of the method according to the invention 700. In step 702, an image is first taken, which is supplied in step 704, a Mus ¬ more excellent recognition for recognizing traffic signs. If no traffic sign was detected, "no" branch of
Schritt 706, wird das Verfahren von vorne begonnen. Wenn ein Verkehrszeichen erkannt wurde, „ja"-Zweig von Schritt 706, wird ein weiteres Bild aufgenommen, Schritt 708, das Verkehrszeichen in Schritt 710 in dem weiteren Bild erkannt bzw. verfolgt (Tracking) , und in Schritt 712 eine Geschwindigkeit aus der Verschiebung und der Größenänderung des verfolgten Verkehrszeichens in den Bildern ermittelt. Die Schritte 708, 710 und 712 können auch ein oder mehrmals wiederholt ablaufen (nicht in der Figur gezeigt), wobei jeweils eine Geschwindigkeit aus der Folge von Bildern ermittelt wird, und eine mittlere Geschwindigkeit aus mehreren Durchläufen bestimmt wird. Ebenfalls wird in Schritt 712 ein Geschwindigkeitswert von dem Geschwindigkeitsmesser des Fahrzeugs bezogen, entweder zu jedem Bild oder nach einer wiederholten Ausführung der Schritte 708, 710 und 712 für eine Reihe von mehreren Bildern. In Schritt 714 wird eine Differenz aus dem von dem Geschwindigkeitsmesser bezogenen Geschwindigkeitswert und dem aus der Verfolgung des Verkehrseichens über die Reihe von Bildern bestimmten Geschwindigkeitswert bestimmt und mit einem Schwellwert verglichen. Wenn die Differenz über dem Schwellwert liegt, „ja"-Zweig von Schritt 714, wird das erkannte Verkehrszeichen verworfen, also dem Fahrer oder der Vorrichtung zum automatisierten Fahren nicht signalisiert. Anderenfalls, „nein"-Zweig von Schritt 714, wird das Verkehrszeichen dem Fahrer bzw. der Vorrichtung signalisiert, welche darauf hin das Fahrzeug ent sprechend steuern können . Es wird darauf hingewiesen, dass das in der Figur gezeigte Flussdiagramm nur exemplarisch für eine Vielzahl von Ausführungsvarianten steht . Beispielsweise kann die Aufnahme von Bildern für andere Zwecke kontinuierlich erfolgen, und nur das Tracking kann bedingt erfolgen, wenn ein Verkehrszeichen erkannt wurde. Die Aufnahme des oder der weiteren Bilder kann somit auch in der bedingten Weiterleitung von Bildern an ein Tracking-Modul bestehen. Step 706, the process is restarted. If a traffic sign has been detected, "yes" branch from step 706, another image is captured, step 708, the traffic sign is detected in step 710 in the further image (tracking), and in step 712 a velocity from the displacement Steps 708, 710, and 712 may also be repeated one or more times (not shown in the figure), each determining a speed from the sequence of images, and an average speed Also in step 712, a speed value is obtained from the vehicle's speedometer, either at each frame or after repeatedly executing steps 708, 710, and 712 for a series of multiple frames from the speedometer related speed value and from the tracking of the Verke Thus, the speed value determined over the series of images is determined and compared with a threshold value. If the difference is above the threshold, the "yes" branch of step 714, the recognized traffic sign is discarded, ie not signaled to the driver or the automated driving device, otherwise the "no" branch of step 714 becomes the traffic sign Driver or the device signals, which can then control the vehicle accordingly. It should be noted that the flowchart shown in the figure is only an example of a variety of design variants. For example, the recording of images for other purposes can be continuous, and only tracking can be conditional if a traffic sign has been detected. The recording of the additional image (s) can thus also consist in the conditional forwarding of images to a tracking module.
Figur 8 zeigt ein schematisches Blockdiagramm einer Vorrichtung 800 zur Durchführung des Verfahrens . Eine Kamera 802 ist mit einem Modul 804 zur Verkehrs Zeichenerkennung, einem Tracking-Modul 806 zur Verfolgung eines erkannten Verkehrszeichens und zur Ermittlung einer Geschwindigkeit aus dem verfolgten Verkehrs¬ zeichen über eine Reihe von Bildern, einem Interface-Modul 808, welches Geschwindigkeitswerte von einem Geschwindigkeitsmesser eines Kraftfahrzeugs bezieht, und einem Modul 810, welches einer Differenz aus der ermittelten und der bezogenen Geschwindigkeit bestimmt und mit einem Schwellwert vergleicht, über einen oder mehrere Bussysteme und/oder Dateninterfaces 812 verbunden. Optional kann bei einer oder mehreren Ausgestaltungen der Vorrichtung ein Sensormodul 814 mit anderen Modulen über das oder die Bussysteme und/oder Dateninterfaces verbunden sein. Das Sensormodul 814 kann z.B. Werte von Fahrzeugsensoren betreffend eine seitliche oder vertikale Neigung des Fahrzeugs oder einen Lenkwinkel und dergleichen beispielsweise an das Modul 804 zur Verkehrs Zeichenerkennung und das Tracking-Modul 806 liefern, um deren jeweilige Funktion und/oder Genauigkeit zu verbessern. Eines oder mehrere der Module können dabei von jeweiligen Computerprogrammen gebildet sein, die auf einem oder mehreren Prozessoren in Verbindung mit entsprechend vorgesehenen Arbeitsspeichermitteln und nicht-flüchtigen Speichermitteln ausgeführt werden. Das Bussystem bzw. die Dateninterfaces 812 können in Hardware oder in Software ausgeführt sein, umfassen also auch Softwareschnittstellen zum Datenaustausch zwischen Programmen oder Programmteilen innerhalb eines Computers. FIG. 8 shows a schematic block diagram of a device 800 for carrying out the method. A camera 802 is provided with a module 804 for traffic sign detection, a tracking module 806 to track a recognized road sign, and for determining a velocity from the tracked movement ¬ sign over a series of images, an interface module 808, which velocity values from a tachometer a motor vehicle, and a module 810, which determines a difference between the determined and the related speed and compares it with a threshold, connected via one or more bus systems and / or data interfaces 812. Optionally, in one or more embodiments of the device, a sensor module 814 may be connected to other modules via the bus system (s) and / or data interfaces. For example, the sensor module 814 may provide values of vehicle sensors relating to a lateral or vertical tilt of the vehicle or a steering angle and the like to, for example, traffic character recognition module 804 and tracking module 806 to enhance their respective function and / or accuracy. One or more of the modules may in this case be formed by respective computer programs which are executed on one or more processors in conjunction with correspondingly provided working memory means and non-volatile memory means. The bus system or the data interfaces 812 can be embodied in hardware or in software, ie also include software interfaces for exchanging data between programs or program parts within a computer.

Claims

Patentansprüche claims
1. Verfahren zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug, umfassend: A method of camera-based traffic sign recognition in a motor vehicle, comprising:
- Aufnehmen mindestens eines Bildes eines vor einem Fahrzeug befindlichen Raumes mit einer Kamera,  Capturing at least one image of a space in front of a vehicle with a camera,
- Durchführen einer Mustererkennung zur Erkennung von Verkehrszeichen in dem mindestens einen aufgenommenen Bild, Performing pattern recognition for detecting traffic signs in the at least one captured image,
- Aufnehmen einer Folge weiterer Bilder des vor dem Fahrzeug befindlichen Raumes mit der Kamera nach der Erkennung eines Verkehrszeichens in einem ersten Bild, Recording a sequence of further images of the space in front of the vehicle with the camera after recognition of a traffic sign in a first image,
- Verfolgen des in dem ersten Bild erkannten Verkehrszeichens in der Folge der weiteren Bilder,  Tracking the traffic sign recognized in the first image in the sequence of the further images,
- Ermitteln eines ersten Geschwindigkeitswerts der angibt, mit welcher Geschwindigkeit das erkannte und verfolgte Verkehrszeichen auf die Kamera zukommt und/oder an der Kamera vorbeizieht, aus einer Größenänderung und/oder Verschiebung einer Position des erkannten und verfolgten Verkehrszeichens in den jeweiligen Bildern über die Folge der weiteren Bilder,  Determining a first speed value indicating at what speed the detected and tracked traffic sign is approaching the camera and / or passing the camera, from a change in size and / or displacement of a position of the detected and tracked traffic sign in the respective pictures via the sequence of more pictures,
- Vergleichen des ersten Geschwindigkeitswerts mit einem von einem Geschwindigkeitsmesser des Kraftfahrzeugs bereitgestellten zweiten Geschwindigkeitswert, der eine Fahrgeschwindigkeit des Kraftfahrzeugs repräsentiert, wobei der Geschwindigkeitsmesser von der Kamera unabhängig funktioniert, und  Comparing the first speed value with a second speed value provided by a speedometer of the motor vehicle, which represents a driving speed of the motor vehicle, the speedometer functioning independently of the camera, and
- Verwerfen des erkannten Verkehrszeichens, wenn die Differenz der ersten und zweiten Geschwindigkeitswerte über einem Schwellwert liegt, oder Signalisierung des erkannten Verkehrszeichens an einen Fahrer und/oder ein Fahreras¬ sistenzsystem des Kraftfahrzeugs - Discard the recognized road sign, when the difference of the first and second velocity values is above a threshold value, or signaling of the recognized road sign to a driver and / or a Fahreras ¬ sistenzsystem of the motor vehicle
dadurch gekennzeichnet, dass das Verfahren außerdem um- fasst :  characterized in that the method further comprises:
- Anpassen einer Bildrate, mit der die Folge weiterer Bilder aufgenommen wird, oder des Schwellwerts in Abhängigkeit von einem Lenkwinkel und/oder einer Veränderung einer Neigung des Fahrzeugs in Längs- und/oder Querrichtung. - Adjust a frame rate with which the sequence of other images or the threshold value as a function of a steering angle and / or a change in an inclination of the vehicle in the longitudinal and / or transverse direction.
Verfahren nach Anspruch 1, wobei das erkannte Verkehrs¬ zeichen verworfen wird, wenn es nicht in einer ununterbrochen aufeinander folgenden Mindestanzahl von weiteren Bildern erkannt oder verfolgt werden konnte. The method of claim 1, wherein the recognized traffic ¬ sign is discarded if it could not be detected or tracked in a continuously successive minimum number of further images.
Verfahren nach Anspruch 2, wobei die Mindestanzahl in Abhängigkeit von dem zweiten Geschwindigkeitswert, einem Lenkwinkel und/oder einer Veränderung einer Neigung des Fahrzeugs in Längs- und/oder Querrichtung des Kraft¬ fahrzeugs angepasst wird. The method of claim 2, wherein the minimum number in response to the second speed value, a steering angle and / or a change of an inclination of the vehicle in the longitudinal and / or transverse direction of the motor vehicle ¬ is adjusted.
4. Verfahren nach Anspruch 1, wobei eine Schätzung eines wahrscheinlichen Orts des verfolgten Verkehrszeichens in einem nachfolgenden Bild in Abhängigkeit von dem zweiten Geschwindigkeitswert, einem Lenkwinkel und/oder einer Veränderung einer Neigung des Fahrzeugs in Längs- und/oder Querrichtung des Kraftfahrzeugs erfolgt. 4. The method of claim 1, wherein an estimate of a probable location of the tracked traffic sign in a subsequent image in dependence on the second speed value, a steering angle and / or a change of an inclination of the vehicle takes place in the longitudinal and / or transverse direction of the motor vehicle.
5. Verfahren nach Anspruch 1, wobei bei der Ermittlung des ersten Geschwindigkeitswerts zusätzlich ein Lenkwinkel und/oder eine Veränderung einer Neigung des Fahrzeugs in Längs- und/oder Querrichtung des Kraftfahrzeugs berücksichtigt werden. 5. The method of claim 1, wherein in the determination of the first speed value additionally a steering angle and / or a change of an inclination of the vehicle in the longitudinal and / or transverse direction of the motor vehicle are taken into account.
6. Verfahren nach Anspruch 1, wobei das Verfahren bei zweiten Geschwindigkeitswerten pausiert, die einem stehenden Fahrzeug entsprechen. 6. The method of claim 1, wherein the method pauses at second speed values corresponding to a stationary vehicle.
Vorrichtung (800) zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug mit einer Kamera (802), einem Modul zur Verkehrszeichenerkennung (804), einem Tracking-Modul (806) zur Verfolgung eines erkannten Verkehrszeichens und zur Ermittlung einer ersten Geschwindigkeit aus dem über eine Reihe von Bildern verfolgten Verkehrszeichen, einem Interface-Modul (808), welches Geschwindigkeitswerte von einem Geschwindigkeitsmesser eines Kraftfahrzeugs bezieht, einem Sensormodul (814), welches eine Quer- oder Längsneigung des Kraftfahrzeugs und/oder einen Lenkwinkel repräsentierende Werte an ein oder mehrere weitere Module der Vorrichtung liefert und einem Modul (810), welches eine Differenz aus der er¬ mittelten und der bezogenen Geschwindigkeit bestimmt und mit einem Schwellwert vergleicht, wobei die Module über einen oder mehrere Bussysteme und/oder Dateninterfaces (812) verbunden sind, wobei die Module auf einem oder mehreren Prozessoren ablaufende Computerprogramme um¬ fassen, welche in ihrer Gesamtheit zusammenwirkend das Verfahren nach einem oder mehreren der Ansprüche 1 bis 6 ausführen . Device (800) for camera-based traffic sign recognition in a motor vehicle with a camera (802), a traffic sign recognition module (804), a tracking module (806) for tracking a recognized traffic sign and determining a first speed from the traffic sign tracked over a series of images, an interface module (808) which receives speed values from a speedometer of a traffic sign Motor vehicle relates, a sensor module (814), which provides a transverse or longitudinal inclination of the motor vehicle and / or a steering angle representing values to one or more other modules of the device and a module (810), which a difference from the he ¬ mediated and the determined speed and compared with a threshold value, wherein the modules via one or more bus systems and / or data interfaces (812) are connected, wherein the modules on one or more processors running computer programs ¬ , which in their entirety cooperatively the method of a or more of claims 1 to 6 To run .
8. Datenträger mit Programmcodemitteln, die dazu geeignet sind, bei Ausführung auf einer oder mehreren Recheneinheiten eines oder mehrerer Steuergeräte eines Kraft¬ fahrzeugs diese zur Durchführung einzelner oder mehrerer der Verfahrensschritte der Ansprüche 1 bis 6 einzurichten. 8. Data carrier with program code means which are suitable for implementing on one or more arithmetic units of one or more control units of a motor vehicle ¬ this set up to carry out one or more of the method steps of claims 1 to 6.
PCT/EP2016/080613 2015-12-18 2016-12-12 Method and apparatus for camera-based road sign recognition in a motor vehicle WO2017102634A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP16810345.5A EP3391281A1 (en) 2015-12-18 2016-12-12 Method and apparatus for camera-based road sign recognition in a motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015225900.5A DE102015225900B3 (en) 2015-12-18 2015-12-18 Method and device for camera-based traffic sign recognition in a motor vehicle
DE102015225900.5 2015-12-18

Publications (1)

Publication Number Publication Date
WO2017102634A1 true WO2017102634A1 (en) 2017-06-22

Family

ID=57544432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/080613 WO2017102634A1 (en) 2015-12-18 2016-12-12 Method and apparatus for camera-based road sign recognition in a motor vehicle

Country Status (3)

Country Link
EP (1) EP3391281A1 (en)
DE (1) DE102015225900B3 (en)
WO (1) WO2017102634A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107571867A (en) * 2017-09-05 2018-01-12 百度在线网络技术（北京）有限公司 Method and apparatus for controlling automatic driving vehicle
CN110944895A (en) * 2017-07-17 2020-03-31 罗伯特·博世有限公司 Method and device for determining an optical flow from a sequence of images captured by a camera of a vehicle
CN112606685A (en) * 2020-12-16 2021-04-06 武汉格罗夫氢能汽车有限公司 Hydrogen energy automobile traffic sign discernment TSR device
CN115050202A (en) * 2018-12-14 2022-09-13 伟摩有限责任公司 Method and device for marking and classifying attributes of traffic signs

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017206245A1 (en) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh DEVICE AND METHOD FOR DETECTING A SURFACE DEVELOPMENT
FR3127187B1 (en) * 2021-09-20 2023-10-27 Psa Automobiles Sa Method and device for controlling an intelligent speed adaptation system
US11699342B2 (en) 2021-10-25 2023-07-11 International Business Machines Corporation Reducing vehicle occupant activity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080166018A1 (en) * 2007-01-05 2008-07-10 Motorola, Inc. Method and apparatus for performing object recognition on a target detected using motion information
EP2172873A2 (en) * 2008-10-06 2010-04-07 Mobileye Vision Technologies Bundling of driver assistance systems
US20140132767A1 (en) * 2010-07-31 2014-05-15 Eric Sonnabend Parking Information Collection System and Method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1383098B1 (en) * 2002-07-09 2006-05-17 Accenture Global Services GmbH System for automatic traffic sign recognition
US8064643B2 (en) * 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
DE102007021576A1 (en) * 2007-05-08 2008-11-13 Hella Kgaa Hueck & Co. Method and device for determining the position of a traffic sign
DE102013226760A1 (en) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Method and device for detecting object reflections

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080166018A1 (en) * 2007-01-05 2008-07-10 Motorola, Inc. Method and apparatus for performing object recognition on a target detected using motion information
EP2172873A2 (en) * 2008-10-06 2010-04-07 Mobileye Vision Technologies Bundling of driver assistance systems
US20140132767A1 (en) * 2010-07-31 2014-05-15 Eric Sonnabend Parking Information Collection System and Method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAI ISAMU ET AL: "Optical Vehicle-to-Vehicle Communication System Using LED Transmitter and Camera Receiver", IEEE PHOTONICS JOURNAL, IEEE, USA, vol. 6, no. 5, 1 October 2014 (2014-10-01), pages 1 - 14, XP011558456, DOI: 10.1109/JPHOT.2014.2352620 *
XIAOJING SONG ET AL: "A Kalman Filter-Integrated Optical Flow Method for Velocity Sensing of Mobile Robots", IEEE / ASME TRANSACTIONS ON MECHATRONICS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 16, no. 3, 1 June 2011 (2011-06-01), pages 551 - 563, XP011321521, ISSN: 1083-4435, DOI: 10.1109/TMECH.2010.2046421 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944895A (en) * 2017-07-17 2020-03-31 罗伯特·博世有限公司 Method and device for determining an optical flow from a sequence of images captured by a camera of a vehicle
CN107571867A (en) * 2017-09-05 2018-01-12 百度在线网络技术（北京）有限公司 Method and apparatus for controlling automatic driving vehicle
CN115050202A (en) * 2018-12-14 2022-09-13 伟摩有限责任公司 Method and device for marking and classifying attributes of traffic signs
CN112606685A (en) * 2020-12-16 2021-04-06 武汉格罗夫氢能汽车有限公司 Hydrogen energy automobile traffic sign discernment TSR device
CN112606685B (en) * 2020-12-16 2024-01-05 武汉格罗夫氢能汽车有限公司 TSR device for identifying traffic sign of hydrogen energy automobile

Also Published As

Publication number Publication date
DE102015225900B3 (en) 2017-04-06
EP3391281A1 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
DE102015225900B3 (en) Method and device for camera-based traffic sign recognition in a motor vehicle
EP3160813B1 (en) Method for producing a model of the surroundings of a vehicle
DE102005004112B4 (en) Car navigation system
EP3455785B1 (en) Method for traffic sign detection
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102016210254A1 (en) VEHICLE VENTILATION AT CROSSINGS ON THE BASIS OF VISUAL VENTILATION POINTS, STATIONARY OBJECTS AND BY GPS
DE102018218220A1 (en) Control device for a vehicle
DE112017001438T5 (en) Autonomous driving support device and computer program
DE102006040334A1 (en) Lane recognizing method for use with driver assistance system of vehicle i.e. motor vehicle, involves reconstructing characteristics of lane markings and/or lanes from position of supporting points in coordinate system
DE102005045017A1 (en) Method and driver assistance system for sensor-based approach control of a motor vehicle
EP2746725A2 (en) Method and control device for providing a street layout ahead
DE102016201667B4 (en) Method for determining a desired trajectory for a first road user, in particular for a motor vehicle, for a route section
DE102010038097A1 (en) Vehicle driving support control device
DE102012210608A1 (en) Method and device for generating a control parameter for a distance assistance system of a vehicle
DE112012006226T5 (en) Driving assistance device
WO2014032664A1 (en) Method for determining the course of a lane for a vehicle
EP2704096A1 (en) Method for calibrating an image capturing device
DE102008041679A1 (en) Method for environment recognition for navigation system in car, involves storing data of object or feature in storage, and classifying object or feature by comparison of data after visual inspection of object or feature
DE102021103149A1 (en) METHOD AND DEVICE FOR DETERMINING THE OPTIMAL CROSSING LANE IN AN ASSISTED DRIVING SYSTEM
DE102016122338A1 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, CONTROL DEVICE FOR A VEHICLE AND CONTROL METHOD FOR A VEHICLE
DE102013201796A1 (en) Method for providing a driving corridor for a vehicle and driver assistance system
WO2019180149A1 (en) System for generating confidence values in the back end
DE102018113314A1 (en) Driving Assistance System
DE102010049215A1 (en) Method for determining vehicle environment, particularly for determining traffic lane course, involves determining objects in environment of vehicle from current local environment data
DE102008063033A1 (en) Method for recognizing unavoidable collisions of motor vehicle with e.g. pedestrian, involves meeting decision tree final decision during processing of each tree to output collision alarm, and recognizing collision based on decision

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16810345

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016810345

Country of ref document: EP